CN112162699B - 一种数据读写方法、装置、设备及计算机可读存储介质 - Google Patents
一种数据读写方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112162699B CN112162699B CN202010986687.6A CN202010986687A CN112162699B CN 112162699 B CN112162699 B CN 112162699B CN 202010986687 A CN202010986687 A CN 202010986687A CN 112162699 B CN112162699 B CN 112162699B
- Authority
- CN
- China
- Prior art keywords
- read
- storage pool
- target storage
- data
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004083 survival effect Effects 0.000 claims abstract description 97
- 238000004590 computer program Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
本申请公开了一种数据读写方法、装置、设备及计算机可读存储介质,应用于分布式存储系统,确定目标储存池中副本的存活信息;基于存活信息确定目标储存池的读写状态;若读写状态为只读,则仅允许从目标储存池中读取数据;若读写状态为可写,则允许从目标储存池中读取数据或将数据写入目标储存池。本申请可以根据存储信息来确定目标储存池的读写状态,使得读写状态与目标储存池的真实状况相吻合,并且在读写状态为只读时,仅允许从目标储存池中读取数据,在读写状态为可写时,允许从目标储存池中读取数据或将数据写入目标储存池,保证了目标储存池的读写安全;且便于用户在无法向目标储存池写入数据的情况下读取数据,提高了用户的读写体验性。
Description
技术领域
本申请涉及分布式存储系统数据读写技术领域,更具体地说,涉及一种数据读写方法、装置、设备及计算机可读存储介质。
背景技术
分布式存储系统是将数据按照一定规则切分并打散存储在多台独立通用存储服务器上。其为了保证用户数据的安全性,将同一份数据复制多份副本(replication),存放在不同的存储节点上。如果某一存储节点出错,系统就可以从其他副本中恢复这些数据。其中,为了方便管理数据分布和恢复,一般储存系统中的存储池都会划分成多个PG(Placement Group,归置组),每个PG按一定的副本或者纠删规则包含若干块硬盘(ObjectStorage Device,OSD)。
然而,当某一储存池故障节点过多时,其所写数据有效保存的副本数就会降低,此时其数据安全性也会降低,影响数据读写的安全性。
综上所述,如何保证分布式存储系统的数据读写安全性是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种数据读写方法,其能在一定程度上解决如何保证分布式存储系统的数据读写安全性的技术问题。本申请还提供了一种数据读写装置、设备及计算机可读存储介质。
为了实现上述目的,本申请提供如下技术方案:
一种数据读写方法,应用于分布式存储系统,包括:
确定目标储存池中副本的存活信息;
基于所述存活信息确定所述目标储存池的读写状态;
若所述读写状态为只读,则仅允许从所述目标储存池中读取数据;
若所述读写状态为可写,则允许从所述目标储存池中读取数据或将数据写入所述目标储存池。
优选的,所述基于所述存活信息确定所述目标储存池的读写状态,包括:
基于所述存活信息判断所述目标储存池是否能够纠删;
若基于所述存活信息判定所述目标储存池能够纠删,则确定所述读写状态为可写;
若基于所述存活信息判定所述目标储存池不能够纠删,则确定所述读写状态为只读。
优选的,所述确定目标储存池中副本的存活信息,包括:
确定所述目标储存池中的PG;
确定所述PG中存活副本的实时数量;
判断所述实时数量是否小于预设数值;
若所述实时数量小于所述预设数值,则生成表征所述目标储存池不能够纠删的所述存活信息;
若所述实时数量大于等于所述预设数值,则生成表征所述目标储存池能够纠删的所述存活信息。
优选的,所述生成表征所述目标储存池不能够纠删的所述存活信息,包括:
生成表征所述PG只读的所述存活信息,以表征所述目标储存池不能够纠删。
优选的,所述生成表征所述目标储存池能够纠删的所述存活信息,包括:
生成表征所述PG可写的所述存活信息,以表征所述目标储存池能够纠删。
优选的,所述允许从所述目标储存池中读取数据或将数据写入所述目标储存池之后,还包括:
获取目标数据及所述目标数据的读写操作类型;
判断所述读写操作类型与所述读写状态是否一致;
若所述读写操作类型与所述读写状态不一致,则基于读写状态与所述读写操作类型一致的另一储存池处理所述目标数据。
优选的,所述基于读写状态与所述读写操作类型一致的另一储存池处理所述目标数据之前,还包括:
确定判定所述读写操作类型与所述读写状态不一致的次数值;
判断所述次数值是否大于预设次数,若否,则等待预设时长后,返回执行所述确定目标储存池中副本的存活信息的步骤;若是,则执行所述将基于读写状态与所述读写操作类型一致的另一储存池处理所述目标数据的步骤。
一种数据读写装置,应用于分布式存储系统,包括:
第一确定模块,用于确定目标储存池中副本的存活信息;
第二确定模块,用于基于所述存活信息确定所述目标储存池的读写状态;
第一设置模块,用于若所述读写状态为只读,则仅允许从所述目标储存池中读取数据;若所述读写状态为可写,则允许从所述目标储存池中读取数据或将数据写入所述目标储存池。
一种数据读写设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上任一所述数据读写方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述数据读写方法的步骤。
本申请提供的一种数据读写方法,应用于分布式存储系统,确定目标储存池中副本的存活信息;基于存活信息确定目标储存池的读写状态;若读写状态为只读,则仅允许从目标储存池中读取数据;若读写状态为可写,则允许从目标储存池中读取数据或将数据写入目标储存池。本申请中可以根据目标储存池中副本的存储信息来确定目标储存池的读写状态,使得读写状态与目标储存池的真实状况相吻合,并且在读写状态为只读时,仅允许从目标储存池中读取数据,在读写状态为可写时,允许从目标储存池中读取数据或将数据写入目标储存池,保证了目标储存池的读写安全,且在读写状态为只读时,仅允许从目标储存池读取数据,便于用户在无法向目标储存池写入数据的情况下读取数据,提高了用户的读写体验性。本申请提供的一种数据读写装置、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据读写方法的流程图;
图2为本申请实施例提供的一种数据读写装置的结构示意图;
图3为本申请实施例提供的一种数据读写设备的结构示意图;
图4为本申请实施例提供的一种数据读写设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
分布式存储系统是将数据按照一定规则切分并打散存储在多台独立通用存储服务器上。其为了保证用户数据的安全性,将同一份数据复制多份副本(replication),存放在不同的存储节点上。如果某一存储节点出错,系统就可以从其他副本中恢复这些数据。其中,为了方便管理数据分布和恢复,一般储存系统中的存储池都会划分成多个PG(Placement Group,归置组),每个PG按一定的副本或者纠删规则包含若干块硬盘(ObjectStorage Device,OSD)。然而,当某一储存池故障节点过多时,其所写数据有效保存的副本数就会降低,此时其数据安全性也会降低,影响数据读写的安全性。而本申请可以保证分布式存储系统的数据读写安全性。
请参阅图1,图1为本申请实施例提供的一种数据读写方法的流程图。
本申请实施例提供的一种数据读写方法,应用于分布式存储系统,可以包括以下步骤:
步骤S101:确定目标储存池中副本的存活信息。
实际应用中,目标储存池是基于纠删规则建立的储存池,所以目标储存池中包含多个副本,且各个副本的存活情况会影响目标储存池的纠删能力,进而影响目标储存池的读写能力,因此需要先确定目标储存池中副本的存活信息,以便后续根据存活信息确定目标储存池的纠删能力。
步骤S102:基于存活信息确定目标储存池的读写状态,执行步骤S103或步骤S104。
实际应用中,因为目标储存池中副本的存活信息会影响目标储存池的读写状态,所以在确定目标储存池中副本的存活信息之后,需基于存活信息确定目标储存池的读写状态。
实际应用中,在基于存活信息确定目标储存池的读写状态的过程中,可以基于存活信息确定目标储存池是否具有纠删能力,再基于目标储存池是否具有纠删能力确定目标储存池的读写状态,也即可以基于存活信息判断目标储存池是否能够纠删;若基于存活信息判定目标储存池能够纠删,则此时向目标储存池写入数据的话,也可以保证新写入的数据能够被纠删,所以可以确定读写状态为可写;若基于存活信息判定目标储存池不能够纠删,则此时向目标储存池写入数据的话,新写入的数据无法被纠删,这与目标储存池的纠删能力不相符,但此时目标储存池中现存副本中携带有用户所需的信息,所以为了便于用户查找所需的信息,此时可以确定读写状态为只读。
具体应用场景中,由于目标储存池中包括PG,所以可以基于PG来确定副本的存活信息,也即确定目标储存池中副本的存活信息的过程中,可以确定目标储存池中的PG;确定PG中存活副本的实时数量;判断实时数量是否小于预设数值;若实时数量小于预设数值,则生成表征目标储存池不能够纠删的存活信息;若实时数量大于等于预设数值,则生成表征目标储存池能够纠删的存活信息。其中,预设数值可以根据实际需要确定。
具体应用场景中,在生成表征目标储存池不能够纠删的存活信息的过程中,可以生成表征PG只读的存活信息,以表征目标储存池不能够纠删。相应的,在生成表征目标储存池能够纠删的存活信息的过程中,可以生成表征PG可写的存活信息,以表征目标储存池能够纠删。
步骤S103:若读写状态为只读,则仅允许从目标储存池中读取数据。
步骤S104:若读写状态为可写,则允许从目标储存池中读取数据或将数据写入目标储存池。
实际应用中,在基于存活信息确定目标储存池的读写状态之后,若读写状态为只读,则仅允许从目标储存池中读取数据,此时无法向目标储存池写入数据,避免因目标储存池的存活副本较少,导致新写入的数据无法纠删或无法正确保存;而当读写状态为可写时,便允许从目标储存池中读取数据或将数据写入目标储存池,保证目标储存池正常的数据读写能力。
本申请提供的一种数据读写方法,应用于分布式存储系统,确定目标储存池中副本的存活信息;基于存活信息确定目标储存池的读写状态;若读写状态为只读,则仅允许从目标储存池中读取数据;若读写状态为可写,则允许从目标储存池中读取数据或将数据写入目标储存池。本申请中可以根据目标储存池中副本的存储信息来确定目标储存池的读写状态,使得读写状态与目标储存池的真实状况相吻合,并且在读写状态为只读时,仅允许从目标储存池中读取数据,在读写状态为可写时,允许从目标储存池中读取数据或将数据写入目标储存池,保证了目标储存池的读写安全,且在读写状态为只读时,仅允许从目标储存池读取数据,便于用户在无法向目标储存池写入数据的情况下读取数据,提高了用户的读写体验性。
本申请实施例提供的一种数据读写方法中,分布式存储系统允许从目标储存池中读取数据或将数据写入目标储存池之后,还可以获取目标数据及目标数据的读写操作类型;判断读写操作类型与读写状态是否一致;若读写操作类型与读写状态不一致,则基于读写状态与读写操作类型一致的另一储存池处理目标数据。
实际应用中,因为目标数据的读写操作类型与目标储存池的读写状态不一致,比如读写操作类型为写操作,而目标储存池的读写状态为只读,那么将目标数据写入目标储存池的话,会导致目标数据后续无法被纠删,所以为了保证目标数据能够被纠删,需要在目标储存池的读写状态与读写操作类型一致的情况下,才能基于目标储存池处理目标数据,相应的,在读写操作类型与读写状态不一致的情况下,可以基于读写状态与读写操作类型一致的另一储存池处理目标数据,以快速处理目标数据。
实际应用中,因为目标数据的处理时刻与读写状态确定时刻间的时间差,目标储存池的读写状态可能发生变化,为了排除因目标储存池的读写状态随该时间差的变化而导致目标数据处理失败,在基于读写状态与读写操作类型一致的另一储存池处理目标数据之前,还可以确定判定读写操作类型与读写状态不一致的次数值;判断次数值是否大于预设次数,若否,则等待预设时长后,返回执行确定目标储存池中副本的存活信息的步骤;若是,则执行将基于读写状态与读写操作类型一致的另一储存池处理目标数据的步骤。其中,预设时长的值可以根据实际需要确定。
请参阅图2,图2为本申请实施例提供的一种数据读写装置的结构示意图。
本申请实施例提供的一种数据读写装置,应用于分布式存储系统,可以包括:
第一确定模块101,用于确定目标储存池中副本的存活信息;
第二确定模块102,用于基于存活信息确定目标储存池的读写状态;
第一设置模块103,用于若读写状态为只读,则仅允许从目标储存池中读取数据;若读写状态为可写,则允许从目标储存池中读取数据或将数据写入目标储存池。
本申请实施例提供的一种数据读写装置,应用于分布式存储系统,第二确定模块可以包括:
第一判断单元,用于基于存活信息判断目标储存池是否能够纠删;若基于存活信息判定目标储存池能够纠删,则确定读写状态为可写;若基于存活信息判定目标储存池不能够纠删,则确定读写状态为只读。
本申请实施例提供的一种数据读写装置,应用于分布式存储系统,第一确定模块可以包括:
第一确定子模块,用于确定目标储存池中的PG;
第二确定子模块,用于确定PG中存活副本的实时数量;
第一判断子模块,用于判断实时数量是否小于预设数值;若实时数量小于预设数值,则生成表征目标储存池不能够纠删的存活信息;若实时数量大于等于预设数值,则生成表征目标储存池能够纠删的存活信息。
本申请实施例提供的一种数据读写装置,应用于分布式存储系统,第一判断子模块可以包括:
第一生成单元,用于生成表征PG只读的存活信息,以表征目标储存池不能够纠删。
本申请实施例提供的一种数据读写装置,应用于分布式存储系统,第一判断子模块可以包括:
第二生成单元,用于生成表征PG可写的存活信息,以表征目标储存池能够纠删。
本申请实施例提供的一种数据读写装置,应用于分布式存储系统,还可以包括:
第一获取模块,用于第一设置模块允许从目标储存池中读取数据或将数据写入目标储存池之后,获取目标数据及目标数据的读写操作类型;
第一判断模块,用于判断读写操作类型与读写状态是否一致;若读写操作类型与读写状态不一致,则基于读写状态与读写操作类型一致的另一储存池处理目标数据。
本申请实施例提供的一种数据读写装置,应用于分布式存储系统,还可以包括:
第一确定单元,用于第一判断模块基于读写状态与读写操作类型一致的另一储存池处理目标数据之前,确定判定读写操作类型与读写状态不一致的次数值;
第二判断单元,用于判断次数值是否大于预设次数,若否,则等待预设时长后,提示第一确定模块执行确定目标储存池中副本的存活信息的步骤;若是,则提示第一判断模块执行将基于读写状态与读写操作类型一致的另一储存池处理目标数据的步骤。
本申请还提供了一种数据读写设备及计算机可读存储介质,其均具有本申请实施例提供的一种数据读写方法具有的对应效果。请参阅图3,图3为本申请实施例提供的一种数据读写设备的结构示意图。
本申请实施例提供的一种数据读写设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:
确定目标储存池中副本的存活信息;
基于存活信息确定目标储存池的读写状态;
若读写状态为只读,则仅允许从目标储存池中读取数据;
若读写状态为可写,则允许从目标储存池中读取数据或将数据写入目标储存池。
本申请实施例提供的一种数据读写设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:基于存活信息判断目标储存池是否能够纠删;若基于存活信息判定目标储存池能够纠删,则确定读写状态为可写;若基于存活信息判定目标储存池不能够纠删,则确定读写状态为只读。
本申请实施例提供的一种数据读写设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:确定目标储存池中的PG;确定PG中存活副本的实时数量;判断实时数量是否小于预设数值;若实时数量小于预设数值,则生成表征目标储存池不能够纠删的存活信息;若实时数量大于等于预设数值,则生成表征目标储存池能够纠删的存活信息。
本申请实施例提供的一种数据读写设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:生成表征PG只读的存活信息,以表征目标储存池不能够纠删。
本申请实施例提供的一种数据读写设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:生成表征PG可写的存活信息,以表征目标储存池能够纠删。
本申请实施例提供的一种数据读写设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:允许从目标储存池中读取数据或将数据写入目标储存池之后,获取目标数据及目标数据的读写操作类型;判断读写操作类型与读写状态是否一致;若读写操作类型与读写状态不一致,则基于读写状态与读写操作类型一致的另一储存池处理目标数据。
本申请实施例提供的一种数据读写设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:基于读写状态与读写操作类型一致的另一储存池处理目标数据之前,确定判定读写操作类型与读写状态不一致的次数值;判断次数值是否大于预设次数,若否,则等待预设时长后,返回执行确定目标储存池中副本的存活信息的步骤;若是,则执行将基于读写状态与读写操作类型一致的另一储存池处理目标数据的步骤。
请参阅图4,本申请实施例提供的另一种数据读写设备中还可以包括:与处理器202连接的输入端口203,用于传输外界输入的命令至处理器202;与处理器202连接的显示单元204,用于显示处理器202的处理结果至外界;与处理器202连接的通信模块205,用于实现数据读写设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等;通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接:无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:
确定目标储存池中副本的存活信息;
基于存活信息确定目标储存池的读写状态;
若读写状态为只读,则仅允许从目标储存池中读取数据;
若读写状态为可写,则允许从目标储存池中读取数据或将数据写入目标储存池。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:基于存活信息判断目标储存池是否能够纠删;若基于存活信息判定目标储存池能够纠删,则确定读写状态为可写;若基于存活信息判定目标储存池不能够纠删,则确定读写状态为只读。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:确定目标储存池中的PG;确定PG中存活副本的实时数量;判断实时数量是否小于预设数值;若实时数量小于预设数值,则生成表征目标储存池不能够纠删的存活信息;若实时数量大于等于预设数值,则生成表征目标储存池能够纠删的存活信息。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:生成表征PG只读的存活信息,以表征目标储存池不能够纠删。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:生成表征PG可写的存活信息,以表征目标储存池能够纠删。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:允许从目标储存池中读取数据或将数据写入目标储存池之后,获取目标数据及目标数据的读写操作类型;判断读写操作类型与读写状态是否一致;若读写操作类型与读写状态不一致,则基于读写状态与读写操作类型一致的另一储存池处理目标数据。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:基于读写状态与读写操作类型一致的另一储存池处理目标数据之前,确定判定读写操作类型与读写状态不一致的次数值;判断次数值是否大于预设次数,若否,则等待预设时长后,返回执行确定目标储存池中副本的存活信息的步骤;若是,则执行将基于读写状态与读写操作类型一致的另一储存池处理目标数据的步骤。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的数据读写装置、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的数据读写方法中对应部分的详细说明,在此不再赘述。另外,本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种数据读写方法,其特征在于,应用于分布式存储系统,包括:
确定目标储存池中副本的存活信息;
基于所述存活信息确定所述目标储存池的读写状态;
若所述读写状态为只读,则仅允许从所述目标储存池中读取数据;
若所述读写状态为可写,则允许从所述目标储存池中读取数据或将数据写入所述目标储存池;
其中,所述基于所述存活信息确定所述目标储存池的读写状态,包括:
基于所述存活信息判断所述目标储存池是否能够纠删;
若基于所述存活信息判定所述目标储存池能够纠删,则确定所述读写状态为可写;
若基于所述存活信息判定所述目标储存池不能够纠删,则确定所述读写状态为只读;
其中,所述确定目标储存池中副本的存活信息,包括:
确定所述目标储存池中的归置组PG;
确定所述归置组PG中存活副本的实时数量;
判断所述实时数量是否小于预设数值;
若所述实时数量小于所述预设数值,则生成表征所述目标储存池不能够纠删的所述存活信息;
若所述实时数量大于等于所述预设数值,则生成表征所述目标储存池能够纠删的所述存活信息。
2.根据权利要求1所述的方法,其特征在于,所述生成表征所述目标储存池不能够纠删的所述存活信息,包括:
生成表征所述归置组PG只读的所述存活信息,以表征所述目标储存池不能够纠删。
3.根据权利要求2所述的方法,其特征在于,所述生成表征所述目标储存池能够纠删的所述存活信息,包括:
生成表征所述归置组PG可写的所述存活信息,以表征所述目标储存池能够纠删。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述允许从所述目标储存池中读取数据或将数据写入所述目标储存池之后,还包括:
获取目标数据及所述目标数据的读写操作类型;
判断所述读写操作类型与所述读写状态是否一致;
若所述读写操作类型与所述读写状态不一致,则基于读写状态与所述读写操作类型一致的另一储存池处理所述目标数据。
5.根据权利要求4所述的方法,其特征在于,所述基于读写状态与所述读写操作类型一致的另一储存池处理所述目标数据之前,还包括:
确定判定所述读写操作类型与所述读写状态不一致的次数值;
判断所述次数值是否大于预设次数,若否,则等待预设时长后,返回执行所述确定目标储存池中副本的存活信息的步骤;若是,则执行所述基于读写状态与所述读写操作类型一致的另一储存池处理所述目标数据的步骤。
6.一种数据读写装置,其特征在于,应用于分布式存储系统,包括:
第一确定模块,用于确定目标储存池中副本的存活信息;
第二确定模块,用于基于所述存活信息确定所述目标储存池的读写状态;
第一设置模块,用于若所述读写状态为只读,则仅允许从所述目标储存池中读取数据;若所述读写状态为可写,则允许从所述目标储存池中读取数据或将数据写入所述目标储存池;
其中,所述第二确定模块包括:
第一判断单元,用于基于所述存活信息判断所述目标储存池是否能够纠删;若基于所述存活信息判定所述目标储存池能够纠删,则确定所述读写状态为可写;若基于所述存活信息判定所述目标储存池不能够纠删,则确定所述读写状态为只读;
其中,所述第一确定模块包括:
第一确定子模块,用于确定所述目标储存池中的归置组PG;
第二确定子模块,用于确定所述归置组PG中存活副本的实时数量;
第一判断子模块,用于判断所述实时数量是否小于预设数值;若所述实时数量小于所述预设数值,则生成表征所述目标储存池不能够纠删的所述存活信息;若所述实时数量大于等于所述预设数值,则生成表征所述目标储存池能够纠删的所述存活信息。
7.一种数据读写设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述数据读写方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据读写方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010986687.6A CN112162699B (zh) | 2020-09-18 | 2020-09-18 | 一种数据读写方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010986687.6A CN112162699B (zh) | 2020-09-18 | 2020-09-18 | 一种数据读写方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112162699A CN112162699A (zh) | 2021-01-01 |
CN112162699B true CN112162699B (zh) | 2023-12-22 |
Family
ID=73858222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010986687.6A Active CN112162699B (zh) | 2020-09-18 | 2020-09-18 | 一种数据读写方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112162699B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116401418B (zh) * | 2023-06-08 | 2023-08-15 | 山东浪潮科学研究院有限公司 | 一种数据读写方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3071925A1 (en) * | 2016-11-16 | 2018-05-24 | 10353744 Canada Ltd. | Erasure code-based partial write-in method and apparatus, storage medium and equipment |
CN109614276A (zh) * | 2018-11-28 | 2019-04-12 | 平安科技(深圳)有限公司 | 故障处理方法、装置、分布式存储系统和存储介质 |
CN109992452A (zh) * | 2019-03-29 | 2019-07-09 | 新华三技术有限公司 | 一种故障处理方法及装置 |
CN110018799A (zh) * | 2019-04-12 | 2019-07-16 | 苏州浪潮智能科技有限公司 | 一种存储池pg主确定方法、装置、设备及可读存储介质 |
CN111104283A (zh) * | 2019-11-29 | 2020-05-05 | 浪潮电子信息产业股份有限公司 | 一种分布式存储系统的故障检测方法、装置、设备及介质 |
CN111158587A (zh) * | 2019-12-10 | 2020-05-15 | 南京道熵信息技术有限公司 | 基于存储池虚拟化管理的分布式存储系统及数据读写方法 |
-
2020
- 2020-09-18 CN CN202010986687.6A patent/CN112162699B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3071925A1 (en) * | 2016-11-16 | 2018-05-24 | 10353744 Canada Ltd. | Erasure code-based partial write-in method and apparatus, storage medium and equipment |
CN109614276A (zh) * | 2018-11-28 | 2019-04-12 | 平安科技(深圳)有限公司 | 故障处理方法、装置、分布式存储系统和存储介质 |
CN109992452A (zh) * | 2019-03-29 | 2019-07-09 | 新华三技术有限公司 | 一种故障处理方法及装置 |
CN110018799A (zh) * | 2019-04-12 | 2019-07-16 | 苏州浪潮智能科技有限公司 | 一种存储池pg主确定方法、装置、设备及可读存储介质 |
CN111104283A (zh) * | 2019-11-29 | 2020-05-05 | 浪潮电子信息产业股份有限公司 | 一种分布式存储系统的故障检测方法、装置、设备及介质 |
CN111158587A (zh) * | 2019-12-10 | 2020-05-15 | 南京道熵信息技术有限公司 | 基于存储池虚拟化管理的分布式存储系统及数据读写方法 |
Non-Patent Citations (1)
Title |
---|
基于Ceph存储系统的冗余存储技术研究;刘媛媛;信息通信;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112162699A (zh) | 2021-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111399857A (zh) | 一种fru数据烧录方法、系统、设备及计算机存储介质 | |
US8347052B2 (en) | Initializing of a memory area | |
CN111966287B (zh) | 数据存储方法、电子设备及存储介质 | |
CN111190775A (zh) | 一种osd更换方法、系统、设备及计算机可读存储介质 | |
US20160179609A1 (en) | Bad Sector Repair Method and Apparatus | |
TW201526007A (zh) | Nand快閃記憶體燒錄資料的處理、使用方法及裝置、運行系統 | |
CN112162699B (zh) | 一种数据读写方法、装置、设备及计算机可读存储介质 | |
CN111130856A (zh) | 一种服务器配置方法、系统、设备及计算机可读存储介质 | |
CN110032474B (zh) | 一种快照占用容量的确定方法、系统及相关组件 | |
CN107992268B (zh) | 一种坏块标记的方法及相关装置 | |
CN114327258B (zh) | 一种固态硬盘处理方法、系统、设备及计算机存储介质 | |
CN118069058A (zh) | 一种分布式存储故障处理方法、系统、设备及计算机介质 | |
CN104298609B (zh) | 数据拷贝方法和装置 | |
CN111367710B (zh) | 一种eMMC问题还原方法和装置 | |
CN110968446A (zh) | 一种元数据修复方法、装置、系统及计算机可读存储介质 | |
CN110008175A (zh) | 一种分布式对象存储快照方法、系统、设备及计算机介质 | |
CN111857545A (zh) | 一种读写锁冲突判断方法、系统、设备及计算机介质 | |
CN112148220B (zh) | 一种实现数据处理的方法、装置、计算机存储介质及终端 | |
CN110767258B (zh) | 数据擦除命令测试方法和相关装置 | |
CN110795283A (zh) | 一种级联备份方法、系统、设备及计算机可读存储介质 | |
CN105224254B (zh) | 一种数据处理方法及电子设备 | |
CN107885839B (zh) | 一种在Word文件中读取信息的方法和装置 | |
CN111857583B (zh) | 一种分布式存储卷更新方法、系统、设备及计算机介质 | |
JP4204060B2 (ja) | 情報処理システムのデータ復旧方法及びディスクサブシステム | |
JP5435647B2 (ja) | コンピュータシステム、メモリ初期化方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |