CN109669634B - 一种数据落盘方法、装置、设备及可读存储介质 - Google Patents

一种数据落盘方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109669634B
CN109669634B CN201811544543.4A CN201811544543A CN109669634B CN 109669634 B CN109669634 B CN 109669634B CN 201811544543 A CN201811544543 A CN 201811544543A CN 109669634 B CN109669634 B CN 109669634B
Authority
CN
China
Prior art keywords
osd
attribute
operation object
attributes
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811544543.4A
Other languages
English (en)
Other versions
CN109669634A (zh
Inventor
张露露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201811544543.4A priority Critical patent/CN109669634B/zh
Publication of CN109669634A publication Critical patent/CN109669634A/zh
Application granted granted Critical
Publication of CN109669634B publication Critical patent/CN109669634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据落盘方法，该方法能够在数据落盘过程中，当具有相同操作标识的OSD的操作对象属性中存在不小于K个相同的操作对象属性时，认为本次落盘操作执行成功，并使等待commit操作超时的OSD均执行commit操作，以确保当前数据落盘操作成功完成，即保障了写入操作过程中数据的正常落盘。相应地，本发明公开的一种数据落盘装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种数据落盘方法、装置、设备及可读存储介质
技术领域
本发明涉及数据存储技术领域，更具体地说，涉及一种数据落盘方法、装置、设备及可读存储介质。
背景技术
在分布式文件系统中，现有的数据写入流程为：客户端计算纠删码，并将计算得到的各个数据块发送至服务端缓存，服务端缓存为这些数据块对应分配OSD，并确定每个OSD要进行落盘的具体数据，同时使分配的各个OSD进入等待落盘流程；与此同时，服务端将分配信息返回至客户端，客户端核对这些分配信息后，发送commit操作至各个等待的OSD，以使各个OSD完成数据落盘操作。本申请中的OSD指代Object Storage Device(对象存储设备)。
在上述数据写入过程中，若服务端缓存为当前要落盘的数据分配的OSD有误，或各个OSD要进行落盘操作的数据的属性信息不一致，客户端在核对分配信息时将报错，那么客户端就不能及时发送commit操作至各个等待的OSD，进一步就会导致等待commit操作的OSD等待超时，如此将会导致数据落盘失败或无效。
因此，如何保障写入操作过程中数据的正常落盘，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种数据落盘方法、装置、设备及可读存储介质，以保障写入操作过程中数据的正常落盘。
为实现上述目的，本发明实施例提供了如下技术方案：
一种数据落盘方法，包括：
当对K+M个纠删数据块进行落盘操作时，判断OSD集合中是否存在等待commit操作超时的OSD；所述OSD集合为对所述K+M个纠删数据块进行落盘操作的OSD组成的集合；
若是，则查询所述OSD集合中的每个OSD的操作标识，将具有相同操作标识的OSD作为目标OSD，并查询所有目标OSD的操作对象属性，获得操作对象属性集合；
当所述操作对象属性集合中存在不小于K个相同的操作对象属性时，将所述不小于K个相同的操作对象属性确定为目标属性；
将所述OSD集合中的每个OSD的操作对象属性统一为所述目标属性，并使所述等待commit操作超时的OSD执行commit操作，以完成所述K+M个纠删数据块的落盘操作。
其中，所述当所述操作对象属性集合中存在不小于K个相同的操作对象属性时，将所述不小于K个相同的操作对象属性确定为目标属性之前，还包括：
判断具有不同操作标识的OSD的操作对象是否存在；
若是，则查询所述具有不同操作标识的OSD的操作对象属性，并将所述具有不同操作标识的OSD的操作对象属性添加至所述操作对象属性集合。
其中，还包括：
当具有不同操作标识的OSD的操作对象不存在时，将所述具有不同操作标识的OSD的操作对象属性标记为丢失。
其中，所述将所述OSD集合中的每个OSD的操作对象属性统一为所述目标属性，包括：
在所述OSD集合中查询操作对象属性不为所述目标属性的OSD，将所述操作对象属性不为所述目标属性的OSD的操作对象属性作为待修改属性；
将所述待修改属性修改为所述目标属性。
其中，所述判断OSD集合中是否存在等待commit操作超时的OSD，包括：
获取所述OSD集合中的每个OSD的等待时长，并判断是否存在等待时长超过预设阈值的OSD。
其中，还包括：
当不存在等待时长超过预设阈值的OSD时，向客户端返回所述K+M个纠删数据块的落盘操作已完成的消息。
其中，还包括：
当所述操作对象属性集合中存在小于K个相同的操作对象属性时，使所述OSD集合中的每个OSD执行abort操作，以重新对所述K+M个纠删数据块进行落盘操作。
一种数据落盘装置，包括：
判断模块，用于当对K+M个纠删数据块进行落盘操作时，判断OSD集合中是否存在等待commit操作超时的OSD；所述OSD集合为对所述K+M个纠删数据块进行落盘操作的OSD组成的集合；
查询模块，用于查询所述OSD集合中的每个OSD的操作标识，将具有相同操作标识的OSD作为目标OSD，并查询所有目标OSD的操作对象属性，获得操作对象属性集合；
确定模块，用于当所述操作对象属性集合中存在不小于K个相同的操作对象属性时，将所述不小于K个相同的操作对象属性确定为目标属性；
commit操作执行模块，用于将所述OSD集合中的每个OSD的操作对象属性统一为所述目标属性，并使所述等待commit操作超时的OSD执行commit操作，以完成所述K+M个纠删数据块的落盘操作。
一种数据落盘设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任意一项所述的数据落盘方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据落盘方法的步骤。
通过以上方案可知，本发明实施例提供的一种数据落盘方法，包括：当对K+M个纠删数据块进行落盘操作时，判断OSD集合中是否存在等待commit操作超时的OSD；所述OSD集合为对所述K+M个纠删数据块进行落盘操作的OSD组成的集合；若是，则查询所述OSD集合中的每个OSD的操作标识，将具有相同操作标识的OSD作为目标OSD，并查询所有目标OSD的操作对象属性，获得操作对象属性集合；当所述操作对象属性集合中存在不小于K个相同的操作对象属性时，将所述不小于K个相同的操作对象属性确定为目标属性；将所述OSD集合中的每个OSD的操作对象属性统一为所述目标属性，并使所述等待commit操作超时的OSD执行commit操作，以完成所述K+M个纠删数据块的落盘操作。
可见，在数据落盘过程中，当对K+M个纠删数据块进行落盘操作的OSD等待commit操作超时时，为了确保当前落盘操作的成功率，首先查询OSD集合中的每个OSD的操作标识，将具有相同操作标识的OSD作为目标OSD，并查询所有目标OSD的操作对象属性，获得操作对象属性集合；当操作对象属性集合中存在不小于K个相同的操作对象属性时，将不小于K个相同的操作对象属性确定为目标属性；将OSD集合中的每个OSD的操作对象属性统一为目标属性，并使等待commit操作超时的OSD执行commit操作，以完成K+M个纠删数据块的落盘操作。
也就是说，若数据落盘操作出现异常情况，此异常情况即为：OSD等待commit操作超时，针对此种异常情况，当具有相同操作标识的OSD的操作对象属性中存在不小于K个相同的操作对象属性时，则认为本次落盘操作执行成功，并使等待commit操作超时的OSD均执行commit操作，以完成当前落盘操作。
相应地，本发明实施例提供的一种数据落盘装置、设备及可读存储介质，也同样具有上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种数据落盘方法流程图；
图2为本发明实施例公开的一种数据落盘装置示意图；
图3为本发明实施例公开的一种数据落盘设备示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种数据落盘方法、装置、设备及可读存储介质，以保障写入操作过程中数据的正常落盘。
参见图1，本发明实施例提供的一种数据落盘方法，包括：
S101、当对K+M个纠删数据块进行落盘操作时，判断OSD集合中是否存在等待commit操作超时的OSD；若是，则执行S102；若否，则执行S105；
其中，OSD集合为对K+M个纠删数据块进行落盘操作的OSD组成的集合；K和M均为正整数，且K大于M。纠删数据块即为按照纠删码计算得到的数据块。
S102、查询OSD集合中的每个OSD的操作标识，将具有相同操作标识的OSD作为目标OSD，并查询所有目标OSD的操作对象属性，获得操作对象属性集合；
S103、当操作对象属性集合中存在不小于K个相同的操作对象属性时，将不小于K个相同的操作对象属性确定为目标属性；
S104、将OSD集合中的每个OSD的操作对象属性统一为目标属性，并使等待commit操作超时的OSD执行commit操作，以完成K+M个纠删数据块的落盘操作；
其中，将OSD集合中的每个OSD的操作对象属性统一为目标属性，包括：在OSD集合中查询操作对象属性不为目标属性的OSD，将操作对象属性不为目标属性的OSD的操作对象属性作为待修改属性；将待修改属性修改为目标属性。
例如：若OSD集合中存在5个OSD，其中有3个OSD的操作对象属性相同，均为A，且K＝3，那么则将剩余的2个OSD的操作对象属性修改为A，使OSD集合中的OSD的操作对象属性统一为A。
S105、向客户端返回K+M个纠删数据块的落盘操作已完成的消息。
需要说明的是，commit操作是客户端发送的使数据从服务端缓存落入磁盘的操作指令，当OSD接收到commit操作后，OSD会将缓存中的具体数据落入磁盘，以完成数据存储。当OSD未接收到commit操作时，说明数据落盘操作存在异常，针对此异常情况，可以利用本实施例提供的方法进行解决。
具体的，判断OSD集合中是否存在等待commit操作超时的OSD，包括：获取OSD集合中的每个OSD的等待时长，并判断是否存在等待时长超过预设阈值的OSD。其中，还包括：当不存在等待时长超过预设阈值的OSD时，向客户端返回K+M个纠删数据块的落盘操作已完成的消息。
可见，本实施例提供了一种数据落盘方法，该方法在数据落盘过程中，当对K+M个纠删数据块进行落盘操作的OSD等待commit操作超时时，为了确保当前落盘操作的成功率，首先查询OSD集合中的每个OSD的操作标识，将具有相同操作标识的OSD作为目标OSD，并查询所有目标OSD的操作对象属性，获得操作对象属性集合；当操作对象属性集合中存在不小于K个相同的操作对象属性时，将不小于K个相同的操作对象属性确定为目标属性；将OSD集合中的每个OSD的操作对象属性统一为目标属性，并使等待commit操作超时的OSD执行commit操作，以完成K+M个纠删数据块的落盘操作。
也就是说，若数据落盘操作出现异常情况，此异常情况即为：OSD等待commit操作超时，针对此种异常情况，当具有相同操作标识的OSD的操作对象属性中存在不小于K个相同的操作对象属性时，则认为本次落盘操作执行成功，并使等待commit操作超时的OSD均执行commit操作，以完成当前落盘操作。
基于上述实施例，需要说明的是，当操作对象属性集合中存在不小于K个相同的操作对象属性时，将不小于K个相同的操作对象属性确定为目标属性之前，还包括：
判断具有不同操作标识的OSD的操作对象是否存在；
若是，则查询具有不同操作标识的OSD的操作对象属性，并将具有不同操作标识的OSD的操作对象属性添加至操作对象属性集合。
其中，还包括：
当具有不同操作标识的OSD的操作对象不存在时，将具有不同操作标识的OSD的操作对象属性标记为丢失。
基于上述实施例，需要说明的是，当所述操作对象属性集合中存在小于K个相同的操作对象属性时，使所述OSD集合中的每个OSD执行abort操作，即：取消当前数据落盘操作，以重新对所述K+M个纠删数据块进行落盘操作。
基于上述实施例，需要说明的是，一个OSD对应一个纠删数据块，因此OSD的操作对象即为纠删数据块中的具体数据，操作对象属性即为纠删数据块的属性信息。
基于上述实施例，需要说明的是，当待存储的K+M个纠删数据块存入服务端缓存后，通过定时器计算每个OSD等待commit操作的等待时长，若规定时长内OSD没有接收到客户端发送的commit操作，该OSD就会发起协商处理流程。
其中，协商处理流程可按照如下过程进行：规定一个数据对象的协商处理流程具有协商主导者和参与者，其中，协商主导者为最先发起协商处理流程的OSD，处理当前写入操作的其他OSD均为参与者。最先发起协商处理流程的OSD即为第一个等待超时的OSD。
例如：一个数据对象的多个OSD都等待commit操作超时，那么第一个发起协商处理流程的OSD就是协商者，其他OSD均为参与者。如果处理当前写入操作的所有OSD中存在相同操作的OSD，且这些相同操作的OSD的操作对象的版本号相同，就认为本次落盘操作有效。其中，版本号是每个OSD操作对象属性。
具体的协商流程为：首先判断OSD是否等待commit操作超时，如果超时就发出协商，然后判断所有参与者是不是存在相同操作；如果存在，再比较相同操作对象的版本号；当存在不小于K个相同版本号时，认为写操作成功，则所有等待commit操作的OSD执行commit操作；当存在小于K个相同版本号时，认为写操作失败，则处理当前写入操作的所有OSD执行abort操作，以便重新进行本次写入操作。
例如：当K＝2，M＝1时，可能存在的场景请参见表1。在表1中，Shard即为K+M中的任意一个数据块，这些数据块分布在不同的OSD上，因此Shard可以看作OSD；操作t即为操作标识；对象版本号即为对象操作属性。
表1
Figure GDA0003418212130000081
Figure GDA0003418212130000091
下面对本发明实施例提供的一种数据落盘装置进行介绍，下文描述的一种数据落盘装置与上文描述的一种数据落盘方法可以相互参照。
参见图2，本发明实施例提供的一种数据落盘装置，包括：
判断模块201，用于当对K+M个纠删数据块进行落盘操作时，判断OSD集合中是否存在等待commit操作超时的OSD；OSD集合为对K+M个纠删数据块进行落盘操作的OSD组成的集合；
查询模块202，用于查询OSD集合中的每个OSD的操作标识，将具有相同操作标识的OSD作为目标OSD，并查询所有目标OSD的操作对象属性，获得操作对象属性集合；
确定模块203，用于当操作对象属性集合中存在不小于K个相同的操作对象属性时，将不小于K个相同的操作对象属性确定为目标属性；
commit操作执行模块204，用于将OSD集合中的每个OSD的操作对象属性统一为目标属性，并使等待commit操作超时的OSD执行commit操作，以完成K+M个纠删数据块的落盘操作。
其中，还包括：
操作对象判断模块，用于判断具有不同操作标识的OSD的操作对象是否存在；
添加模块，用于具有不同操作标识的OSD的操作对象存在时，查询具有不同操作标识的OSD的操作对象属性，并将具有不同操作标识的OSD的操作对象属性添加至操作对象属性集合。
其中，还包括：
标记模块，用于当具有不同操作标识的OSD的操作对象不存在时，将具有不同操作标识的OSD的操作对象属性标记为丢失。
其中，所述commit操作执行模块具体用于：
在OSD集合中查询操作对象属性不为目标属性的OSD，将操作对象属性不为目标属性的OSD的操作对象属性作为待修改属性；
将待修改属性修改为目标属性。
其中，所述判断模块具体用于：
获取OSD集合中的每个OSD的等待时长，并判断是否存在等待时长超过预设阈值的OSD。
其中，还包括：
返回模块，用于当不存在等待时长超过预设阈值的OSD时，向客户端返回K+M个纠删数据块的落盘操作已完成的消息。
其中，还包括：
abort操作执行模块，用于当操作对象属性集合中存在小于K个相同的操作对象属性时，使OSD集合中的每个OSD执行abort操作，以重新对K+M个纠删数据块进行落盘操作。
可见，本实施例提供了一种数据落盘装置，包括：判断模块、查询模块、确定模块以及commit操作执行模块。当对K+M个纠删数据块进行落盘操作时，首先由判断模块判断OSD集合中是否存在等待commit操作超时的OSD；OSD集合为对K+M个纠删数据块进行落盘操作的OSD组成的集合；然后查询模块，用于查询OSD集合中的每个OSD的操作标识，将具有相同操作标识的OSD作为目标OSD，并查询所有目标OSD的操作对象属性，获得操作对象属性集合；进而确定模块当操作对象属性集合中存在不小于K个相同的操作对象属性时，将不小于K个相同的操作对象属性确定为目标属性；最后commit操作执行模块将OSD集合中的每个OSD的操作对象属性统一为目标属性，并使等待commit操作超时的OSD执行commit操作，以完成K+M个纠删数据块的落盘操作。如此各个模块之间分工合作，各司其职，从而确保了当前数据落盘操作成功完成，即保障了写入操作过程中数据的正常落盘。
下面对本发明实施例提供的一种数据落盘设备进行介绍，下文描述的一种数据落盘设备与上文描述的一种数据落盘方法及装置可以相互参照。
参见图3，本发明实施例提供的一种数据落盘设备，包括：
存储器301，用于存储计算机程序；
处理器302，用于执行所述计算机程序时实现上述任意实施例所述的数据落盘方法的步骤。
下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种数据落盘方法、装置及设备可以相互参照。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的数据落盘方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据落盘方法，其特征在于，包括：
当对K+M个纠删数据块进行落盘操作时，判断OSD集合中是否存在等待commit操作超时的OSD；所述OSD集合为对所述K+M个纠删数据块进行落盘操作的OSD组成的集合；OSD为对象存储设备；
若是，则查询所述OSD集合中的每个OSD的操作标识，将具有相同操作标识的OSD作为目标OSD，并查询所有目标OSD的操作对象属性，获得操作对象属性集合；
当所述操作对象属性集合中存在不小于K个相同的操作对象属性时，将所述不小于K个相同的操作对象属性确定为目标属性；
将所述OSD集合中的每个OSD的操作对象属性统一为所述目标属性，并使所述等待commit操作超时的OSD执行commit操作，以完成所述K+M个纠删数据块的落盘操作。
2.根据权利要求1所述的数据落盘方法，其特征在于，所述当所述操作对象属性集合中存在不小于K个相同的操作对象属性时，将所述不小于K个相同的操作对象属性确定为目标属性之前，还包括：
判断具有不同操作标识的OSD的操作对象是否存在；
若是，则查询所述具有不同操作标识的OSD的操作对象属性，并将所述具有不同操作标识的OSD的操作对象属性添加至所述操作对象属性集合。
3.根据权利要求2所述的数据落盘方法，其特征在于，还包括：
当具有不同操作标识的OSD的操作对象不存在时，将所述具有不同操作标识的OSD的操作对象属性标记为丢失。
4.根据权利要求3所述的数据落盘方法，其特征在于，所述将所述OSD集合中的每个OSD的操作对象属性统一为所述目标属性，包括：
在所述OSD集合中查询操作对象属性不为所述目标属性的OSD，将所述操作对象属性不为所述目标属性的OSD的操作对象属性作为待修改属性；
将所述待修改属性修改为所述目标属性。
5.根据权利要求1-4任意一项所述的数据落盘方法，其特征在于，所述判断OSD集合中是否存在等待commit操作超时的OSD，包括：
获取所述OSD集合中的每个OSD的等待时长，并判断是否存在等待时长超过预设阈值的OSD。
6.根据权利要求5所述的数据落盘方法，其特征在于，还包括：
当不存在等待时长超过预设阈值的OSD时，向客户端返回所述K+M个纠删数据块的落盘操作已完成的消息。
7.根据权利要求1-4任意一项所述的数据落盘方法，其特征在于，还包括：
当所述操作对象属性集合中存在小于K个相同的操作对象属性时，使所述OSD集合中的每个OSD执行abort操作，以重新对所述K+M个纠删数据块进行落盘操作。
8.一种数据落盘装置，其特征在于，包括：
判断模块，用于当对K+M个纠删数据块进行落盘操作时，判断OSD集合中是否存在等待commit操作超时的OSD；所述OSD集合为对所述K+M个纠删数据块进行落盘操作的OSD组成的集合；OSD为对象存储设备；
查询模块，用于查询所述OSD集合中的每个OSD的操作标识，将具有相同操作标识的OSD作为目标OSD，并查询所有目标OSD的操作对象属性，获得操作对象属性集合；
确定模块，用于当所述操作对象属性集合中存在不小于K个相同的操作对象属性时，将所述不小于K个相同的操作对象属性确定为目标属性；
commit操作执行模块，用于将所述OSD集合中的每个OSD的操作对象属性统一为所述目标属性，并使所述等待commit操作超时的OSD执行commit操作，以完成所述K+M个纠删数据块的落盘操作。
9.一种数据落盘设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-7任意一项所述的数据落盘方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的数据落盘方法的步骤。
CN201811544543.4A 2018-12-17 2018-12-17 一种数据落盘方法、装置、设备及可读存储介质 Active CN109669634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811544543.4A CN109669634B (zh) 2018-12-17 2018-12-17 一种数据落盘方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811544543.4A CN109669634B (zh) 2018-12-17 2018-12-17 一种数据落盘方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109669634A CN109669634A (zh) 2019-04-23
CN109669634B true CN109669634B (zh) 2022-03-04

Family

ID=66145201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811544543.4A Active CN109669634B (zh) 2018-12-17 2018-12-17 一种数据落盘方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109669634B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1964348A (zh) * 2005-11-09 2007-05-16 大唐移动通信设备有限公司 一种数据传输方法和系统
CN103092532A (zh) * 2013-01-21 2013-05-08 浪潮(北京)电子信息产业有限公司 一种集群存储系统的存储方法
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法
CN108197159A (zh) * 2017-12-11 2018-06-22 厦门集微科技有限公司 基于分布式文件系统的数据读取、写入方法及装置
CN108845769A (zh) * 2018-06-19 2018-11-20 郑州云海信息技术有限公司 一种数据落盘定位的方法、装置和计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112017011412B1 (pt) * 2014-12-27 2023-02-14 Huawei Technologies Co., Ltd. Método e aparelho de armazenamento de dados

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1964348A (zh) * 2005-11-09 2007-05-16 大唐移动通信设备有限公司 一种数据传输方法和系统
CN103092532A (zh) * 2013-01-21 2013-05-08 浪潮(北京)电子信息产业有限公司 一种集群存储系统的存储方法
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法
CN108197159A (zh) * 2017-12-11 2018-06-22 厦门集微科技有限公司 基于分布式文件系统的数据读取、写入方法及装置
CN108845769A (zh) * 2018-06-19 2018-11-20 郑州云海信息技术有限公司 一种数据落盘定位的方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN109669634A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN106375404A (zh) 数据存储控制方法、数据存储方法、数据获取方法及装置
CN104407820B (zh) 基于固态硬盘存储系统的数据处理方法、装置以及系统
CN106572137B (zh) 一种分布式服务资源管理方法和装置
US8572728B2 (en) Initiation of storage device scans
CN112684982B (zh) 一种数据迁移方法、系统、设备及计算机可读存储介质
CN111046001A (zh) 一种批量创建文件的方法、装置、设备及存储介质
CN105260639A (zh) 一种脸部识别系统的数据更新的方法及装置
CN109165175B (zh) 设备标识生成方法和装置
WO2017147794A1 (zh) 差异数据备份的方法和设备
CN116149559A (zh) 队列处理方法、装置、服务器、电子设备和存储介质
CN109558209B (zh) 一种用于虚拟机的监控方法
CN109669634B (zh) 一种数据落盘方法、装置、设备及可读存储介质
CN104391654A (zh) 一种共享磁盘管理方法及系统
CN102984002A (zh) 一种处理i/o超时的方法和装置
CN111026531B (zh) 任务重复发送处理方法、装置、计算机设备及存储介质
CN109245941B (zh) 一种服务补偿方法及装置
CN105808556B (zh) 一种数据库的操作方法及数据库引擎
US20150081647A1 (en) Server and method for updating data of server
CN110704198B (zh) 数据操作方法、装置、存储介质以及处理器
CN111130856A (zh) 一种服务器配置方法、系统、设备及计算机可读存储介质
CN109271538A (zh) 一种图片存储方法及相关设备
CN115242872A (zh) 数据处理方法、装置、计算机设备及可读存储介质
US11868620B2 (en) Read-write method and apparatus, electronic device, and readable memory medium
CN109286672B (zh) 一种用户请求的处理方法、装置及服务器
CN106897024B (zh) 数据写入方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant