CN108255429A - 一种写操作控制方法、系统、装置及计算机可读存储介质 - Google Patents

一种写操作控制方法、系统、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN108255429A
CN108255429A CN201810022648.7A CN201810022648A CN108255429A CN 108255429 A CN108255429 A CN 108255429A CN 201810022648 A CN201810022648 A CN 201810022648A CN 108255429 A CN108255429 A CN 108255429A
Authority
CN
China
Prior art keywords
data
write
data block
written
operation control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810022648.7A
Other languages
English (en)
Other versions
CN108255429B (zh
Inventor
孟祥瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810022648.7A priority Critical patent/CN108255429B/zh
Publication of CN108255429A publication Critical patent/CN108255429A/zh
Application granted granted Critical
Publication of CN108255429B publication Critical patent/CN108255429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种写操作控制方法、系统、装置及计算机存储介质，应用于分布式存储系统，包括：在接收到写请求时，调用写线程将待写入数据按照条带方式分割成原始数据块，并根据条带对应的数据对象服务OSD信息将原始数据块发送到OSD节点上下盘；调用后台线程根据待写入数据生成校验数据块，并发送校验数据块到对应的OSD节点上下盘。本申请中每次写数据时，调用写线程只把待写入数据下盘，然后调用后台线程异步计算出校验数据块，再单独下盘。后台线程不工作在业务下盘的IO路径上，减少了业务IO路径的下盘数据量，这样就降低了业务每次写数据的时延，使得分布式存储系统能提供更高的性能，支撑更多路数的视频流业务，满足客户需求。

Description

一种写操作控制方法、系统、装置及计算机可读存储介质
技术领域
本发明涉及分布式文件系统领域，特别是涉及一种写操作控制方法、系统、装置及计算机可读存储介质。
背景技术
分布式存储系统中，通常采用EC(Erasure Code，纠删码)技术来实现数据的冗余可靠性，这种机制保障了在不超过冗余个数的硬盘出现故障时，数据是可恢复的。具体地，Client端每次写数据时，通过EC技术计算出原始数据块对应的校验数据块，然后同时把原始数据块和校验数据块一起发送至OSD(Object-based Storage，数据对象服务)端下盘。校验数据块的下盘占用了业务下盘的IO(Input/Output，输入/输出)路径，使得业务IO路径的下盘数据量较多，从而导致写请求的时延较长，业务的吞吐量性能较低，难以支持成百上千路的视频流写入，可能出现业务阻塞的问题。
因此如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本发明的目的是提供一种写操作控制方法、系统、装置及计算机可读存储介质，每次写数据时，调用写线程只把待写入数据下盘，然后调用后台线程异步计算出校验数据块，再单独下盘。后台线程不工作在业务下盘的IO路径上，减少了业务IO路径的下盘数据量，降低了业务每次写数据的时延，使得分布式存储系统能提供更高的性能，支撑更多路数的视频流业务，满足客户需求。
为解决上述技术问题，本发明提供了一种写操作控制方法，应用于分布式存储系统，包括：
在接收到写请求时，调用写线程将待写入数据按照条带方式分割成原始数据块，并根据所述条带对应的数据对象服务OSD信息将所述原始数据块发送到所述OSD节点上下盘；
调用后台线程根据所述待写入数据生成校验数据块，并发送所述校验数据块到对应的OSD节点上下盘。
优选地，所述根据所述待写入数据生成校验数据块的过程具体为：
判断所述待写入数据是否是首次写；
如果是首次写，则根据当前所述待写入数据直接生成校验数据块；
如果是修改写，则判断所述修改写是否是整条带覆盖写，当是所述整条带覆盖写时，根据当前所述待写入数据直接生成校验数据块，当不是所述整条带覆盖写时，合并所述待写入数据和原有数据，根据合并后的数据生成校验数据块。
优选地，所述将所述原始数据块发送到所述OSD节点上下盘之后，该方法还包括：
发送用于指示写入成功的返回结果至上层业务。
优选地，所述发送所述校验数据块到对应的OSD节点上下盘之后，该方法还包括：
释放缓存中保存的所述待写入的数据。
为解决上述技术问题，本发明还提供了一种写操作控制系统，应用于分布式存储系统，包括：
第一发送模块，用于在接收到写请求时，调用写线程将待写入数据按照条带方式分割成原始数据块，并根据所述条带对应的数据对象服务OSD信息将所述原始数据块发送到所述OSD节点上下盘；
第二发送模块，用于调用后台线程根据所述待写入数据生成校验数据块，并发送所述校验数据块到对应的OSD节点上下盘。
优选地，所述第二发送模块具体用于判断所述待写入数据是否是首次写；
如果是首次写，则根据当前所述待写入数据直接生成校验数据块；
如果是修改写，则判断所述修改写是否是整条带覆盖写，当是所述整条带覆盖写时，根据当前所述待写入数据直接生成校验数据块，当不是所述整条带覆盖写时，合并所述待写入数据和原有数据，根据合并后的数据生成校验数据块。
优选地，该系统还包括返回模块，用于发送用于指示写入成功的返回结果至上层业务。
优选地，该系统还包括删除模块，用于释放缓存中保存的所述待写入的数据。
为解决上述技术问题，本发明还提供了一种写操作控制装置，应用于分布式存储系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任一项所述写操作控制方法的步骤。
为解决上述技术问题，本发明还提供了一种计算机可读存储介质，应用于分布式存储系统，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述写操作控制方法的步骤。
本发明提供了一种写操作控制方法，应用于分布式存储系统，包括：在接收到写请求时，调用写线程将待写入数据按照条带方式分割成原始数据块，并根据条带对应的数据对象服务OSD信息将原始数据块发送到OSD节点上下盘；调用后台线程根据待写入数据生成校验数据块，并发送校验数据块到对应的OSD节点上下盘。
相比于现有技术中同时把原始数据块和校验数据块一起发送至OSD端下盘，本申请中每次写数据时，调用写线程只把待写入数据下盘，然后调用后台线程异步计算出校验数据块，再单独下盘。可见，后台线程不工作在业务下盘的IO路径上，减少了业务IO路径的下盘数据量，这样就降低了业务每次写数据的时延，使得分布式存储系统能提供更高的性能，支撑更多路数的视频流业务，满足客户需求。
本发明还提供了一种写操作控制系统、装置及计算机存储介质，与上述写操作控制方法具有相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种写操作控制方法的过程流程图；
图2为本发明提供的一种写操作控制系统的结构示意图。
具体实施方式
本发明的核心是提供一种写操作控制方法、系统、装置及计算机可读存储介质，每次写数据时，调用写线程只把待写入数据下盘，然后调用后台线程异步计算出校验数据块，再单独下盘。后台线程不工作在业务下盘的IO路径上，减少了业务IO路径的下盘数据量，降低了业务每次写数据的时延，使得分布式存储系统能提供更高的性能，支撑更多路数的视频流业务，满足客户需求。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明提供的一种写操作控制方法的过程流程图，该方法应用于分布式存储系统，包括：
步骤S11：在接收到写请求时，调用写线程将待写入数据按照条带方式分割成原始数据块，并根据条带对应的数据对象服务OSD信息将原始数据块发送到OSD节点上下盘；
需要说明的是，在视频监控场景中，绝大部分的数据写入后是很少被访问的，对数据可靠性要求不高，但此类场景对存储的时延和性能要求很高，要能支持成百上千路的视频流写入，并且不能阻塞业务。在此类场景下，同时把原始数据块和校验数据块一起发送至OSD端下盘就增加了每次下盘的IO次数，比较难以提升性能来满足此类场景的高并发的极致性能。
具体地，本申请在接收到写请求时，调用写线程只把待写入数据下盘，相比于现有技术中同时把原始数据块和校验数据块一起发送至OSD端下盘，减少了业务IO路径的下盘数据量，对性能有较大的提升(低时延和高带宽)，能支撑更多路数的视频流业务，满足客户需求。
步骤S12：调用后台线程根据待写入数据生成校验数据块，并发送校验数据块到对应的OSD节点上下盘。
具体地，调用后台线程异步计算校验数据块，再单独把校验数据块下盘，保证最终存储的数据的冗余可靠性。可见，后台异步线程不工作在业务下盘的IO路径上，这样对于上层业务每次写数据就减少了校验数据的同步下盘，大大降低了写操作的时延，提升了业务的吞吐量性能，保证了业务IO路径上的低时延高带宽体现，满足视频监控场景中千路视频流的性能接入需求。
本发明提供了一种写操作控制方法，应用于分布式存储系统，包括：在接收到写请求时，调用写线程将待写入数据按照条带方式分割成原始数据块，并根据条带对应的数据对象服务OSD信息将原始数据块发送到OSD节点上下盘；调用后台线程根据待写入数据生成校验数据块，并发送校验数据块到对应的OSD节点上下盘。
相比于现有技术中同时把原始数据块和校验数据块一起发送至OSD端下盘，本申请中每次写数据时，调用写线程只把待写入数据下盘，然后调用后台线程异步计算出校验数据块，再单独下盘。可见，后台线程不工作在业务下盘的IO路径上，减少了业务IO路径的下盘数据量，这样就降低了业务每次写数据的时延，使得分布式存储系统能提供更高的性能，支撑更多路数的视频流业务，满足客户需求。
在上述实施例的基础上：
作为一种优选地实施例，根据待写入数据生成校验数据块的过程具体为：
判断待写入数据是否是首次写；
如果是首次写，则根据当前待写入数据直接生成校验数据块；
如果是修改写，则判断修改写是否是整条带覆盖写，当是整条带覆盖写时，根据当前待写入数据直接生成校验数据块，当不是整条带覆盖写时，合并待写入数据和原有数据，根据合并后的数据生成校验数据块。
具体地，分布式存储系统启动后，Client端启动后台线程，专门用来处理延迟EC计算下盘的任务。根据待写入数据生成校验数据块时，如果是首次写场景，则创建一个EC延迟计算的任务，交给后台线程处理。后台线程处理EC延迟计算任务时，把当前待写入条带数据进行EC计算生成校验数据块，然后发送到对应的OSD节点上下盘。
如果是修改(覆盖)写场景，则判断本次修改写是否是整条带覆盖，然后创建一个EC延迟计算的任务，交给后台线程处理。当是整条带覆盖写时，后台线程把当前待写入条带数据进行EC计算生成校验数据块，然后发送到对应的OSD节点上下盘。
当本次修改写不是整条带覆盖写时，则先读出本条带对应的原有数据，然后合并待写入的修改数据，把合并后的数据进行EC计算生成校验数据块。可见，对于上层业务每次写数据，本申请中后台线程异步进行EC校验数据的计算并下盘，还避免了修改写可能带来的读操作，进一步降低了写请求的时延。
作为一种优选地实施例，将原始数据块发送到OSD节点上下盘之后，该方法还包括：
发送用于指示写入成功的返回结果至上层业务。
具体地，业务新写数据和修改写数据时，本申请中把原始数据块单独下盘成功之后，还返回用于指示写入成功的返回结果至上层业务，以便直观的提示用户本次待写入数据成功下盘，提升用户的使用体验感。
作为一种优选地实施例，发送校验数据块到对应的OSD节点上下盘之后，该方法还包括：
释放缓存中保存的待写入的数据。
具体地，业务新写数据和修改写数据时，把原始数据块单独下盘成功，返回上层业务的同时保留数据缓存。基于保留的数据缓存，后台线程异步计算EC校验数据块并下盘，校验数据块下盘成功后释放本条带数据，更新缓存，从而保证系统的运行速度。
请参照图2，图2为本发明提供的一种写操作控制系统的结构示意图，该系统应用于分布式存储系统，包括：
第一发送模块1，用于在接收到写请求时，调用写线程将待写入数据按照条带方式分割成原始数据块，并根据条带对应的数据对象服务OSD信息将原始数据块发送到OSD节点上下盘；
第二发送模块2，用于调用后台线程根据待写入数据生成校验数据块，并发送校验数据块到对应的OSD节点上下盘。
作为一种优选地实施例，第二发送模块2具体用于判断待写入数据是否是首次写；
如果是首次写，则根据当前待写入数据直接生成校验数据块；
如果是修改写，则判断修改写是否是整条带覆盖写，当是整条带覆盖写时，根据当前待写入数据直接生成校验数据块，当不是整条带覆盖写时，合并待写入数据和原有数据，根据合并后的数据生成校验数据块。
作为一种优选地实施例，该系统还包括返回模块，用于发送用于指示写入成功的返回结果至上层业务。
作为一种优选地实施例，该系统还包括删除模块，用于释放缓存中保存的待写入的数据。
对于本发明提供的系统的介绍请参照上述方法实施例，本发明在此不再赘述。
本发明还提供一种写操作控制装置，应用于分布式存储系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现上述任一项写操作控制方法的步骤。
对于本发明提供的装置的介绍请参照上述方法实施例，本发明在此不再赘述。
本发明还提供一种计算机可读存储介质，应用于分布式存储系统，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任一项写操作控制方法的步骤。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统、装置及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种写操作控制方法，应用于分布式存储系统，其特征在于，包括：
在接收到写请求时，调用写线程将待写入数据按照条带方式分割成原始数据块，并根据所述条带对应的数据对象服务OSD信息将所述原始数据块发送到所述OSD节点上下盘；
调用后台线程根据所述待写入数据生成校验数据块，并发送所述校验数据块到对应的OSD节点上下盘。
2.根据权利要求1所述的写操作控制方法，其特征在于，所述根据所述待写入数据生成校验数据块的过程具体为：
判断所述待写入数据是否是首次写；
如果是首次写，则根据当前所述待写入数据直接生成校验数据块；
如果是修改写，则判断所述修改写是否是整条带覆盖写，当是所述整条带覆盖写时，根据当前所述待写入数据直接生成校验数据块，当不是所述整条带覆盖写时，合并所述待写入数据和原有数据，根据合并后的数据生成校验数据块。
3.根据权利要求2所述的写操作控制方法，其特征在于，所述将所述原始数据块发送到所述OSD节点上下盘之后，该方法还包括：
发送用于指示写入成功的返回结果至上层业务。
4.根据权利要求2所述的写操作控制方法，其特征在于，所述发送所述校验数据块到对应的OSD节点上下盘之后，该方法还包括：
释放缓存中保存的所述待写入的数据。
5.一种写操作控制系统，应用于分布式存储系统，其特征在于，包括：
第一发送模块，用于在接收到写请求时，调用写线程将待写入数据按照条带方式分割成原始数据块，并根据所述条带对应的数据对象服务OSD信息将所述原始数据块发送到所述OSD节点上下盘；
第二发送模块，用于调用后台线程根据所述待写入数据生成校验数据块，并发送所述校验数据块到对应的OSD节点上下盘。
6.根据权利要求5所述的写操作控制系统，其特征在于，所述第二发送模块具体用于判断所述待写入数据是否是首次写；
如果是首次写，则根据当前所述待写入数据直接生成校验数据块；
如果是修改写，则判断所述修改写是否是整条带覆盖写，当是所述整条带覆盖写时，根据当前所述待写入数据直接生成校验数据块，当不是所述整条带覆盖写时，合并所述待写入数据和原有数据，根据合并后的数据生成校验数据块。
7.根据权利要求6所述的写操作控制系统，其特征在于，该系统还包括返回模块，用于发送用于指示写入成功的返回结果至上层业务。
8.根据权利要求6所述的写操作控制系统，其特征在于，该系统还包括删除模块，用于释放缓存中保存的所述待写入的数据。
9.一种写操作控制装置，应用于分布式存储系统，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述写操作控制方法的步骤。
10.一种计算机可读存储介质，应用于分布式存储系统，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述写操作控制方法的步骤。
CN201810022648.7A 2018-01-10 2018-01-10 一种写操作控制方法、系统、装置及计算机可读存储介质 Active CN108255429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810022648.7A CN108255429B (zh) 2018-01-10 2018-01-10 一种写操作控制方法、系统、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810022648.7A CN108255429B (zh) 2018-01-10 2018-01-10 一种写操作控制方法、系统、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108255429A true CN108255429A (zh) 2018-07-06
CN108255429B CN108255429B (zh) 2021-07-02

Family

ID=62725007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810022648.7A Active CN108255429B (zh) 2018-01-10 2018-01-10 一种写操作控制方法、系统、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108255429B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683817A (zh) * 2018-12-14 2019-04-26 浪潮电子信息产业股份有限公司 一种数据写入方法、系统及电子设备和存储介质
CN110083515A (zh) * 2019-04-24 2019-08-02 苏州元核云技术有限公司 分布式存储系统中慢盘的快速判断方法、装置及存储介质
CN110134739A (zh) * 2019-05-23 2019-08-16 苏州浪潮智能科技有限公司 一种混合写流程处理方法、系统、设备及计算机存储介质
CN111324280A (zh) * 2018-12-13 2020-06-23 武汉海康存储技术有限公司 基于Raid5的数据写入方法和装置
CN112306781A (zh) * 2020-11-20 2021-02-02 新华三大数据技术有限公司 一种线程故障处理方法、装置、介质及设备
CN112363674A (zh) * 2020-11-12 2021-02-12 新华三技术有限公司成都分公司 一种数据写入方法和装置
CN114442956A (zh) * 2022-01-27 2022-05-06 苏州浪潮智能科技有限公司 一种双存储池数据写入处理方法、装置、设备及介质
CN115599315A (zh) * 2022-12-14 2023-01-13 阿里巴巴（中国）有限公司（Cn） 数据处理方法、装置、系统、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030146454A1 (en) * 2002-02-07 2003-08-07 Hitachi, Ltd. Semiconductor integrated circuit and method of manufacturing of semiconductor integrated circuit
CN101452409A (zh) * 2007-12-04 2009-06-10 无锡江南计算技术研究所 数据校验冗余方法及装置
CN102696017A (zh) * 2010-02-22 2012-09-26 国际商业机器公司 用于在回写分布式冗余数据存储系统中维持奇偶校验一致性的读取其他项的协议
US20120311255A1 (en) * 2010-02-22 2012-12-06 International Business Machines Corporation Full-stripe-write protocol for maintaining parity coherency in a write-back distributed redundancy data storage system
CN102880671A (zh) * 2012-09-07 2013-01-16 浪潮电子信息产业股份有限公司 一种面向分布式文件系统的主动重复数据删除方法
US20140173035A1 (en) * 2011-08-02 2014-06-19 Nec Corporation Distributed storage system and method
CN104267913A (zh) * 2014-10-20 2015-01-07 北京北亚时代科技有限公司 一种可动态异步调整raid级别的存储方法及存储系统
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法
CN106033320A (zh) * 2015-03-11 2016-10-19 中兴通讯股份有限公司 高性能廉价磁盘冗余阵列raid机制的处理方法及装置
CN107094186A (zh) * 2017-06-15 2017-08-25 深圳市云舒网络技术有限公司 一种分布式存储系统的纠删码优化方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030146454A1 (en) * 2002-02-07 2003-08-07 Hitachi, Ltd. Semiconductor integrated circuit and method of manufacturing of semiconductor integrated circuit
CN101452409A (zh) * 2007-12-04 2009-06-10 无锡江南计算技术研究所 数据校验冗余方法及装置
CN102696017A (zh) * 2010-02-22 2012-09-26 国际商业机器公司 用于在回写分布式冗余数据存储系统中维持奇偶校验一致性的读取其他项的协议
US20120311255A1 (en) * 2010-02-22 2012-12-06 International Business Machines Corporation Full-stripe-write protocol for maintaining parity coherency in a write-back distributed redundancy data storage system
US20140173035A1 (en) * 2011-08-02 2014-06-19 Nec Corporation Distributed storage system and method
CN102880671A (zh) * 2012-09-07 2013-01-16 浪潮电子信息产业股份有限公司 一种面向分布式文件系统的主动重复数据删除方法
CN104267913A (zh) * 2014-10-20 2015-01-07 北京北亚时代科技有限公司 一种可动态异步调整raid级别的存储方法及存储系统
CN106033320A (zh) * 2015-03-11 2016-10-19 中兴通讯股份有限公司 高性能廉价磁盘冗余阵列raid机制的处理方法及装置
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法
CN107094186A (zh) * 2017-06-15 2017-08-25 深圳市云舒网络技术有限公司 一种分布式存储系统的纠删码优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵晓永著: "《面向云计算的数据存储关键技术研究》", 30 December 2014 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324280A (zh) * 2018-12-13 2020-06-23 武汉海康存储技术有限公司 基于Raid5的数据写入方法和装置
CN111324280B (zh) * 2018-12-13 2023-03-28 武汉海康存储技术有限公司 基于Raid5的数据写入方法和装置
CN109683817A (zh) * 2018-12-14 2019-04-26 浪潮电子信息产业股份有限公司 一种数据写入方法、系统及电子设备和存储介质
CN110083515A (zh) * 2019-04-24 2019-08-02 苏州元核云技术有限公司 分布式存储系统中慢盘的快速判断方法、装置及存储介质
CN110134739A (zh) * 2019-05-23 2019-08-16 苏州浪潮智能科技有限公司 一种混合写流程处理方法、系统、设备及计算机存储介质
CN112363674A (zh) * 2020-11-12 2021-02-12 新华三技术有限公司成都分公司 一种数据写入方法和装置
CN112363674B (zh) * 2020-11-12 2022-04-22 新华三技术有限公司成都分公司 一种数据写入方法和装置
CN112306781A (zh) * 2020-11-20 2021-02-02 新华三大数据技术有限公司 一种线程故障处理方法、装置、介质及设备
CN112306781B (zh) * 2020-11-20 2022-08-19 新华三大数据技术有限公司 一种线程故障处理方法、装置、介质及设备
CN114442956A (zh) * 2022-01-27 2022-05-06 苏州浪潮智能科技有限公司 一种双存储池数据写入处理方法、装置、设备及介质
CN114442956B (zh) * 2022-01-27 2023-08-25 苏州浪潮智能科技有限公司 一种双存储池数据写入处理方法、装置、设备及介质
CN115599315A (zh) * 2022-12-14 2023-01-13 阿里巴巴（中国）有限公司（Cn） 数据处理方法、装置、系统、设备及介质

Also Published As

Publication number Publication date
CN108255429B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN108255429A (zh) 一种写操作控制方法、系统、装置及计算机可读存储介质
KR102240557B1 (ko) 데이터 저장 방법, 장치 및 시스템
US7925856B1 (en) Method and apparatus for maintaining an amount of reserve space using virtual placeholders
CN107395665A (zh) 一种区块链业务受理及业务共识方法及装置
CN105338078B (zh) 用于存储系统的数据存储方法和装置
CN109062512A (zh) 一种分布式存储集群、数据读写方法、系统及相关装置
CN104123198A (zh) 管理数据复制模式的方法和装置
EP3051408B1 (en) Data operating method and device
CN106657356A (zh) 一种云存储系统的数据写入方法、装置及云存储系统
CN108319618B (zh) 一种分布式存储系统的数据分布控制方法、系统及装置
CN105530272A (zh) 一种应用数据的同步方法和装置
US11385823B2 (en) Method, electronic device and computer program product for rebuilding disk array
CN109582213A (zh) 数据重构方法及装置、数据存储系统
US20140156853A1 (en) Computer and resource retrieval method
CN110018783A (zh) 一种数据存储方法、装置及系统
WO2024040857A1 (zh) 磁盘阵列初始化方法、系统、电子设备及存储介质
CN108984104A (zh) 用于缓存管理的方法和设备
CN105357042A (zh) 一种高可用集群系统及其主节点和从节点
CN109446202A (zh) 标识符分配方法、装置、服务器和存储介质
CN106599323B (zh) 在分布式文件系统中实现分布式管道的方法和装置
CN113190384B (zh) 基于纠删码的数据恢复控制方法、装置、设备及介质
CN109196458A (zh) 存储系统可用容量计算方法及装置
CN112748856A (zh) 管理盘的方法、电子设备和计算机程序产品
CN109167690A (zh) 一种分布式系统中节点服务的恢复方法、装置及相关设备
US20200348858A1 (en) Method, device and computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant