CN112363675A - 基于分布式存储系统的控制方法及系统 - Google Patents

Abstract

本发明公开了基于分布式存储系统的控制方法及系统，基于分布式存储系统的控制方法包括：服务进程接收数据写入请求，并记录所述数据写入请求的数据写入时间和数据写入次数；所述服务进程根据所述数据写入时间或所述数据写入次数满足预设写入规则，将所述数据写入请求对应的数据写入所述服务进程的日志文件。本发明通过服务进程根据数据写入时间或数据写入次数满足预设写入规则，才将数据写入请求的数据写入到服务进程的日志文件，无需每次接收到数据写入请求都直接将数据写入到日志文件，以降低延迟，还可以提高整体的吞吐能力。

Description

基于分布式存储系统的控制方法及系统

技术领域

本发明涉及分布式存储的技术领域，尤其是涉及一种基于分布式存储系统的控制方法及系统。

背景技术

基于分布式存储系统的控制系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点。

基于分布式存储系统的控制系统在应用过程中，往往承载了海量的数据和文件，随着数据和文件的增多，数据IO的延迟也受到一定的影响，无法保证数据和文件读取和写入快速完成，降低用户的体验感。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于分布式存储系统的控制方法，能够降低IO的延迟。

本发明还提出一种基于分布式存储系统的控制系统。

第一方面，本发明的一个实施例提供了基于分布式存储系统的控制方法，包括：

服务进程接收数据写入请求，并记录所述数据写入请求的数据写入时间和数据写入次数；

所述服务进程根据所述数据写入时间或所述数据写入次数满足预设写入规则，将所述数据写入请求对应的数据写入所述服务进程的日志文件。

本发明实施例的基于分布式存储系统的控制方法至少具有如下有益效果：通过服务进程根据数据写入时间或数据写入次数满足预设写入规则，才将数据写入请求的数据写入到服务进程的日志文件，无需每次接收到数据写入请求都直接将数据写入到日志文件，以降低延迟，还可以提高整体的吞吐能力。

根据本发明的另一些实施例的基于分布式存储系统的控制方法，所述预设写入规则包括：预设时间阈值、预设次数阈值。

根据本发明的另一些实施例的基于分布式存储系统的控制方法，所述根据所述数据写入时间或所述数据写入次数满足预设写入规则，将所述数据写入请求对应的数据写入服务进程的日志文件，包括：

若在所述预设时间阈值内所述数据写入次数满足所述预设次数阈值，将所述数据写入请求对应的数据写入所述服务进程的日志文件；

或，若所述数据写入时间超过所述预设时间阈值，将所述数据写入请求对应的数据写入到所述服务进程的日志文件。

根据本发明的另一些实施例的基于分布式存储系统的控制方法，所述服务进程包括：主服务进程和从服务进程，所述数据写入请求对应的数据包括主本数据和副本数据。

根据本发明的另一些实施例的基于分布式存储系统的控制方法，所述基于分布式存储系统的控制方法还包括：

当所述主服务进程将所述数据写入请求对应的所述主本数据和所述副本数据写入到所述主服务进程的日志文件后，所述主服务进程将所述副本数据发送至所述从服务进程。

根据本发明的另一些实施例的基于分布式存储系统的控制方法，所述基于分布式存储系统的控制方法还包括：

所述从服务进程将所述副本数据写入所述从服务进程的日志文件以得到写入成功信息，并将所述写入成功信息发送至所述主服务进程。

根据本发明的另一些实施例的基于分布式存储系统的控制方法，还包括：

对所述主服务进程和客户端之间的路径进行路径校验；

所述主服务进程对所述主本数据和所述副本数据进行数据校验；

对所述主服务进程和所述从服务进程之间的路径进行路径校验。

根据本发明的另一些实施例的基于分布式存储系统的控制方法，所述路径校验包括TCP校验，所述数据校验包括CRC校验

第二方面，本发明的一个实施例提供了基于分布式存储系统的控制系统，包括：服务进程，所述服务进程包括：

接收模块，用于接收数据写入请求；

记录模块，用于记录所述数据写入请求的数据写入时间和数据写入次数；

写入模块，用于根据所述数据写入时间和所述数据写入次数满足预设写入规则，将所述数据写入请求对应的数据写入所述服务进程对应的日志文件。

本发明实施例的基于分布式存储系统的控制系统至少具有如下有益效果：通过服务进程根据数据写入时间或数据写入次数满足预设写入规则，才将数据写入请求的数据写入到服务进程的日志文件，无需每次接收到数据写入请求都直接将数据写入到日志文件，以降低延迟，还可以提高整体的吞吐能力。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

图1是本发明实施例中基于分布式存储系统的控制方法的一具体实施例流程示意图；

图2是本发明实施例中基于分布式存储系统的控制方法的另一具体实施例流程示意图；

图3是本发明实施例中基于分布式存储系统的控制方法的另一具体实施例流程示意图；

图4是本发明实施例中基于分布式存储系统的控制方法的另一具体实施例流程示意图；

图5是本发明实施例中基于分布式存储系统的控制方法的另一具体实施例流程示意图；

图6是本发明实施例中基于分布式存储系统的控制方法的另一具体实施例流程示意图；

图7是本发明实施例中基于分布式存储系统的控制系统的一具体实施例模块框图。

附图标记：100、服务进程；110、接收模块；120、记录模块；130、写入模块。

具体实施方式

以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。

在本发明实施例的描述中，如果涉及到“若干”，其含义是一个以上，如果涉及到“多个”，其含义是两个以上，如果涉及到“大于”、“小于”、“超过”，均应理解为不包括本数，如果涉及到“以上”、“以下”、“以内”，均应理解为包括本数。如果涉及到“第一”、“第二”，应当理解为用于区分技术特征，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

基于分布式存储系统的控制系统过程中往往承载了海量的数据和文件，因此需要快速检索和访问到数据是至关重要的技术，特别是如何降低每一次IO或文件的访问延迟至关重要。特别是在一些国产芯片的技术上，需要保证当处理器处理缓慢的过程中，保证IO的延迟不受到影响。

基于此，本申请公开了一种基于分布式存储系统的控制方法及系统，能够对存储访问延迟进行优化，提高数据快速定位和检索，实现低IO延迟的基于分布式存储系统的控制系统。

第一方面，参照图1，本发明实施例公开了基于分布式存储系统的控制方法，包括：

S100、服务进程接收数据写入请求，并记录数据写入请求的数据写入时间和数据写入次数；

S200、服务进程根据数据写入时间和数据写入次数满足预设写入规则，将数据写入请求对应的数据写入服务进程的日志文件。

当服务进程接收到数据写入请求后，不会直接将数据写入请求对应的数据直接写入对应的硬盘。而是根据数据写入请求的数据写入时间或数据写入次数是否满足预设写入规则，若满足预设写入规则将数据写入请求对应的数据写入服务进程的日志文件。因此，通过判断数据写入请求的数据写入时间和数据写入次数是否满足预设写入规则，以减少每次服务进行接收到数据写入请求都直接将数据写入请求对应的数据写入到日志文件，进而降低IO延迟。

其中，对于数据写入请求对应的数据写入到日志文件，且数据按顺序写入到日志文件，由于系统总是分配连续硬盘空间给日志文件，则数据可以按顺序写入到对应的日志文件。当每次数据写入请求对应的数据写入到日志文件后，服务进行返回成功应答至客户端，以便于用户通过客户端能够明确数据有明确的日志文件进行落盘。

当日志文件写入数据后，从日志文件中批量提取数据写入请求对应的数据，并将数据写入请求对应的数据重新进行排序、合并，以有效的聚合小IO数据，有效的进行写/删除抵消，然后批次提交到最终存储盘，以通过顺序化日志文件的存储，异步化批次提交最终存储的方案，能够降低IO延迟，提高整体的吞吐能力。

在一些实施例中，预设写入规则包括：预设时间阈值、预设次数阈值，以通过设置预设写入规则包括：预设时间阈值和预设次数阈值，能够判断数据是否可以写入到日志文件。

参照图2，步骤S200包括：

S210、若在预设时间阈值内写入次数满足预设次数阈值，将数据写入请求对应的数据写入服务进程的日志文件；

S220、或，若数据写入时间超过预设时间阈值，将数据写入请求对应的数据写入到服务进程的日志文件。

其中，当服务进程接收到数据写入请求，不是直接将数据写入请求的数据存储到对应的硬盘，而是记录数据写入请求的数据写入次数和数据写入时间。若在预设时间阈值内数据写入次数达到预设次数阈值，则将多个数据写入请求合并后一起提交，并将数据写入请求的数据写入到日志文件，或者数据写入时间超过了预设时间阈值，直接将该数据写入请求提交，以将数据写入请求的数据写入到服务进程的日志文件。因此，通过分别判断数据写入时间满足预设时间阈值，或者在预设时间阈值内数据写入次数满足预设次数阈值，才将数据写入请求提交到服务进程的日志文件，以进行数据写入请求的数据写入到服务进程的日志文件，以降低IO延迟。

例如，预设次数阈值为50次，且预设时间为500us，若在500us内数据写入次数达到50次，则将数据写入请求合并以提交到日志文件，并将数据写入请求对应的数据写入到日志文件中。若数据写入请求的数据写入时间超过500us，则证明数据写入请求随机性较小，无法合并IO，也直接将该数据写入请求提交到日志文件，以将数据写入请求对应的数据写入服务进程的日志文件。

其中，接收数据写入请求需要判断数据写入请求的大小，若数据写入请求小于预设阈值，则将数据写入请求进行合并，等到数据写入请求的数据写入次数达到写入次数阈值，才进行提交。若数据写入请求的数据写入时间超过写入时间阈值，尽管合并的数据写入次数不足，也可以直接提交，以将数据写入请求的数据写入到服务进程的日志文件，以减少IO延迟。

其中，在本实施例中预设阈值为64K，当数据写入请求小于64K，则将数据写入请求进行合并，以减少数据写入的次数。

在一些实施例中，服务进程包括：主服务进程和从服务进程，数据写入请求的数据包包括：主本数据和副本数据。

其中，主本数据是指每一项数据都必须唯一确定一个应用系统负责管理，该应用系统称为数据分布与存储的拥有者，则主服务进程管理的数据称为主本数据。副本数据是指从系统访问效率考虑，允许将部分数据复制、冗余存放到其他应用系统中，该冗余数据称为副本数据。

参照图3，在一些实施例中，基于分布式存储系统的控制方法还包括：

S300、当主服务进程将数据写入请求对应的主本数据和副本数据写入到主服务进程的日志文件后，主服务进程将副本数据发送至从服务进程。

在存储系统中会设置多副本的策略来保证数据冗余，不会因为一块硬盘或一台主机故障导致数据丢失。例如，我们设置三个副本，在数据写入时，就要保证数据能够完成三个副本写入，通常通过三个不同的服务进程来完成，因此三个服务进程分别为定义为主服务进程、第一从服务进程和第二从服务进程，通常先完成主服务进程接收到主本数据和副本数据后，主服务进程确保本硬盘的数据可靠落盘以后，再向其他两台主机的从服务进程推送副本数据。若主服务进程的数据接收延迟为L-recv，数据落盘延迟为L-w-disk，从副本的数据接收延迟为L-recv，数据落盘延迟为L-w-disk，且从服务进程的副本推送为串行模式，其网络延迟会因副本数增多而比例增加，三副本延迟为：L-recv+L-w-disk+2*L-recv+L-w-disk＝3*L-recv+2*L-w-disk。

通过启动副本推送线程池，并行推送多个副本。当主服务进程检测主本数据和副本数据写入到日志文件后，不需要等待主本数据和副本数据着落到硬盘，只需要日志文件写入主本数据和副本数据之后，即可发起副本数据并行推送到其他从服务进程，保证主本数据和副本数据有可靠的硬盘后，还节省了数据写入的时间，进而缩短数据写入硬盘的时间。

其中主服务进程和从进程同时根据日志文件来对数据文件进行操作以写入要写入的数据。则优化后的整体IO延迟为L-recv+0.5*L-w-disk+L-recv+0.5*L-w-disk＝2*L-recv+L-w-disk，因此整体节省了L-recv+L-w-disk的IO延迟，按比例计算约缩短了40％左右的IO延迟。因此通过根据主服务进程完成数据写入到日志文件后直接并送推送数据到从服务进程，以缩短数据写入的时间，进而降低了IO延迟。

参照图4，在一些实施例中，基于分布式存储系统的控制方法还包括：

S400、从服务进程将副本数据写入从服务进程的日志文件以得到写入成功信息，并将写入成功信息发送至主服务进程。

当副本数据并送推送到从服务进程，从服务进程将副本数据写入到从服务进程的日志文件，然后返回写入成功信息指主服务进程。以便于主服务进程收集数据的写入成功信息反馈至客户端，以便于用户通过客户端能够清楚的查看数据存放至对应的硬盘。

参照图5，在一些实施例中，基于分布式存储系统的控制方法还包括：

S500、对主服务进程和客户端之间的路径进行路径校验；

S600、主服务进程对主本数据和副本数据进行数据校验；

S700、对主服务进程和从服务进程之间的路径进行路径校验。

由于客户端传输数据至主服务进程会受到噪声、数据丢失等的影响，因此需要对主服务进程和客户端之间的路径进行路径校验，以保证主服务进程接收的数据与客户端发送的数据相同。由于主服务进程进行数据存储时会发生因bit反转而导致TCP校验失效进而引起重大业务故障的情况，因此主服务进程都会在路径校验的基础上增加业务层的数据校验，以保证存储的数据与接收的数据相同。

由于主服务进程存储的数据经过了数据校验，且在主服务进程和从服务进程之间进行数据传输的路径进行路径校验，以保证从服务进程接收的数据与主服务进程发送的数据相同，进而保证了主服务进程和从服务进程对应的硬盘存储的数据准确。

其中，路径校验包括TCP校验，数据校验为CRC校验。

由于TCP校验和CRC校验有极低的失效效率，数据存储时也发生过因bit反转而导致TCP校验失效进而引起重大业务故障的情况。所以一般的基于分布式存储系统的控制系统都会在TCP基础上增加业务层的再次数据校验。因此主服务进程进行TCP校验和CRC校验。其中TCP校验为端到端的校验，CRC校验为数据校验，因此主服务进程与客户端进行TCP校验，且主服务进程内部采用CRC校验。但是主服务进程已经进行了TCP校验和CRC校验，能够保证从服务进程接收数据的准确性，因此从服务进程将数据存储到硬盘可能带来的非常小概率的数据不一致性。而且从存储IO路径可知，首先主本数据和副本数据从客户端发送至主服务进程，然后主服务进程将副本数据推送至其他节点，读取数据时直接读取主本数据。由此可知，只要保证主本数据和副本数据的准确性，那么读数据的正确性就能保证。而且从副本数据正确性仅靠TCP校验可以得到非常高的正确性，因此节省了从服务进程进行CRC校验能够节省大量从副本数据进行CRC校验的CPU开销，使整体IO延迟降低了越15％，且CPU开销也有10％左右的降低。

参照图6，在一些实施例中，基于分布式存储系统的控制方法还包括：

S800、根据预设时间定期对从服务进程的副本数据进行CRC校验。

其中，根据预设时间定期对服务进程的副本数据进行CRC校验，具体为检测主服务进程推送的多个从服务进程之间存储的副本数据是否一致，以通过定期检测副本数据以保证从服务进程对应的硬盘存储的数据准确，而且不需要存储时即刻仅从数据校验，节省时间和CPU开销。

下面参考图1至图6以一个具体的实施例详细描述根据本发明实施例的基于分布式存储系统的控制方法。值得理解的是，下述描述仅是示例性说明，而不是对发明的具体限制。

当服务进程接收到数据写入请求，记录数据写入请求的数据写入次数和数据写入时间。若在预设时间阈值内数据写入次数达到预设次数阈值，则将多个数据写入请求合并后一起提交，并将数据写入请求的数据写入到日志文件，或者数据写入时间超过了预设时间阈值，直接将该数据写入请求提交，以将数据写入请求的数据写入到服务进程的日志文件。通过分别判断数据写入时间满足预设时间阈值，或者在预设时间阈值内数据写入次数满足预设次数阈值，以进行数据写入请求的数据写入到服务进程的日志文件，以降低IO延迟。

主服务进程检测主本数据和副本数据写入到日志文件后，发起副本数据并行推送到其他从服务进程，保证主本数据和副本数据有可靠的硬盘后，还节省了数据写入的时间，进而缩短数据写入硬盘的时间。

对客户端和主服务进程之间的路径进行TCP校验，且主服务进程对存储的数据和接收的数据进行CRC校验，以保证主服务进程接收的主本数据和副本数据正确。然后主服务进程将副本数据推送给从服务进程，且对主服务进程和从服务进程之间的路径进行TCP校验，以进而保证从服务进程接收的副本数据准确。通过节省了从服务进程的数据校验，既不影响数据的准确性，且能够节省了CPU消耗和IO延迟。

第二方面，参照图7，本发明实施例公开了一种基于分布式存储系统的控制系统，包括：服务进程100，服务进程100包括：接收模块110、记录模块120和写入模块130，接收模块110用于接收数据写入请求；记录模块120用于记录数据写入请求的数据写入时间和数据写入次数；写入模块130用于根据数据写入时间和数据写入次数满足预设写入规则，将数据写入请求对应的数据写入服务进程100对应的日志文件。

通过根据数据写入次数请求和数据写入时间满足预设写入规则后，在对数据写入请求对应的数据写入服务进程100的日志文件，无需每次接收数据写入请求都直接进行数据写入到日志文件，一方面节省了写入的次数，以节省写入的消耗，还能减少IO延迟。

其中，基于分布式存储系统的控制系统的具体操作过程参照第一方面的基于分布式存储系统的控制方法的论述，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (9)

1.基于分布式存储系统的控制方法，其特征在于，包括：

服务进程接收数据写入请求，并记录所述数据写入请求的数据写入时间和数据写入次数；

所述服务进程根据所述数据写入时间或所述数据写入次数满足预设写入规则，将所述数据写入请求对应的数据写入所述服务进程的日志文件。

2.根据权利要求1所述的基于分布式存储系统的控制方法，其特征在于，所述预设写入规则包括：预设时间阈值、预设次数阈值。

3.根据权利要求2所述的基于分布式存储系统的控制方法，其特征在于，所述服务进程根据所述数据写入时间或所述数据写入次数满足预设写入规则，将所述数据写入请求对应的数据写入所述服务进程的日志文件，包括：

若在所述预设时间阈值内所述数据写入次数满足所述预设次数阈值，将所述数据写入请求对应的数据写入所述服务进程的日志文件；

或，若所述数据写入时间超过所述预设时间阈值，将所述数据写入请求对应的数据写入到所述服务进程的日志文件。

4.根据权利要求3所述的基于分布式存储系统的控制方法，其特征在于，所述服务进程包括：主服务进程和从服务进程，所述数据写入请求对应的数据包括：主本数据和副本数据。

5.根据权利要求4所述的基于分布式存储系统的控制方法，其特征在于，所述基于分布式存储系统的控制方法还包括：

当所述主服务进程将所述数据写入请求对应的所述主本数据和所述副本数据写入到所述主服务进程的日志文件后，所述主服务进程将所述副本数据发送至所述从服务进程。

6.根据权利要求5所述的基于分布式存储系统的控制方法，其特征在于，所述基于分布式存储系统的控制方法还包括：

所述从服务进程将所述副本数据写入所述从服务进程的日志文件以得到写入成功信息，并将所述写入成功信息发送至所述主服务进程。

7.根据权利要求4所述的基于分布式存储系统的控制方法，其特征在于，还包括：

对所述主服务进程和客户端之间的路径进行路径校验；

所述主服务进程对所述主本数据和所述副本数据进行数据校验；

对所述主服务进程和所述从服务进程之间的路径进行路径校验。

8.根据权利要求7所述的基于分布式存储系统的控制方法，其特征在于，所述路径校验包括TCP校验，所述数据校验包括CRC校验。

9.一种基于分布式存储系统的控制系统，其特征在于，包括：服务进程，所述服务进程包括：

接收模块，用于接收数据写入请求；

记录模块，用于记录所述数据写入请求的数据写入时间和数据写入次数；

写入模块，用于根据所述数据写入时间和所述数据写入次数满足预设写入规则，将所述数据写入请求对应的数据写入所述服务进程对应的日志文件。

Images