CN103401665A - 集群存储系统中重传超时计时器的优化方法及装置 - Google Patents

Abstract

本发明公开一种集群存储系统中重传超时计时器的优化方法及装置，其方法包括：为集群存储系统配置预设精度的内核时钟，并根据往返时延的采样值获取重传超时计时器的估算值；基于所述预设精度的内核时钟应用重传超时计时器的估算值，以调整所述集群存储系统中重传超时计时器的值。本发明通过为集群存储系统配置精度至少在微秒量级的内核时钟计时器，以将重传超时计时器的精度设置为与往返时延相同的微秒量级精度，同时，根据往返时延的采样值及集群存储系统的集群规模选择合适的估算方法来获取重传超时计时器的估算值，从而选取最优化的超时计时器的估算值，来平衡伪造重传及重传超时对用户带宽利用率的影响。

Description

集群存储系统中重传超时计时器的优化方法及装置

技术领域

本发明涉及集群存储技术领域，尤其涉及一种集群存储系统中重传超时计时器的优化方法及装置。

背景技术

目前，数据中心采用高速低延时的以太网构建集群存储系统，通过TCP/IP网络传输对外提供数据存取服务。在数据中心的运营成本中，网络带宽成本是其中所占比重较大的成本支出。以高速以太网组织起来的存储集群、分布式文件系统、元数据管理集群等在节点数目不断增加的情况下，在用户端观测到的数据传输速率即网络吞吐率会急剧下降，这种现象被称为吞吐量塌陷行为（Incast）。

集群存储系统中，数据块会以分条的方式存放在多个不同的集群节点上，以保障数据存储的高可用性和高可靠性。当用户向集群存储系统请求数据存取服务时，包含有当前请求数据块的一个数据片段的多个存储节点将同时响应当前请求，此时数据的传输是同步并行的，当多个数据流经过瓶颈链路的时候，会造成瞬态的爆发性丢包，也即发生了吞吐量塌陷行为。研究发现造成集群存储系统的吞吐性能急剧下降的主要原因是TCP的重传超时。

现有的集群存储系统TCP传输协议使用的时钟系统仍为低精度的时钟系统，只支持毫秒量级的计时器调用，导致集群存储系统TCP传输协议的重传超时计时器（RTO_min）的值只能保持在毫秒量级。在瞬态爆发性丢包事件没有通过TCP传输协议反馈机制检测到的时候，TCP传输协议将根据超时计时器的值来决定何时开始重传，TCP传输协议中缺省的超时计时器（RTO_min）的值一般为200毫秒（Linux2.6），构建于高速以太网之上的集群存储系统的网络往返时延（RTT）是微秒数量级的，因此一次重传超时将使得网络链路处于“空闲”的时间是往返时延的1000倍之多，不仅造成传输带宽的浪费，也加剧了TCP的重传超时对吞吐量塌陷行为的影响。

而现有的对超时计时器（RTO_min）的值的估算方法有的估算出的超时计时器（RTO_min）的值过低，导致大量的伪造重传，有的估算出的超时计时器（RTO_min）的值过高，加剧了重传超时对吞吐量塌陷行为的恶劣影响，不能找到一种方法来很好地平衡现有估算方法的不利影响，从而选取最优化的超时计时器（RTO_min）的估算值。

发明内容

本发明的主要目的在于提供一种集群存储系统中重传超时计时器的优化方法及装置，旨在提高带宽利用率且尽量避免伪造重传。

为了达到上述目的，本发明提出一种集群存储系统中重传超时计时器的优化方法，包括：

为集群存储系统配置预设精度的内核时钟，并根据往返时延的采样值获取重传超时计时器的估算值；

基于所述预设精度的内核时钟应用重传超时计时器的估算值，以调整所述集群存储系统中重传超时计时器的值。

优选地，所述预设精度的内核时钟为精度至少在微秒量级的内核时钟计时器。

优选地，所述根据往返时延的采样值获取重传超时计时器的估算值的步骤包括：

当所述集群存储系统的集群规模小于预设节点时，采样获取往返时延RTT的平滑采样测量值SRTT及标准的往返时延RTT平滑采样方差RTTVAR，并获取重传超时计时器RTO_min的估算值如下：

RTO_min=SRTT+4*RTTVAR。

优选地，所述根据往返时延的采样值获取重传超时计时器的估算值的步骤还包括：

当所述集群存储系统的集群规模大于或等于预设节点时，采样获取往返时延RTT的值，并根据丢包概率p获取重传超时计时器RTO_min的估算值如下：

${\left(\frac{8}{3*p}\right)}^{\frac{3}{4}}*\mathrm{RTT}.$

优选地，所述基于预设精度的内核时钟应用重传超时计时器的估算值的步骤具体为：

将重传超时计时器的估算值定义为集群存储系统传输协议中的重传超时计时器的值，并通过所述预设精度的内核时钟在集群存储系统传输协议中应用定义的重传超时计时器的估算值。

本发明还提出一种集群存储系统中重传超时计时器的优化装置，包括：

配置获取模块，用于为集群存储系统配置预设精度的内核时钟，并根据往返时延的采样值获取重传超时计时器的估算值；

应用模块，用于基于所述预设精度的内核时钟应用重传超时计时器的估算值，以调整所述集群存储系统中重传超时计时器的值。

优选地，所述预设精度的内核时钟为精度至少在微秒量级的内核时钟计时器。

优选地，所述配置获取模块用于：

当所述集群存储系统的集群规模小于预设节点时，采样获取往返时延RTT的平滑采样测量值SRTT及标准的往返时延RTT平滑采样方差RTTVAR，并获取重传超时计时器RTO_min的估算值如下：

RTO_min=SRTT+4*RTTVAR。

优选地，所述配置获取模块还用于：

当所述集群存储系统的集群规模大于或等于预设节点时，采样获取往返时延RTT的值，并根据丢包概率p获取重传超时计时器RTO_min的估算值如下：

${\left(\frac{8}{3*p}\right)}^{\frac{3}{4}}*\mathrm{RTT}.$

优选地，所述应用模块用于：

将重传超时计时器的估算值定义为集群存储系统传输协议中的重传超时计时器的值，并通过所述预设精度的内核时钟在集群存储系统传输协议中应用定义的重传超时计时器的估算值。

本发明提出的一种集群存储系统中重传超时计时器的优化方法及装置，通过为集群存储系统配置精度至少在微秒量级的内核时钟计时器，以将重传超时计时器的精度设置为与往返时延相同的微秒量级精度，同时，根据往返时延的采样值及集群存储系统的集群规模选择合适的估算方法来获取重传超时计时器的估算值，从而选取最优化的超时计时器的估算值，来平衡伪造重传及重传超时对用户带宽利用率的影响。

附图说明

图1是本发明集群存储系统中重传超时计时器的优化方法较佳实施例的流程示意图；

图2是本发明集群存储系统中重传超时计时器的优化装置较佳实施例的结构示意图。

为了使本发明的技术方案更加清楚、明了，下面将结合附图作进一步详述。

具体实施方式

本发明实施例的解决方案主要是：通过为集群存储系统配置精度至少在微秒量级的内核时钟计时器，以将重传超时计时器的精度设置为与往返时延相同的微秒量级精度，同时，根据往返时延的采样值及集群存储系统的集群规模选择合适的估算方法来获取重传超时计时器的估算值，从而选取最优化的超时计时器的估算值。

如图1所示，本发明较佳实施例提出一种集群存储系统中重传超时计时器的优化方法，包括：

步骤S101，为集群存储系统配置预设精度的内核时钟，并根据往返时延的采样值获取重传超时计时器的估算值；

高精度的内核时钟（high-resolution-timer：hrtimer）已经在Linux内核2.6.16版本中得以实现，能支持更高精度的计时操作和时钟调用，并在后续内核版本中不断完善。现有采用的内核时钟只支持毫秒量级的计时器调用，而在内核2.6.16版本之后的内核代码中已经开始支持微秒量级的内核时钟计时器操作和时钟调用。为集群存储系统配置精度至少在微秒量级的内核时钟计时器，让超时计时器（RTO_min）的值精度达到微秒量级，与集群存储系统的网络往返时延（RTT）保持在同一精度。

首先，检查系统的内核版本是否高于2.6.16，若否，则更新系统的内核版本至少为2.6.16版本，以配置精度至少在微秒量级的内核时钟计时器。然后，在Linux内核编译选项中可以选择高精度内核时钟支持（High Resolution TimerSupport），并且在CPU特性选项中加入内核时钟频率为1000HZ的选项支持和High Precision Event Timer(HPET)的选项支持，这样基于高精度时钟中断芯片的hrtimer接口才能为内核中的高精度时钟子系统所使用，才能使基于hrtimer的高精度内核时钟的中断和系统调用接口得以实现。

采样获取往返时延RTT的平滑采样测量值SRTT及标准的往返时延RTT平滑采样方差RTTVAR，并获取重传超时计时器RTO_min的估算值如下：

RTO_min=SRTT+4*RTTVAR   （1）

但由于平滑RTT采样困难，尤其是在发生丢包事件和超时事件的时候，所以往往采用第二种较为安全的机制控制超时行为--指数退化，其中，backoff为退化因子，最大值为6，

timeout=RTO_min*2^backoff   （2）

变种RTO_min的估算采用公式（3）描述，其中，G为预设的时钟粒度：

RTO_min=SRTT+max(G,4*RTTVAR)   （3）

RTO_min计时器更新RTTVAR使用新的RTT采样值R1：

$\mathrm{RTTVAR}=\frac{3}{4}*\mathrm{RTTVAR}+\frac{1}{4}*|\mathrm{SRTT}-R_1|---\left(4\right)$

更新SRTT为：

SRTT=7/8*SRTT+1/8*R₁   （5）

用来更新RTTVAR的SRTT的值是在更新SRTT自身之前使用的数值，所以RTTVAR和SRTT的更新顺序必须按照上面提到的顺序进行，最后使用公式（1）、（3）进行RTO_min的更新来获取重传超时计时器RTO_min的估算值。

上述重传超时计时器RTO_min的估算方法在集群存储系统的集群规模不大，网络时延较低且网络传输过程中资源的竞争与分配相对比较均匀的情况下，往返时延RTT比较稳定，基准值在100微秒左右，上述基于往返时延RTT的采样值来估算重传超时计时器RTO_min的方法比较适用，用户的带宽利用率较高。

而当集群存储系统的集群规模大于或等于预设节点时，用户向集群存储系统请求数据存取服务时，包含有当前请求数据块的一个数据片段的多个存储节点将同时响应当前请求，此时数据的传输是同步并行的，当多个数据流经过瓶颈链路的时候，会引发网络瓶颈资源的竞争，造成瞬态的爆发性丢包，网络时延突发性的增加。则此时往返时延RTT不是很稳定，使上述基于往返时延RTT的采样值来估算重传超时计时器RTO_min的方法不再适用于当前情况的集群存储系统网络，使用上述基于往返时延RTT的采样值估算的重传超时计时器RTO_min的值会造成大量的伪造重传，而过多的伪造重传将直接影响产生伪造重传数据流的实际网络吞吐率，且将会给网络中其他数据流的正常传输造成不良影响，降低用户的带宽利用率。

进一步地，当集群存储系统的集群规模大于或等于预设节点时，从随机概率的角度模拟TCP传输协议的窗口行为，从而进行RTO_min的估算：

RTO_min和拥塞控制窗口的大小关系如公式（6）、(7)所示，其中，W是拥塞控制窗口的大小：

${\mathrm{RTO}}_{\min }=W*\sqrt{W}---\left(6\right)$

$W=\sqrt{\frac{8}{3*p}}---\left(7\right)$

在这个估算算法中，RTO_min的更新依据是拥塞控制窗口W的大小，p为丢包概率。由于当集群存储系统的集群规模大于或等于预设节点时，会产生爆发性丢包事件，此时丢包率很大，从随机概率的角度模拟TCP传输协议的窗口行为来估算重传超时计时器RTO_min的方法，更适合集群存储系统并行应用负载的实际情况，避免了高速集群存储网络中发生大规模数据丢包情况下的过大的超时等待时间，提升集群存储网络的有效吞吐量。

综上所述，根据往返时延的采样值获取重传超时计时器的估算值的方法可归纳为如下公式所示：

根据多次试验测试分析，集群存储系统的集群规模的预设节点优选为16节点，当然，也不限定使用其他的预设节点。

步骤S102，基于所述预设精度的内核时钟应用重传超时计时器的估算值，以调整所述集群存储系统中重传超时计时器的值。

将重传超时计时器的估算值定义为集群存储系统传输协议中的重传超时计时器的值，并通过所述预设精度的内核时钟在集群存储系统传输协议中应用定义的重传超时计时器的估算值。以使系统通过调用所述预设精度的内核时钟来应用重传超时计时器的估算值，重传超时计时器的估算值为根据集群存储系统的集群规模大小来进行估算的最优值，能避免高速集群存储网络中的发生大规模数据丢包情况下的过大的超时等待时间，同时也避免了过小的RTO_min造成的大量数据包的伪造重传，提升集群存储网络的有效吞吐量。

本发明提出的一种集群存储系统中重传超时计时器的优化方法，通过为集群存储系统配置精度至少在微秒量级的内核时钟计时器，以将重传超时计时器的精度设置为与往返时延相同的微秒量级精度，同时，根据往返时延的采样值及集群存储系统的集群规模选择合适的估算方法来获取重传超时计时器的估算值，从而选取最优化的超时计时器的估算值，来平衡伪造重传及重传超时对用户带宽利用率的影响。

如图2所示，本发明较佳实施例提出一种集群存储系统中重传超时计时器的优化装置，包括：配置获取模块201、应用模块202，其中：

配置获取模块201，用于为集群存储系统配置预设精度的内核时钟，并根据往返时延的采样值获取重传超时计时器的估算值；

高精度的内核时钟（high-resolution-timer：hrtimer）已经在Linux内核2.6.16版本中得以实现，能支持更高精度的计时操作和时钟调用，并在后续内核版本中不断完善。现有采用的内核时钟只支持毫秒量级的计时器调用，而在内核2.6.16版本之后的内核代码中已经开始支持微秒量级的内核时钟计时器操作和时钟调用。为集群存储系统配置精度至少在微秒量级的内核时钟计时器，让超时计时器（RTO_min）的值精度达到微秒量级，与集群存储系统的网络往返时延（RTT）保持在同一精度。

首先，检查系统的内核版本是否高于2.6.16，若否，则更新系统的内核版本至少为2.6.16版本，以配置精度至少在微秒量级的内核时钟计时器。然后，在Linux内核编译选项中可以选择高精度内核时钟支持（High Resolution TimerSupport），并且在CPU特性选项中加入内核时钟频率为1000HZ的选项支持和High Precision Event Timer(HPET)的选项支持，这样基于高精度时钟中断芯片的hrtimer接口才能为内核中的高精度时钟子系统所使用，才能使基于hrtimer的高精度内核时钟的中断和系统调用接口得以实现。

采样获取往返时延RTT的平滑采样测量值SRTT及标准的往返时延RTT平滑采样方差RTTVAR，并获取重传超时计时器RTO_min的估算值如下：

RTO_min=SRTT+4*RTTVAR   （1）

但由于平滑RTT采样困难，尤其是在发生丢包事件和超时事件的时候，所以往往采用第二种较为安全的机制控制超时行为--指数退化，其中，backoff为退化因子，最大值为6，

timeout=RTO_min*2^backoff   （2）

变种RTO_min的估算采用公式（3）描述，其中，G为预设的时钟粒度：

RTO_min=SRTT+max(G,4*RTTVAR)   （3）

RTO_min计时器更新RTTVAR使用新的RTT采样值R1：

$\mathrm{RTTVAR}=\frac{3}{4}*\mathrm{RTTVAR}+\frac{1}{4}*|\mathrm{SRTT}-R_1|---\left(4\right)$

更新SRTT为：

SRTT=7/8*SRTT+1/8*R₁   （5）

用来更新RTTVAR的SRTT的值是在更新SRTT自身之前使用的数值，所以RTTVAR和SRTT的更新顺序必须按照上面提到的顺序进行，最后使用公式（1）、（3）进行RTO_min的更新来获取重传超时计时器RTO_min的估算值。

上述重传超时计时器RTO_min的估算方法在集群存储系统的集群规模不大，网络时延较低且网络传输过程中资源的竞争与分配相对比较均匀的情况下，往返时延RTT比较稳定，基准值在100微秒左右，上述基于往返时延RTT的采样值来估算重传超时计时器RTO_min的方法比较适用，用户的带宽利用率较高。

而当集群存储系统的集群规模大于或等于预设节点时，用户向集群存储系统请求数据存取服务时，包含有当前请求数据块的一个数据片段的多个存储节点将同时响应当前请求，此时数据的传输是同步并行的，当多个数据流经过瓶颈链路的时候，会引发网络瓶颈资源的竞争，造成瞬态的爆发性丢包，网络时延突发性的增加。则此时往返时延RTT不是很稳定，使上述基于往返时延RTT的采样值来估算重传超时计时器RTO_min的方法不再适用于当前情况的集群存储系统网络，使用上述基于往返时延RTT的采样值估算的重传超时计时器RTO_min的值会造成大量的伪造重传，而过多的伪造重传将直接影响产生伪造重传数据流的实际网络吞吐率，且将会给网络中其他数据流的正常传输造成不良影响，降低用户的带宽利用率。

进一步地，当集群存储系统的集群规模大于或等于预设节点时，从随机概率的角度模拟TCP传输协议的窗口行为，从而进行RTO_min的估算：

RTO_min和拥塞控制窗口的大小关系如公式（6）、(7)所示，其中，W是拥塞控制窗口的大小：

${\mathrm{RTO}}_{\min }=W*\sqrt{W}---\left(6\right)$

$W=\sqrt{\frac{8}{3*p}}---\left(7\right)$

在这个估算算法中，RTO_min的更新依据是拥塞控制窗口W的大小，p为丢包概率。由于当集群存储系统的集群规模大于或等于预设节点时，会产生爆发性丢包事件，此时丢包率很大，从随机概率的角度模拟TCP传输协议的窗口行为来估算重传超时计时器RTO_min的方法，更适合集群存储系统并行应用负载的实际情况，避免了高速集群存储网络中发生大规模数据丢包情况下的过大的超时等待时间，提升集群存储网络的有效吞吐量。

综上所述，根据往返时延的采样值获取重传超时计时器的估算值的方法可归纳为如下公式所示：

根据多次试验测试分析，集群存储系统的集群规模的预设节点优选为16节点，当然，也不限定使用其他的预设节点。

应用模块202，用于基于所述预设精度的内核时钟应用重传超时计时器的估算值，以调整所述集群存储系统中重传超时计时器的值。

将重传超时计时器的估算值定义为集群存储系统传输协议中的重传超时计时器的值，并通过所述预设精度的内核时钟在集群存储系统传输协议中应用定义的重传超时计时器的估算值。以使系统通过调用所述预设精度的内核时钟来应用重传超时计时器的估算值，重传超时计时器的估算值为根据集群存储系统的集群规模大小来进行估算的最优值，能避免高速集群存储网络中的发生大规模数据丢包情况下的过大的超时等待时间，同时也避免了过小的RTO_min造成的大量数据包的伪造重传，提升集群存储网络的有效吞吐量。

本发明提出的一种集群存储系统中重传超时计时器的优化方法及装置，通过为集群存储系统配置精度至少在微秒量级的内核时钟计时器，以将重传超时计时器的精度设置为与往返时延相同的微秒量级精度，同时，根据往返时延的采样值及集群存储系统的集群规模选择合适的估算方法来获取重传超时计时器的估算值，从而选取最优化的超时计时器的估算值，来平衡伪造重传及重传超时对用户带宽利用率的影响。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种集群存储系统中重传超时计时器的优化方法，其特征在于，包括：

为集群存储系统配置预设精度的内核时钟，并根据往返时延的采样值获取重传超时计时器的估算值；

基于所述预设精度的内核时钟应用重传超时计时器的估算值，以调整所述集群存储系统中重传超时计时器的值。

2.根据权利要求1所述的方法，其特征在于，所述预设精度的内核时钟为精度至少在微秒量级的内核时钟计时器。

3.根据权利要求2所述的方法，其特征在于，所述根据往返时延的采样值获取重传超时计时器的估算值的步骤包括：

当所述集群存储系统的集群规模小于预设节点时，采样获取往返时延RTT的平滑采样测量值SRTT及标准的往返时延RTT平滑采样方差RTTVAR，并获取重传超时计时器RTO_min的估算值如下：

RTO_min=SRTT+4*RTTVAR。

4.根据权利要求3所述的方法，其特征在于，所述根据往返时延的采样值获取重传超时计时器的估算值的步骤还包括：

当所述集群存储系统的集群规模大于或等于预设节点时，采样获取往返时延RTT的值，并根据丢包概率p获取重传超时计时器RTO_min的估算值如下：

${\left(\frac{8}{3*p}\right)}^{\frac{3}{4}}*\mathrm{RTT}.$

5.根据权利要求4所述的方法，其特征在于，所述基于预设精度的内核时钟应用重传超时计时器的估算值的步骤具体为：

将重传超时计时器的估算值定义为集群存储系统传输协议中的重传超时计时器的值，并通过所述预设精度的内核时钟在集群存储系统传输协议中应用定义的重传超时计时器的估算值。

6.一种集群存储系统中重传超时计时器的优化装置，其特征在于，包括：

配置获取模块，用于为集群存储系统配置预设精度的内核时钟，并根据往返时延的采样值获取重传超时计时器的估算值；

应用模块，用于基于所述预设精度的内核时钟应用重传超时计时器的估算值，以调整所述集群存储系统中重传超时计时器的值。

7.根据权利要求6所述的装置，其特征在于，所述预设精度的内核时钟为精度至少在微秒量级的内核时钟计时器。

8.根据权利要求7所述的装置，其特征在于，所述配置获取模块用于：

当所述集群存储系统的集群规模小于预设节点时，采样获取往返时延RTT的平滑采样测量值SRTT及标准的往返时延RTT平滑采样方差RTTVAR，并获取重传超时计时器RTO_min的估算值如下：

RTO_min=SRTT+4*RTTVAR。

9.根据权利要求8所述的装置，其特征在于，所述配置获取模块还用于：

当所述集群存储系统的集群规模大于或等于预设节点时，采样获取往返时延RTT的值，并根据丢包概率p获取重传超时计时器RTO_min的估算值如下：

${\left(\frac{8}{3*p}\right)}^{\frac{3}{4}}*\mathrm{RTT}.$

10.根据权利要求9所述的装置，其特征在于，所述应用模块用于：

将重传超时计时器的估算值定义为集群存储系统传输协议中的重传超时计时器的值，并通过所述预设精度的内核时钟在集群存储系统传输协议中应用定义的重传超时计时器的估算值。

Images