CN103595552B - 集群存储网络并行负载的分析方法及系统 - Google Patents

集群存储网络并行负载的分析方法及系统 Download PDF

Info

Publication number
CN103595552B
CN103595552B CN201310270701.2A CN201310270701A CN103595552B CN 103595552 B CN103595552 B CN 103595552B CN 201310270701 A CN201310270701 A CN 201310270701A CN 103595552 B CN103595552 B CN 103595552B
Authority
CN
China
Prior art keywords
memory node
data
expired times
time
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310270701.2A
Other languages
English (en)
Other versions
CN103595552A (zh
Inventor
霍道安
李鹏
李云涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL SUPERCOMPUTING CENTER IN SHENZHEN (SHENZHEN CLOUD COMPUTING CENTER)
Original Assignee
NATIONAL SUPERCOMPUTING CENTER IN SHENZHEN (SHENZHEN CLOUD COMPUTING CENTER)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL SUPERCOMPUTING CENTER IN SHENZHEN (SHENZHEN CLOUD COMPUTING CENTER) filed Critical NATIONAL SUPERCOMPUTING CENTER IN SHENZHEN (SHENZHEN CLOUD COMPUTING CENTER)
Priority to CN201310270701.2A priority Critical patent/CN103595552B/zh
Publication of CN103595552A publication Critical patent/CN103595552A/zh
Application granted granted Critical
Publication of CN103595552B publication Critical patent/CN103595552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种集群存储网络并行负载的分析方法及系统,该方法包括:获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数;将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。本发明通过获取集群存储网络中各个存储节点中超时次数最多的存储节点传输数据片段给客户端的时间,并根据获取的时间和完整数据块的大小,得到吞吐率,提供了一种准确计算客户端具体吞吐率的方法,并有效的判断集群存储网络的性能。

Description

集群存储网络并行负载的分析方法及系统
技术领域
本发明涉及到集群存储网络领域,特别涉及到一种集群存储网络并行负载的分析方法及系统。
背景技术
集群存储网络一般构架于标准的高速低延时的TCP/IP以太网之上,并且为了获取较高的数据存储可靠性、可扩展性以及存储性能,集群存储网络通常情况下将数据块分条(称作striping)存放在多个存储节点上,因而会在客户端请求读取一个数据块的时候,集群存储网络中保存有当前请求读取的数据块的各个数据片段的所有存储节点将同步响应,这种通信模式也被称为多对一(M:1)通信方式。
在(M:1)的通信方式下,由于交换机缓存或者是客户端到交换机的数据传输链路的带宽是有限的,会产生大量的数据丢包,由此引发TCP的快速重传恢复机制,减小TCP拥塞窗口的大小,从而造成超时事件,使得客户端的有效网络吞吐率的急剧下降。
客户端的吞吐率是集群存储网络的重要的性能指标,目前还没有找到一种能准确计算客户端的具体吞吐率的方法,这样导致无法正确有效的判断集群存储网络的性能。
发明内容
本发明的主要目的为提供一种集群存储网络并行负载的分析方法,旨在提供一种准确计算客户端具体吞吐率的方法,并正确有效的判断集群存储网络的性能。
本发明还提出一种集群存储网络并行负载的分析系统,旨在提供一种准确计算客户端具体吞吐率的方法,并正确有效的判断集群存储网络的性能。
本发明提出一种集群存储网络并行负载的分析方法,该方法包括:
获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数;
将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;
根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。
优选地,所述将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间的步骤包括:
根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率;
将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。
优选地,在所述根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率的步骤之后,该方法还包括:
将超时次数的概率小于预设阀值的存储节点忽略,不进行超时次数的高低顺序的排序。
优选地,所述计算得出超时次数的概率的公式为:
ai=A/N,其中ai为超时次数为i的概率,A为超时次数为i的存储节点的数量,N为总的存储节点的数量。
优选地,所述客户端的实际吞吐率的计算公式为:
G=B/T=B/(a0*t+a1*t+a2*t+······+ai*t+i*RTOmin),其中:
G为实际吞吐率,T为排序最高的存储节点传送数据片段给客户端的时间,a0为超时次数为0的概率,a1为超时次数为1的概率,ai为超时次数为i的概率,i为超时次数,t为不超时时完成一次完整数据请求的时间,RTOmin为最小重传超时时间。
一种集群存储网络并行负载的分析系统,该系统包括:
数据获取模块,用于获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数;
分析模块,用于将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;
计算模块,用于根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。
优选地,所述计算模块,还用于根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率;
所述分析模块,还用于将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。
优选地,所述分析模块,还用于将超时次数的概率小于预设阀值的存储节点忽略,不进行超时次数的高低顺序的排序。
优选地,所述计算得出超时次数的概率的公式为:
ai=A/N,其中ai为超时次数为i的概率,A为超时次数为i的存储节点的数量,N为总的存储节点的数量。
优选地,所述客户端的实际吞吐率的计算公式为:
G=B/T=B/(a0*t+a1*t+a2*t+······+ai*t+i*RTOmin),其中:
G为实际吞吐率,T为排序最高的存储节点传送数据片段给客户端的时间,a0为超时次数为0的概率,a1为超时次数为1的概率,ai为超时次数为i的概率,i为超时次数,t为不超时时完成一次完整数据请求的时间,RTOmin为最小重传超时时间。
相对现有技术,本发明通过获取集群存储网络中各个存储节点中超时次数最多的存储节点传输数据片段给客户端的时间,并根据获取的时间和完整数据块的大小,得到吞吐率的大小,提供了一种有效准确计算客户端具体吞吐率的方法,并根据该方法正确有效的分析出对吞吐率造成影响的参数。
附图说明
图1为本发明集群存储网络并行负载的分析方法的第一实施例的具体流程图;
图2为本发明集群存储网络并行负载的分析方法的第二实施例的具体流程图;
图3为本发明集群存储网络16个存储节点完成客户端请求数据传输的一个实施例的时间分布图;
图4为本发明集群存储网络并行负载的分析系统的较佳实施例的具体架构图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,为本发明集群存储网络并行负载的分析方法的第一实施例的具体流程图。
需要强调的是:图1所示流程图仅为一个较佳实施例,本领域的技术人员当知,任何围绕本发明思想构建的实施例都不应脱离于如下技术方案涵盖的范围:
获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数;将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。
以下是本实施例逐步实现对集群存储网络并行负载进行分析的具体步骤:
步骤S11,获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数。
具体的,集群存储网络通常情况下将数据块分条平均存放在多个存储节点上,当侦测到客户端的数据请求时,确定存放所述数据请求对应的数据块的集群存储网络的存储节点,并通过确定的存储节点传送完整的数据块的数据片段给客户端,获取确定的每个存储节点的超时次数,可以是0次,也可以是1次,RFC1122协议规定连续超时7次以后默认为链接意外中断,所以每个存储节点的超时次数最大值是7次。当多存储节点在响应客户端的数据请求时,在资源竞争中处于失利地位的存储节点不能及时的将客户端的当前请求数据发送出去,客户端由于同步机制的存在,收不到当前请求的全部数据,需要不停的对那些处于资源竞争失利的存储节点发送重复的TCP回复数据包,要求其重传丢失的数据包,所述超时次数为客户端要求存储节点重传丢失的数据包的次数,每重传一次丢失的数据包需要等待一个最小重传超时时间RTOmin
步骤S12,将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。
在获取到集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数后,将各个存储节点按照超时次数的高低顺序进行排序,从中确定出排序最高的存储节点,如有多个存储节点的超时次数一致且排序最高,则确定其中一个排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,即为客户到接收到全部与当前数据请求对应的完整数据块所需要的时间。
步骤S13,根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。
根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。例如,所述完整数据块的大小为B,确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间为T,客户端的实际吞吐量为G,则G=B/T。
在本实施例中,通过获取集群存储网络中各个存储节点中超时次数最多的存储节点传输数据片段给客户端的时间,并根据获取的时间和完整数据块的大小,得到吞吐率的大小,提供了一种准确计算出客户端具体吞吐率的方法,并正确有效的判断集群存储网络的性能。
如图2、图3所示,图2为本发明集群存储网络并行负载的分析方法的第一实施例的具体流程图,图3为本发明集群存储网络16个存储节点完成客户端请求数据传输的一个实施例的时间分布图。
基于上述第一实施例,步骤S12包括:
步骤S14,根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率。
具体的,例如在16存储节点的集群存储网络中,客户端在预设的20S时间内发起了86次数据请求,各个存储节点响应客户端的数据请求中,每一次请求(对应一个完整数据块256KB)完成的时间分为4个档次:2ms,202ms,402ms和602ms。其中完成时间为2ms这一档的是没有发生重传超时的存储节点,即为在资源竞争中具有优势地位的数据流;处于202ms,402ms和602ms这三档的数据请求是分别产生了一次、两次、三次重传超时的数据流。经过数据分析得到发生1到2次重传超时的几率较大,产生3次以上超时的几率很小,这是因为在第一次超时以后,参与竞争网络瓶颈资源的数据流已经减少,所以在此发生竞争失利的概率就小了,以至于超时的几率就小,同理,在第二次超时以后发生3次以上的概率就更加小了。同样处于2ms这一档的数据请求也很少,这是因为在首次竞争网络瓶颈资源的时候,输出数据流最多,能够处于竞争优势地位的数据流很少,以至于能在正常时间中完成数据传输的存储节点就少。
进一步地,从上述86次客户端的数据请求中,取第35次客户端数据请求传输为例,如图3所示,这次数据请求中没有存储节点产生3次或3次以上的超时,且只有存储节点9是在正常时间中完成了本次数据请求的传输,存储节点5和10均产生了2次TCP重传超时时间,因而成了本次数据请求的网络性能的短板。其余13个存储节点均发生了一次超时事件。因此在第一次竞争网络瓶颈资源的过程中,处于资源竞争失利地位的数据流占了13/16×100%=81.25%,第二次竞争网络瓶颈资源的数据流总数是15个,产生再次竞争失利的数据流只有2个,这是因为在第一次产生超时的数据流,通过TCP拥塞控制的反馈机制得知网络当前的传输状况,开始减少拥塞窗口,降低传输速率,因此第二次多数据流参与竞争网络瓶颈资源的时候,每个存储节点的拥塞窗口都减小(每次超时,拥塞窗口大小都会回落到初始状态),所以竞争网络瓶颈资源的时候比第一次更加公平。所述计算得出超时次数的概率的公式为:ai=A/N,其中ai为超时次数为i的概率,A为超时次数为i的存储节点的数量,N为总的存储节点的数量,即为确定的存放数据请求对应的数据块在集群存储网络中的存储节点的数量。如上所述,得到超时次数为0的概率为:a0=1/16*100%=6.25%;超时次数为1的概率为:a1=13/16*100%=81.25%;超时次数为2的概率为:a2=2/16*100%=12.5%。
步骤S15,判断超时次数的概率是否大于预设阀值。
若超时次数的概率大于预设阀值,则执行下述步骤S16;若超时次数的概率小于预设阀值,则执行下述步骤S17。
步骤S16,将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。
步骤S17,将超时次数的概率小于预设阀值的存储节点忽略,不进行超时次数的高低顺序的排序。
具体的,在本实施例中,预设阀值为1%,作为判断超时次数的概率的依据。若步骤S14中得到的超时次数对应的概率大于预设阀值1%,则将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。例如,得到的超时次数为0的概率为:a0=1/16*100%=6.25%;超时次数为1的概率为:a1=13/16*100%=81.25%;超时次数为2的概率为:a2=2/16*100%=12.5%。将存储节点按照超时次数的高低顺序进行排序,确定排序最高的存储节点的超时次数为2,确定该存储节点从开始传送数据片段到完成传送数据片段的时间402ms。所述客户端的实际吞吐率的计算公式为:
G=B/T=B/(a0*t+a1*t+a2*t+······+ai*t+i*RTOmin),其中:
G为实际吞吐率,T为排序最高的存储节点传送数据片段给客户端的时间,a0为超时次数为0的概率,a1为超时次数为1的概率,ai为超时次数为i的概率,i为超时次数,t为不超时时完成一次完整数据请求的时间,RTOmin为最小重传超时时间。例如,通过所述客户端的实际吞吐率的计算公式,得到吞吐率为:
G=B/T=256KB/(6.25%*2ms+81.25%*2ms+12.5%*2ms+2*200ms)=256KB/402ms=0.637KB/ms,得到吞吐率为0.637KB/ms,即客户端的单位毫秒时间内数据传输的速率为0.637KB。在本发明其他实施例中,所述预设阀值还可以是其他用户根据实际客户端数据请求情况设置的作为判断超时次数的概率的依据的百分值数据。
通过分析各个存储节点超时次数的概率,且当各个存储节点的超时次数的概率大于预设阀值时,将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间计算得到客户端的吞吐率,进一步有效准确的计算得到客户端的实际吞吐率,为正确有效的判断集群存储网络的性能提供依据。
如图3、图4所示,图3为本发明集群存储网络16个存储节点完成客户端请求数据传输的一个实施例的时间分布图,图4为本发明集群存储网络并行负载的分析系统的第一实施例的具体架构图。该并行负载的分析系统包括:数据获取模块10,分析模块20及计算模块30。
数据获取模块10,用于获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数。
具体的,集群存储网络通常情况下将数据块分条平均存放在多个存储节点上,当侦测到客户端的数据请求时,确定存放所述数据请求对应的数据块的集群存储网络的存储节点,并通过确定的存储节点传送完整的数据块的数据片段给客户端,数据获取模块10获取确定的每个存储节点的超时次数,可以是0次,也可以是1次,RFC1122协议规定连续超时7次以后默认为链接意外中断,所以每个存储节点的超时次数最大值是7次。当多存储节点在响应客户端的数据请求时,在资源竞争中处于失利地位的存储节点不能及时的将客户端的当前请求数据发送出去,客户端由于同步机制的存在,收不到当前请求的全部数据,需要不停的对那些处于资源竞争失利的存储节点发送重复的TCP回复数据包,要求其重传丢失的数据包,所述超时次数为客户端要求存储节点重传丢失的数据包的次数,每重传一次丢失的数据包需要等待一个最小重传超时时间RTOmin
分析模块20,用于将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。
在获取到集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数后,分析模块20将各个存储节点按照超时次数的高低顺序进行排序,从中确定出排序最高的存储节点,如有多个存储节点的超时次数一致且排序最高,则确定其中一个排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,即为客户到接收到全部与当前数据请求对应的完整数据块所需要的时间。
计算模块30,用于根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。
计算模块30,用于根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。例如,所述完整数据块的大小为B,分析模块20确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间为T,客户端的实际吞吐量为G,则G=B/T。
在本实施例中,通过分析模块20确定集群存储网络中各个存储节点中超时次数最多的存储节点传输数据片段给客户端的时间,并通过计算模块30根据获取的时间和完整数据块的大小,得到吞吐率的大小,提供了一种准确计算出客户端具体吞吐率的方法,并正确有效的判断集群存储网络的性能。
进一步地,所述计算模块30,还用于根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率。
具体的,例如在16存储节点的集群存储网络中,客户端在预设的20S时间内发起了86次数据请求,各个存储节点响应客户端的数据请求中,每一次请求(对应一个完整数据块256KB)完成的时间分为4个档次:2ms,202ms,402ms和602ms。其中完成时间为2ms这一档的是没有发生重传超时的存储节点,即为在资源竞争中具有优势地位的数据流;处于202ms,402ms和602ms这三档的数据请求是分别产生了一次、两次、三次重传超时的数据流。经过数据分析得到发生1到2次重传超时的几率较大,产生3次以上超时的几率很小,这是因为在第一次超时以后,参与竞争网络瓶颈资源的数据流已经减少,所以在此发生竞争失利的概率就小了,以至于超时的几率就小,同理,在第二次超时以后发生3次以上的概率就更加小了。同样处于2ms这一档的数据请求也很少,这是因为在首次竞争网络瓶颈资源的时候,输出数据流最多,能够处于竞争优势地位的数据流很少,以至于能在正常时间中完成数据传输的存储节点就少。
进一步地,从上述86次客户端的数据请求中,取第35次客户端数据请求传输为例,如图3所示,这次数据请求中没有存储节点产生3次或3次以上的超时,且只有存储节点9是在正常时间中完成了本次数据请求的传输,存储节点5和10均产生了2次TCP重传超时时间,因而成了本次数据请求的网络性能的短板。其余13个存储节点均发生了一次超时事件。因此在第一次竞争网络瓶颈资源的过程中,处于资源竞争失利地位的数据流占了13/16×100%=81.25%,第二次竞争网络瓶颈资源的数据流总数是15个,产生再次竞争失利的数据流只有2个,这是因为在第一次产生超时的数据流,通过TCP拥塞控制的反馈机制得知网络当前的传输状况,开始减少拥塞窗口,降低传输速率,因此第二次多数据流参与竞争网络瓶颈资源的时候,每个存储节点的拥塞窗口都减小(每次超时,拥塞窗口大小都会回落到初始状态),所以竞争网络瓶颈资源的时候比第一次更加公平。所述计算得出超时次数的概率的公式为:ai=A/N,其中ai为超时次数为i的概率,A为超时次数为i的存储节点的数量,N为总的存储节点的数量,即为确定的存放数据请求对应的数据块在集群存储网络中的存储节点的数量。如上所述,计算模块30得到超时次数为0的概率为:a0=1/16*100%=6.25%;超时次数为1的概率为:a1=13/16*100%=81.25%;超时次数为2的概率为:a2=2/16*100%=12.5%。
所述分析模块20,还用于将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,及/或将超时次数的概率小于预设阀值的存储节点忽略,不进行超时次数的高低顺序的排序。
若超时次数的概率大于预设阀值,分析模块20将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。
具体的,在本实施例中,预设阀值为1%,作为判断超时次数的概率的依据。若计算得到的超时次数对应的概率大于预设阀值1%,分析模块20将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。例如,计算得到的超时次数为0的概率为:a0=1/16*100%=6.25%;超时次数为1的概率为:a1=13/16*100%=81.25%;超时次数为2的概率为:a2=2/16*100%=12.5%。分析模块20将存储节点按照超时次数的高低顺序进行排序,确定排序最高的存储节点的超时次数为2,确定该存储节点从开始传送数据片段到完成传送数据片段的时间402ms。所述客户端的实际吞吐率的计算公式为:
G=B/T=B/(a0*t+a1*t+a2*t+······+ai*t+i*RTOmin),其中:
G为实际吞吐率,T为排序最高的存储节点传送数据片段给客户端的时间,a0为超时次数为0的概率,a1为超时次数为1的概率,ai为超时次数为i的概率,i为超时次数,t为不超时时完成一次完整数据请求的时间,RTOmin为最小重传超时时间。例如,通过所述客户端的实际吞吐率的计算公式,得到吞吐率为:
G=B/T=256KB/(6.25%*2ms+81.25%*2ms+12.5%*2ms+2*200ms)=256KB/402ms=0.637KB/ms,得到吞吐率为0.637KB/ms,即客户端的单位毫秒时间内数据传输的速率为0.637KB。在本发明其他实施例中,所述预设阀值还可以是其他用户根据实际客户端数据请求情况设置的作为判断超时次数的概率的依据的百分值数据。
通过分析模块20分析各个存储节点超时次数的概率,且当各个存储节点的超时次数的概率大于预设阀值时,将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间通过计算模块30计算得到客户端的吞吐率,进一步有效准确的计算得到客户端的实际吞吐率,为正确有效的判断集群存储网络的性能提供依据。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种集群存储网络并行负载的分析方法,其特征在于,该方法包括:
获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数;
将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;若有多个存储节点的超时次数一致且排序最高,则确定其中一个排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;
根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率;
所述获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数的步骤包括:
当侦测到客户端的数据请求时,确定存放所述数据请求对应的数据块的集群存储网络的存储节点,并通过确定的存储节点传送完整的数据块的数据片段给客户端,获取确定的每个存储节点的超时次数。
2.根据权利要求1所述的集群存储网络并行负载的分析方法,其特征在于,所述将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间的步骤包括:
根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率;
将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。
3.根据权利要求2所述的集群存储网络并行负载的分析方法,其特征在于,在所述根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率的步骤之后,该方法还包括:
将超时次数的概率小于预设阀值的存储节点忽略,不进行超时次数的高低顺序的排序。
4.根据权利要求2所述的集群存储网络并行负载的分析方法,其特征在于,所述计算得出超时次数的概率的公式为:
ai=A/N,其中ai为超时次数为i的概率,A为超时次数为i的存储节点的数量,N为总的存储节点的数量。
5.根据权利要求4所述的集群存储网络并行负载的分析方法,其特征在于,所述客户端的实际吞吐率的计算公式为:
G=B/T=B/(a0*t+a1*t+a2*t+……+ai*t+i*RTOmin),其中:
G为实际吞吐率,T为排序最高的存储节点传送数据片段给客户端的时间,a0为超时次数为0的概率,a1为超时次数为1的概率,ai为超时次数为i的概率,i为超时次数,t为不超时时完成一次完整数据请求的时间,RTOmin为最小重传超时时间。
6.一种集群存储网络并行负载的分析系统,其特征在于,该系统包括:
数据获取模块,用于获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数;
分析模块,用于将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;若有多个存储节点的超时次数一致且排序最高,则确定其中一个排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;
计算模块,用于根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率;
所述数据获取模块,用于当侦测到客户端的数据请求时,确定存放所述数据请求对应的数据块的集群存储网络的存储节点,并通过确定的存储节点传送完整的数据块的数据片段给客户端,获取确定的每个存储节点的超时次数。
7.根据权利要求6所述的集群存储网络并行负载的分析系统,其特征在于,
所述计算模块,还用于根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率;
所述分析模块,还用于将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。
8.根据权利要求7所述的集群存储网络并行负载的分析系统,其特征在于,
所述分析模块,还用于将超时次数的概率小于预设阀值的存储节点忽略,不进行超时次数的高低顺序的排序。
9.根据权利要求8所述的集群存储网络并行负载的分析系统,其特征在于,所述计算得出超时次数的概率的公式为:
ai=A/N,其中ai为超时次数为i的概率,A为超时次数为i的存储节点的数量,N为总的存储节点的数量。
10.根据权利要求9所述的集群存储网络并行负载的分析系统,其特征在于,所述客户端的实际吞吐率的计算公式为:
G=B/T=B/(a0*t+a1*t+a2*t+……+ai*t+i*RTOmin),其中:
G为实际吞吐率,T为排序最高的存储节点传送数据片段给客户端的时间,a0为超时次数为0的概率,a1为超时次数为1的概率,ai为超时次数为i的概率,i为超时次数,t为不超时时完成一次完整数据请求的时间,RTOmin为最小重传超时时间。
CN201310270701.2A 2013-06-28 2013-06-28 集群存储网络并行负载的分析方法及系统 Active CN103595552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310270701.2A CN103595552B (zh) 2013-06-28 2013-06-28 集群存储网络并行负载的分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310270701.2A CN103595552B (zh) 2013-06-28 2013-06-28 集群存储网络并行负载的分析方法及系统

Publications (2)

Publication Number Publication Date
CN103595552A CN103595552A (zh) 2014-02-19
CN103595552B true CN103595552B (zh) 2017-05-03

Family

ID=50085544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310270701.2A Active CN103595552B (zh) 2013-06-28 2013-06-28 集群存储网络并行负载的分析方法及系统

Country Status (1)

Country Link
CN (1) CN103595552B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986760B (zh) * 2014-05-14 2018-05-22 上海上讯信息技术股份有限公司 基于多参数判优的增长型数据源式高效链路传输方法
CN107707395B (zh) * 2017-09-28 2021-02-02 浙江大华技术股份有限公司 一种数据传输方法、装置和系统
CN109543988A (zh) * 2018-11-16 2019-03-29 中国银行股份有限公司 优化交易超时阀值的方法、装置和存储介质
CN110300035B (zh) * 2019-05-23 2021-07-13 厦门网宿有限公司 判断存储系统负载状态的方法、系统、装置及服务器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252511A (zh) * 2008-01-25 2008-08-27 东南大学 多跳无线传感器网络动态比例公平接入优化方法
CN102651775A (zh) * 2012-03-05 2012-08-29 国家超级计算深圳中心(深圳云计算中心) 基于云计算的多租户共享对象管理的方法、设备及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9160792B2 (en) * 2005-04-05 2015-10-13 International Business Machines Corporation On-demand global server load balancing system and method of use

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252511A (zh) * 2008-01-25 2008-08-27 东南大学 多跳无线传感器网络动态比例公平接入优化方法
CN102651775A (zh) * 2012-03-05 2012-08-29 国家超级计算深圳中心(深圳云计算中心) 基于云计算的多租户共享对象管理的方法、设备及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
集群存储网络吞吐量塌陷行为研究;霍道安;《万方学位论文数据库》;20121225;正文第1-95页 *
高性能重复数据检测与删除技术研究;魏建生;《万方学位论文数据库》;20121225;正文第1-109页 *

Also Published As

Publication number Publication date
CN103595552A (zh) 2014-02-19

Similar Documents

Publication Publication Date Title
Jiang et al. Source-level IP packet bursts: causes and effects
US7184945B1 (en) Service distribution device
CN102595509B (zh) 异构网络中基于传输控制协议的并发数据分流方法
CN103595552B (zh) 集群存储网络并行负载的分析方法及系统
Liu et al. Improving explicit congestion notification with the mark-front strategy
CN103795643A (zh) 数据中心网络中处理同步优先级突发流的方法
CN106936730A (zh) 一种报文发送方法、tcp代理以及tcp客户端
CN103401665A (zh) 集群存储系统中重传超时计时器的优化方法及装置
CN114785803A (zh) 一种适用于充电桩管理的区块链pbft共识优化方法
Soares et al. Throughput analytical modeling of IEEE 802.11 ah wireless networks
Abrantes et al. XCP for shared-access multi-rate media
CN103368870A (zh) 集群存储网络并行负载的控制方法及系统
CN114513467A (zh) 一种数据中心的网络流量负载均衡方法及装置
CN112866338B (zh) 一种服务器状态检测的方法及装置
Meloni et al. CRDSA, CRDSA++ and IRSA: Stability and performance evaluation
CN101969432A (zh) 基于随机回退的tcp拥塞窗口的控制方法
WO2013185480A1 (zh) 吞吐率的获取方法和装置
CN110808917B (zh) 多链路聚合数据重传方法及发送设备
Dunaytsev et al. TCP NewReno throughput in the presence of correlated losses: The slow-but-steady variant
Edmonds et al. TCP is competitive against a limited adversary
JP5128556B2 (ja) トラヒック情報収集装置、トラヒック情報収集方法およびそのプログラム
Ramantas et al. Window-based burst assembly scheme for TCP traffic over OBS
Kaj et al. Stochastic equilibrium modeling of the TCP dynamics in various AQM environments
Deng et al. Finishing the tiny flows quickly for common data centre services
CN111641698B (zh) 一种数据统计方法、系统、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant