CN107592344B - 数据传输方法、装置、存储介质和计算机设备 - Google Patents
数据传输方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN107592344B CN107592344B CN201710749129.6A CN201710749129A CN107592344B CN 107592344 B CN107592344 B CN 107592344B CN 201710749129 A CN201710749129 A CN 201710749129A CN 107592344 B CN107592344 B CN 107592344B
- Authority
- CN
- China
- Prior art keywords
- transmission rate
- current time
- time slice
- data
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明涉及一种数据传输方法、装置、存储介质和计算机设备。根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令;将所述存储网关在当前时间片的传输速率,调整为所述传输速率控制指令所指定的目标传输速率;在当前时间片内按照调整后的传输速率,在存储客户端和所述存储客户端相对应的存储服务端之间,通过所述数据缓存区中转传输数据。本申请的方案,可以根据存储网关的数据缓存区的缓存状态和预配置的限速条件来调整存储网关的传输速率,从而在不影响用户访问的情况下,调整存储网关的传输速率,进而提高网络带宽的利用率。
Description
技术领域
本发明涉及数据传输技术领域,特别是涉及一种数据传输方法、装置、存储介质和计算机设备。
背景技术
现如今,随着网络技术的发展,网络带宽得到提升,云存储服务得以推广,越来越多的企业用户使用云存储服务来进行数据的存储。
目前,企业用户不仅需要使用云存储服务,还需要向自身的用户提供数据访问服务。而企业用户为了保证自身的用户能够流畅地访问数据,通常会对云存储服务进行限速,导致企业用户网络带宽存在闲置的问题,例如在白天对云存储服务进行限速,以保证企业用户自身的用户能够流畅地访问企业用户的存储客户端的数据,然而在夜间,企业用户自身的用户访问企业用户的存储客户端的数据的频率和强度大幅度下降,导致企业用户的存储客户端的网络带宽闲置,没有被合理的利用,进而导致了企业用户的存储客户端的网络带宽利用率低。
发明内容
基于此,有必要针对目前使用云存储服务网络带宽利用率低的问题,提供一种数据传输方法、装置、存储介质和计算机设备。
一种数据传输方法,所述方法包括:
根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令;
将所述存储网关在当前时间片的传输速率,调整为所述传输速率控制指令所指定的目标传输速率;
在当前时间片内按照调整后的传输速率,在存储客户端和所述存储客户端相对应的存储服务端之间,通过所述数据缓存区中转传输数据。
一种数据传输装置,所述装置包括:
控制模块,用于根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令;
变速模块,用于将所述存储网关在当前时间片的传输速率,调整为所述传输速率控制指令所指定的目标传输速率;
数据传输模块,用于在当前时间片内按照调整后的传输速率,在存储客户端和所述存储客户端相对应的存储服务端之间,通过所述数据缓存区中转传输数据。
一种存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行以下步骤:
根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令;
将所述存储网关在当前时间片的传输速率,调整为所述传输速率控制指令所指定的目标传输速率;
在当前时间片内按照调整后的传输速率,在存储客户端和所述存储客户端相对应的存储服务端之间,通过所述数据缓存区中转传输数据。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令;
将所述存储网关在当前时间片的传输速率,调整为所述传输速率控制指令所指定的目标传输速率;
在当前时间片内按照调整后的传输速率,在存储客户端和所述存储客户端相对应的存储服务端之间,通过所述数据缓存区中转传输数据。
上述数据传输方法、装置、存储介质和计算机设备,分时间段预配置限速条件,并在时间段所包括的时间片内动态地进行传输速率控制,可以实现分时间段采用不同的限速条件,从而可以提高网络带宽利用率。而且,存储网关的数据缓存区用于在存储客户端和所述存储客户端相对应的存储服务端之间进行数据的中转传输,数据缓存区在当前时间片的缓存状态,就可以反映出存储客户端和存储服务端之间传输的状态,结合当前时间片所属时间段所预配置的限速条件,可以进一步提高网络带宽利用率。
附图说明
图1为一个实施例中数据传输方法的应用环境图;
图2为一个实施例中用于数据传输方法的计算机设备的内部结构图;
图3为一个实施例中数据传输方法的流程示意图;
图4为一个实施例中数据传输系统的环境示意图;
图5为一个实施例中数据传输系统的环境示意图;
图6为一个实施例中数据传输系统的环境示意图;
图7为一个实施例中数据传输方法的时序图;
图8为另一个实施例中数据传输方法的流程示意图;
图9为一个实施例中数据传输装置的结构框图;
图10为一个实施例中控制模块的结构框图;
图11为另一个实施例中控制模块的结构框图;
图12为另一个实施例中数据传输装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为一个实施例中数据传输方法的应用环境图。参照图1,该数据传输方法应用于数据传输系统。数据传输系统包括存储客户端110、存储网关120和存储服务端130,存储客户端110可通过网络连接方式或线缆直连方式与存储网关120相连接,存储网关120通过网络和存储服务端130连接。存储客户端110具体可以是独立的物理服务器、物理服务器集群中或者虚拟服务器。存储网关120可以是独立的计算机设备,也可以是软件模块。
存储网关120可与存储客户端110处于相同的网络环境下,存储网关120和存储服务端130处于不同的网络环境,存储网关120可用于在不同网络环境下的存储客户端110和存储服务端130之间进行数据的中转传输。存储客户端110可以是私有云服务端,具体可以是企业私有云服务端;存储服务端130可以是公有云服务端。
存储客户端110和存储服务端130通过存储网关120的数据缓存区中转传输数据,且存储客户端110和存储服务端130之间的传输速率,可以根据存储网关120的数据缓冲区的缓存状态和预配置的限速条件调整。可以理解的是,数据传输方法除了可以应用于图1中的存储网关120,还可以应用于除了存储网关120之外的电子设备或虚拟模块。
图2为一个实施例中计算机设备的内部结构图。如图2所示,该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口等。其中,该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现适用于计算机设备的一种数据传输方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的内存储器中可存储有计算机程序,该计算机程序被上述处理器执行时,可使上述处理器执行一种数据传输方法。该计算机设备的网络接口可以用于据以与存储客户端和存储服务端通过网络连接,比如传输数据等。本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方法相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
如图3所示,在一个实施例中,提供了一种数据传输方法。本实施例主要以该方法应用于上述图1中的存储网关来举例说明,参照图3,该数据传输方法具体包括如下步骤:
S302,根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令。
其中,数据缓存区是用于缓存在存储客户端和存储服务端之间传输的数据的存储区。数据缓存区可以包括读数据缓存区和写数据缓存区。读数据缓存区是用于缓存存储客户端读取或预读的数据的数据缓存区,写数据缓存区是用于缓存存储客户端需写入存储服务端的数据的数据缓存区。数据缓存区可以设置在存储网关可直接访问的存储介质中。预配置的限速条件是影响传输速率大小的条件,可以是传输速率上限或传输速率下限,进一步地,可以是基于当前网络状态而动态调整的传输速率上限或传输速率下限。传输速率是存储网关和存储服务端之间的传输速率。传输速率控制指令用于控制对应的时间片内存储网关和存储服务端之间的传输速率。
时间片是进行传输速率控制的基本时间单元。时间片可以取固定的长度,如5分钟。时间片所属的时间段是一个时间周期内的时间区段。一个时间周期内的时间区段比如一天中指定的两个时刻之间的时间区段,具体比如9:00到11:00;一个时间周期内的时间区段还比如一周中的一天或连续多天。
举例说明,时间片的长度可以是5分钟,存储网关可根据进入某一个5分钟的时间片时数据缓存区的缓存状态和这5分钟的时间片所在时间段所预配置的限速条件,对这5分钟的时间片内存储网关的传输状态进行预判,从而根据预判的结果获取这5分钟的时间片对应的传输速率控制指令。
S304,将存储网关在当前时间片的传输速率,调整为传输速率控制指令所指定的目标传输速率。
其中,存储网关的传输速率的改变会影响数据传输占用的网络带宽,存储网关的传输速率高,则占用的网络带宽就高,存储网关的传输速率低,则占用的网络带宽就低。
在一个实施例中,在用户端访问存储客户端占用的带宽小于或等于带宽低位阈值时,存储网关可根据传输速率控制指令将存储网关的传输速率调高,则可以在不影响用户端访问占用的网络带宽的情况下,提高网络带宽利用率。
在一个实施例中,在用户端访问存储客户端占用的带宽大于或等于带宽高位阈值时,存储网关可根据传输速率控制指令将存储网关的传输速率调低,则可以保证用户端访问占用的网络带宽,不会造成网络堵塞。
S306,在当前时间片内按照调整后的传输速率,在存储客户端和存储客户端相对应的存储服务端之间,通过数据缓存区中转传输数据。
其中,通过数据缓存区中转传输数据,是在存储客户端和存储客户端相对应的存储服务端之间传输数据时,通过存储网关的数据缓存区进行数据的中转。其中,存储客户端可以配置有一个或多个存储服务端,存储客户端通过存储网关和存储服务端连接。
具体地,在将数据从存储客户端发送到存储服务端时,通过数据缓存区中转传输数据,是将数据从存储客户端缓存到数据缓存区中再上传至与存储客户端对应的存储服务端。在将数据从存储服务端发送到存储客户端时,通过数据缓存区中转传输数据,是将数据从存储服务端下载到数据缓存区中后再发送到存储客户端。
上述数据传输方法,根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令,并根据传输速率控制指令调整存储网关在当前时间片的传输速率,在存储客户端和存储客户端相对应的存储服务端之间,通过数据缓存区中转传输数据。
上述数据传输方法,通过分时间段预配置限速条件,并在时间段所包括的时间片内动态地进行传输速率控制,可以实现分时间段采用不同的限速条件,从而可以提高网络带宽利用率。而且,存储网关的数据缓存区用于在存储客户端和存储客户端相对应的存储服务端之间进行数据的中转传输,数据缓存区在当前时间片的缓存状态,就可以反映出存储客户端和存储服务端之间传输的状态,结合当前时间片所属时间段所预配置的限速条件,可以进一步提高网络带宽利用率。
图4示出了一个实施例中数据传输系统的环境示意图。参照图4,该数据传输系统包括处于第一网络402的存储客户端410、存储网关420、数据缓存区422和本地存储介质424,还包括处于第二网络404的存储服务端命令模块432、存储服务端数据模块434和存储服务端配置模块436,还包括与存储服务端数据模块434相连接的最终存储介质438,还包括处于第三网络406的用户端440。操作人员450可以操作存储服务端配置模块436。
其中,存储服务端命令模块432、存储服务端数据模块434和存储服务端配置模块436可运行在相同的存储服务端。操作人员450向存储服务端配置模块436发送预配置的限速条件。用户端440访问存储客户端410和存储网关420与存储服务端之间传输数据,都会占用网络带宽。
在一个实施例中,步骤S302包括以下步骤:向存储服务端上报存储网关在当前时间片的缓存状态,使得存储服务端根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;接收存储服务端下发的用于指定目标传输速率的传输速率控制指令。
其中,确定目标传输速率是存储服务端根据存储网关上报的缓存状态和预配置的限速条件计算得到目标传输速率。
本实施例中,通过存储网关上报缓存状态至存储服务端,使得存储服务端可以利用高性能计算能力,快速得到目标传输速率,从而更加灵活地确定目标传输速率,进而提高效率和网络带宽的利用率。
图5示出了一个实施例中数据传输系统的环境示意图。参照图5,该数据传输系统包括处于第一网络502的存储客户端510、存储网关520、数据缓存区522和本地存储介质524,还包括处于第二网络504的存储服务端530,还包括与存储服务端530相连接的最终存储介质532,还包括处于第三网络506的用户端540。
其中,限速条件由存储网关520根据本地的网络带宽获取。用户端540访问存储客户端510和存储网关520与存储服务端530之间传输数据,都会占用网络带宽。
在一个实施例中,步骤S302包括以下步骤:存储网关根据当前时间片所属时间段的网络带宽获取限速条件,并根据本地的缓存状态和当前时间片所属时间段所获取的限速条件确定目标传输速率。
本实施例中,通过存储网关确定目标传输速率,可以减少上报缓存状态和接收传输速率控制指令的步骤,从而使获取目标传输速率的步骤简洁,进而提高效率和网络带宽的利用率。
图6示出了一个实施例中数据传输系统的环境示意图。参照图6,该数据传输系统包括处于第一网络602的存储客户端610、存储客户端配置模块612、存储网关620、数据缓存区622和本地存储介质626,还包括处于第二网络606的存储服务端命令模块632和存储服务端数据模块634,还包括与存储服务端数据模块634相连接的最终存储介质636,还包括可处于第三网络606的用户端640。操作人员650可操作存储服务端配置模块612。
其中,存储服务端命令模块632和存储服务端数据模块634可运行在相同的存储服务端。操作人员650向存储客户端612发送预配置的限速条件。用户端640访问存储客户端610和存储网关620与存储服务端之间传输数据,都会占用网络带宽。
在一个实施例中,步骤S302可以包括以下步骤:存储网关可以选择向存储客户端上报存储网关在当前时间片的缓存状态,使得存储客户端根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;接收存储客户端下发的用于指定目标传输速率的传输速率控制指令。
在一个实施例中,步骤S302可以包括以下步骤:存储网关可以选择向储客户端和存储服务端所在的网络链路上报缓存状态,使得上述网络链路根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;接收网络链路下发的用于指定目标传输速率的传输速率控制指令。
在一个实施例中,步骤S302可以包括以下步骤:根据存储网关在历史时间片的数据传输状态和存储网关当前的网络状态中的至少一种、存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令。
其中,存储网关当前的网络状态包括但不限于存储网关本地的网络带宽大小、网络波动状态、以及用户访问存储客户端占用的网络带宽。存储网关在历史时间片的数据传输状态,包括但不限于存储网关在历史时间片内传输数据的大小和传输相应数据消耗的时间。具体地,根据存储网关当前的网络状态调整当前时间片所属时间段所预配置的限速条件,根据调整后的限速条件、存储网关的数据缓存区在当前时间片的缓存状态、以及存储网关在历史时间片的数据传输状态,获取指定目标传输速率的传输速率控制指令。
本实施例中,可以根据存储网关在历史时间片的数据传输状态和存储网关当前的网络状态中的至少一种、存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件等多种状态或条件,获取指定目标传输速率的传输速率控制指令,这样可以使传输速率控制指令的获取更加灵活,提高网络带宽的利用率。
在一个实施例中,预配置的限速条件包括预设上限传输速率和预设下限传输速率,步骤S302包括以下步骤:根据存储网关的数据缓存区在当前时间片的缓存状态,确定数据缓存区进行中转传输所需的最低传输速率;根据预设上限传输速率和预设下限传输速率中的至少一种、以及最低传输速率,确定目标传输速率;获取用于指定目标传输速率的传输速率控制指令。
其中,存储网关的数据缓存区在当前时间片的缓存状态,可以是存储网关与数据缓存区的传输速率r、数据缓存区的最大的占用空间利用率p、数据缓存区的最大的占用空间的大小w、数据缓存区在当前时间片的占用空间的大小wc和当前时间片的大小t等。根据存储网关的数据缓存区在当前时间片的缓存状态,确定数据缓存区进行中转传输所需的最低传输速率,可以是设置数据缓存区进行中转传输所需的最低传输速率是q时,则根据q=(p*w–wc)/t,确定最低传输速率q的大小。
在一个实施例中,可以根据存储网关的数据缓存区在当前时间片的缓存状态和在历史时间片的缓存状态,确定数据缓存区进行中转传输所需的最低传输速率。根据预设上限传输速率和最低传输速率,确定目标传输速率。
在一个实施例中,可以根据存储网关的数据缓存区在当前时间片的缓存状态和在历史时间片的缓存状态,确定数据缓存区进行中转传输所需的最低传输速率。根据预设上限传输速率和预设下限传输速率、以及最低传输速率,确定目标传输速率。
在一个实施例中,可以根据存储网关的数据缓存区在当前时间片的缓存状态和在历史时间片的缓存状态,确定数据缓存区进行中转传输所需的最低传输速率。根据预设下限传输速率和最低传输速率,确定目标传输速率。
本实施例中,通过存储网关的数据缓存区的缓存状态,确定存储网关的最低传输速率,根据预设上限传输速率和预设下限传输速率中的至少一种、以及最低传输速率,确定目标传输速率。在加入存储网关的数据缓存区的缓存状态和预配置的限速条件,作为目标传输速率的调节参数的情况下,可以使目标传输速率的变化更加灵活、平滑,从而提高网络带宽的利用率。
在一个实施例中,上述根据所述预设上限传输速率和所述预设下限传输速率中的至少一种、以及所述最低传输速率,确定目标传输速率的步骤包括:在当前时间片所属时间段为客户端的预设业务高峰时间段时,则取预设上限传输速率和最低传输速率中的较小值;将较小值与预设下限传输速率的均值作为目标传输速率。
其中,预设业务高峰时间段是预估用户访问存储客户端频率高的时间段,和实际业务高峰时间段会有差别。取预设上限传输速率和最低传输速率中的较小值是为了保证用户访问占用的网络带宽,将较小值与预设下限传输速率的均值作为目标传输速率是在保证用户访问占用的网络带宽前提下,保证存储网关的传输速率。
举例说明,在当前时间片所属时间段为客户端的预设业务高峰时间段时,在确定最低传输速率q的大小后。则可以进一步地根据当前时间片所设置的上限传输速率n和下限传输速率m,取预设上限传输速率n和最低传输速率q中的较小值min(n,q);将较小值min(n,q)与预设下限传输速率m的均值avg(m,min(n,q))作为目标传输速率r,即依照r=avg(m,min(n,q)),确定目标传输速率r。
本实施例中,在预设业务高峰时间段时,取预设上限传输速率和最低传输速率中的较小值,将较小值与预设下限传输速率的均值作为目标传输速率。这样可以在不影响用户访问占用的网络带宽的情况下,保证存储网关的传输速率,提高网络带宽的利用率。
在一个实施例中,上述根据所述预设上限传输速率和所述预设下限传输速率中的至少一种、以及所述最低传输速率,确定目标传输速率的步骤包括:在当前时间片所属时间段为客户端的预设业务低峰时间段时,则取预设上限传输速率和最低传输速率中的较大值;将较大值与预设上限传输速率的均值作为目标传输速率。
其中,预设业务低峰时间段是预估用户访问存储客户端频率低的时间段,和实际业务低峰时间段会有差别。取预设上限传输速率和最低传输速率中的较大值是为了尽可能提升存储网关的传输速率,将较大值与预设上限传输速率的均值作为目标传输速率是在存储网关的传输速率尽可能大时,保证预留一定的网络带宽用于用户访问,可以提高网络带宽的利用率。
举例说明,在当前时间片所属时间段为客户端的预设业务高峰时间段时,在确定最低传输速率q的大小后。则可以进一步地根据当前时间片所设置的上限传输速率和下限传输速率m,取预设上限传输速率n和最低传输速率q中的较大值max(n,q);将较大值max(n,q)与预设上限传输速率n的均值avg(n,max(n,q))作为目标传输速率r,即依照r=avg(n,max(n,q)),确定目标传输速率r。
本实施例中,在预设业务低峰时间段时,取预设上限传输速率和最低传输速率中的较大值,将较大值与预设上限传输速率的均值作为目标传输速率。这样可以在存储网关的传输速率尽可能大时,预留一定网络带宽用于用户访问,提高网络带宽的利用率。
在一个实施例中,上述根据所述预设上限传输速率和所述预设下限传输速率中的至少一种、以及所述最低传输速率,确定目标传输速率的步骤包括:在当前时间片所属时间段为客户端的预设业务低峰时间段时,则取预设上限传输速率和最低传输速率中的较大值,作为目标传输速率。
本实施例中,在预设业务低峰时间段时,取预设上限传输速率和最低传输速率中的较大值作为目标传输速率。这样可以尽可能提升存储网关的传输速率,提高传输数据的效率。
在一个实施例中,上述根据所述预设上限传输速率和所述预设下限传输速率中的至少一种、以及所述最低传输速率,确定目标传输速率的步骤包括:在当前时间片所属时间段为客户端的预设业务高峰时间段时,则取预设下限传输速率和最低传输速率中的较小值,作为目标传输速率。
本实施例中,在预设业务高峰时间段时,取预设下限传输速率和最低传输速率中的较大值作为目标传输速率。这样可以尽可能保证用户访问占用的网络带宽,使存储客户端稳定运行。
在一个实施例中,上述根据所述存储网关的数据缓存区在当前时间片的缓存状态,确定所述数据缓存区进行中转传输所需的最低传输速率的步骤包括:获取存储网关的数据缓存区的总容量与数据缓存区的最高使用率的乘积;获取数据缓存区在当前时间片的缓存状态所表示的缓存占用量;将乘积减去缓存占用量后再除以当前时间片的长度,得到数据缓存区进行中转传输所需的最低传输速率。
其中,该数据缓存区的最高使用率可以是根据历史时间片数据缓存区的缓存占用量获取,也可以是预设的值。在当前时间片的缓存状态所表示的缓存占用量可以是当前时间片开始时的缓存占用量,也可以是当前时间片内的缓存占用量。
具体地,根据历史时间片的缓存状态所表示的缓存占用量获取数据缓存区的最高使用率,并获取存储网关的数据缓存区的总容量与数据缓存区的最高使用率的乘积;获取数据缓存区在当前时间片内预设时长时的缓存状态所表示的缓存占用量;将乘积减去缓存占用量后再除以当前时间片的长度,得到数据缓存区进行中转传输所需的最低传输速率。若存储网关与数据缓存区的传输速率是r、数据缓存区的最大的占用空间利用率是p、数据缓存区的最大的占用空间的大小是w、数据缓存区在当前时间片的占用空间的大小是wc、当前时间片的大小是t和最低传输速率是q,则依照q=(p*w–wc)/t,可以确定最低传输速率q的大小。
举例说明,获取存储网关的数据缓存区的总容量与数据缓存区的预设最高使用率的乘积。其中,预设最高使用率可以是90%。
获取数据缓存区在当前时间片内预设时长时的缓存状态所表示的缓存占用量。其中,时间片的长度为5分钟,预设时长分别为0分钟、1分钟、2分钟、3分钟和4分钟,分别获取数据缓存区在当前时间片的0分钟、1分钟、2分钟、3分钟和4分钟时的缓存占用量。进而,可以分别根据数据缓存区的总容量的90%减去0分钟、1分钟、2分钟、3分钟和4分钟时的缓存占用量后再除以当前时间片的长度,得到0分钟、1分钟、2分钟、3分钟和4分钟时数据缓存区进行中转传输所需的最低传输速率。
本实施例中,将存储网关的数据缓存区的总容量与数据缓存区的最高使用率的乘积,减去当前时间片的缓存占用量后再除以当前时间片的长度,得到数据缓存区进行中转传输所需的最低传输速率。这样可以根据数据缓冲区的缓存状态来确定存储网关的传输速率,使传输速率的调整更加灵活,提高网络带宽的利用率。
在一个实施例中,获取当前对指定的时间段所待配置的限速条件;获取存储网关的历史缓存状态和/或历史数据传输状态;根据获取的历史缓存状态和/或历史数据传输状态,校验当前对指定的时间段所待配置的限速条件;当校验通过时,将当前对时间段所待配置的限速条件设置为对指定的时间段所预配置的限速条件。
其中,校验当前对指定的时间段所待配置的限速条件,是根据获取的历史缓存状态和/或历史数据传输状态判断该限速条件的下限速率是否大于较小传输速率,若限速条件的下限速率大于较小传输速率,则当前时间片存储网关的数据缓存区剩余的容量在当前时间片可能会被耗尽。
举例说明,根据存储网关当前的网络状态,判断当前时间片所属的预设业务低或高峰时间段是否属于相应的业务低或高峰时间段。若是,则继续保持当前时间片所选择的预配置的限速条件。若否,则调整当前时间片所选择的预配置的限速条件。
进一步地,根据存储网关在历史时间片的数据传输状态判断当前时间片存储网关的数据缓存区剩余的容量是否被耗尽。若是,则调整预配置的限速条件后,根据当前时间片最低传输速率和调整后的限速条件获取目标传输速率。若否,则继续根据当前时间片最低传输速率和预配置的限速条件获取目标传输速率。其中,历史时间片的数据传输状态,包括但不限于存储网关在历史时间片内传输数据的大小和传输相应数据消耗的时间。
举例说明,根据历史时间片内传输数据的大小和传输相应数据消耗的时间确定历史时间片实际传输速率,根据该实际传输速率判断判断当前时间片存储网关的数据缓存区剩余的容量是否被耗尽。若是,则调整预配置的限速条件后,根据当前时间片最低传输速率和调整后的限速条件获取目标传输速率。若否,则继续根据当前时间片最低传输速率和预配置的限速条件获取目标传输速率。
进一步地,根据历史时间片内传输数据的大小和传输相应数据消耗的时间确定历史时间片实际传输速率,根据存储网关当前的网络状态和历史时间片实际传输速率预估当前时间片的传输速率,根据该预估的传输速率判断判断当前时间片存储网关的数据缓存区剩余的容量是否被耗尽。若是,则调整预配置的限速条件后,根据当前时间片最低传输速率和调整后的限速条件获取目标传输速率。若否,则继续根据当前时间片最低传输速率和预配置的限速条件获取目标传输速率。
本实施例中,通过历史缓存状态和/或历史数据传输状态,校验当前对指定的时间段所待配置的限速条件,使配置的限速条件能够满足存储网关的实际情况,从而使根据限速条件获取的存储网关的传输速率适应存储网关的实际情况,提高网络带宽的利用率。
在一个实施例中,存储网关客户端向存储网关发送数据传输指令,使得存储网关开始与存储服务端传输数据。
其中,传输指令可以是数据上传指令或数据下载指令。
具体地,该传输指令为数据上传指令时,将数据上传指令加入上传队列,并将数据上传指令所指定的数据写入数据缓存区。其中,该上传队列被执行时,向存储服务端发送数据上传指令。
进一步地,存储网关从本地存储介质中读取数据上传指令所指定的数据至数据缓存区。
具体地,该传输指令为数据下载指令时,判断存储网关的数据缓存区中是否存在数据下载指令所指定的数据。若是,则从数据缓存区中读取该数据下载指令所指定的数据。若否,则向存储服务端发送数据下载指令。
进一步地,存储网关从数据缓存区中读取数据下载指令所指定的数据至本地存储介质中。
本实施例中,通过存储网关处理接收的数据传输指令,以及通过存储网关的数据缓存区中转数据,可以实现异步上传和加速下载,提高数据传输的效率。
在一个实施例中,存储服务端接收到数据传输指令后,响应该数据传输指令,与存储网关之间进行数据传输,并记录数据传输状态。
具体地,存储服务端接收到数据上传指令后,响应该数据上传指令,将存储网关上传的数据写入最终存储介质中,并记录数据传输状态。其中,最终存储介质可以是非易失性存储介质或虚拟存储介质中的至少一种。
具体地,存储服务端接收到数据下载指令后,响应该数据下载指令,从最终存储介质中读取数据下载指令所指定的数据,传输至存储网关并记录数据传输状态。
进一步地,存储服务端接收到数据传输指令后,每经过一个预设时长,响应一次该数据下载指令,该预设时长优选为5分钟。
本实施例中,通过记录存储服务端的传输状态,可以用于校验预设置的限速条件,使配置的限速条件能够满足存储网关的实际情况,从而使根据限速条件获取的存储服务端的传输状态适应存储网关的实际情况,提高网络带宽的利用率。
在一个实施例中,存储网关获取存储服务端的响应,并记录数据传输状态。
举例说明,存储网关获取存储服务端对数据上传指令的响应,从数据缓存区中上传数据上传指令所指定的数据,并记录数据传输状态。
举例说明,存储网关获取存储服务端对数据下载指令的响应,从存储服务端下载数据下载指令所指定的数据至数据缓存区,根据缓存策略处理数据下载指令所指定的数据,并记录数据传输状态。
本实施例中,通过记录存储网关的传输状态,可以用于校验预设置的限速条件,使配置的限速条件能够满足存储网关的实际情况,从而使根据限速条件获取的存储网关的传输速率适应存储网关的实际情况,提高网络带宽的利用率。
如图7所示,在一个实施例中,提供了一种数据传输方法。参照该数据传输方法的时序图,该数据传输方法具体包括以下步骤:
S702,存储客户端发送预设置的限速条件至存储网关。
S704,存储网关发送接收到的预设置的限速条件至存储服务端。
S706,存储服务端保存接收到的预设置的限速条件。
S708,存储客户端发送数据上传指令至存储网关。
S710,存储网关读取本地存储介质中数据上传指令所指定的数据。
S712,存储网关在数据缓存区中写入数据上传指令所指定的数据。
S714,存储网关发送数据上传指令至存储服务端。
S716,存储服务端保存接收到数据上传指令时的数据传输状态。
S718,存储网关从数据缓存区中获取数据缓存区的缓存状态。
S720,存储网关向存储服务端上报数据缓存区的缓存状态。
S722,存储服务端保存该数据缓存区的缓存状态。
S724,存储服务端根据历史时间片的数据传输状态和缓存状态,校验预设置的限速条件。
S726,存储服务端根据校验并调整后的限速条件、当前时间片的数据传输状态和缓存状态,确定存储网关的目标传输速率。
S728,存储服务端获得目标传输速率相应的传输速率控制指令。
S730,存储服务端响应存储网关发送的数据上传指令。
S732,存储服务端发送获得的传输速率控制指令至存储网关。
S734,存储网关根据该传输速率控制指令调整传输速率。
S736,存储网关在当前时间片按照调整后的传输速率,发送数据上传指令所指定的数据。
S738,存储网关在当前时间片结束时,保存当前时间片的数据传输状态。
S740,存储服务端将接收到的数据写入最终存储介质中。
上述数据传输方法,根据历史时间片的缓存状态和数据传输状态校验当前时间片所属时间段所预配置的限速条件,根据存储网关的数据缓存区在当前时间片的缓存状态和校验并调整后的限速条件,获取指定目标传输速率的传输速率控制指令,并根据传输速率控制指令调整存储网关在当前时间片的传输速率,在存储客户端和存储客户端相对应的存储服务端之间,通过数据缓存区中转传输数据。
上述数据传输方法,通过分时间段预配置限速条件,并在时间段所包括的时间片内动态地进行传输速率控制,可以实现分时间段采用不同的限速条件,从而可以提高网络带宽利用率。而且,存储网关的数据缓存区用于在存储客户端和存储客户端相对应的存储服务端之间进行数据的中转传输,数据缓存区在当前时间片的缓存状态,就可以反映出存储客户端和存储服务端之间传输的状态,结合当前时间片所属时间段所预配置的限速条件,可以进一步提高网络带宽利用率。
如图8所示,在一个实施例中,提供了一种数据传输方法。参照该数据传输方法的流程图,该数据传输方法具体包括以下步骤:
S802,存储客户端发送预设置的限速条件至存储网关。
S804,存储网关发送接收到的预设置的限速条件至存储服务端。
S806,存储服务端保存接收到的预设置的限速条件。
S808,存储客户端发送数据上传指令至存储网关。
S810,存储网关判断数据缓存区是否存在数据下载指令相应的数据。若是,则执行步骤S812;若否,则执行步骤S814。
S812,存储网关从数据缓存区读取数据下载指令相应的数据,并发送至存储客户端。
S814,存储网关发送数据下载指令至存储服务端。
S816,存储服务端保存接收到数据下载指令时的数据传输状态。
S818,存储网关从数据缓存区中获取数据缓存区的缓存状态。
S820,存储网关向存储服务端上报数据缓存区的缓存状态。
S822,存储服务端根据历史时间片的数据传输状态和缓存状态,校验预设置的限速条件。
S824,存储服务端根据校验并调整后的限速条件、当前时间片的数据传输状态和缓存状态,确定存储网关的目标传输速率。
S826,存储服务端获得目标传输速率相应的传输速率控制指令。
S828,存储服务端响应存储网关发送的数据下载指令。
S830,存储服务端发送获得的传输速率控制指令至存储网关。
S832,存储网关根据该传输速率控制指令调整传输速率。
S834,存储网关在当前时间片按照调整后的传输速率,接收数据下载指令所指定的数据。
上述数据传输方法,根据历史时间片的缓存状态和数据传输状态校验当前时间片所属时间段所预配置的限速条件,根据存储网关的数据缓存区在当前时间片的缓存状态和校验并调整后的限速条件,获取指定目标传输速率的传输速率控制指令,并根据传输速率控制指令调整存储网关在当前时间片的传输速率,在存储客户端和存储客户端相对应的存储服务端之间,通过数据缓存区中转传输数据。
上述数据传输方法,通过分时间段预配置限速条件,并在时间段所包括的时间片内动态地进行传输速率控制,可以实现分时间段采用不同的限速条件,从而可以提高网络带宽利用率。而且,存储网关的数据缓存区用于在存储客户端和存储客户端相对应的存储服务端之间进行数据的中转传输,数据缓存区在当前时间片的缓存状态,就可以反映出存储客户端和存储服务端之间传输的状态,结合当前时间片所属时间段所预配置的限速条件,可以进一步提高网络带宽利用率。
如图9所示,在一个实施例中,提供了一种数据传输装置900,参照图9,该数据传输装置900具体包括:
控制模块902,用于根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令;
变速模块904,用于将存储网关在当前时间片的传输速率,调整为传输速率控制指令所指定的目标传输速率;
数据传输模块906,用于在当前时间片内按照调整后的传输速率,在存储客户端和存储客户端相对应的存储服务端之间,通过数据缓存区中转传输数据。
如图10所示,在一个实施例中,该控制模块902包括:
发送模块902a,用于向存储服务端上报存储网关在当前时间片的缓存状态,使得存储服务端根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;
接收模块902b,用于接收存储服务端下发的用于指定目标传输速率的传输速率控制指令。
在一个实施例中,控制模块902,还用于根据存储网关在历史时间片的数据传输状态和存储网关当前的网络状态中的至少一种、存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令。
如图11所示,在一个实施例中,该控制模块902还包括:
最低速率模块902c,用于根据存储网关的数据缓存区在当前时间片的缓存状态,确定数据缓存区进行中转传输所需的最低传输速率;
传输速率模块902d,用于根据预设上限传输速率和预设下限传输速率中的至少一种、以及最低传输速率,确定目标传输速率;
指令模块902e,用于获取用于指定目标传输速率的传输速率控制指令。
如图12所示,在一个实施例中,该数据传输装置900中的控制模块902还包括:
配置模块902f,用于获取当前对指定的时间段所待配置的限速条件;
状态模块902g,用于获取存储网关的历史缓存状态和/或历史数据传输状态;
校验模块902h,用于根据获取的历史缓存状态和/或历史数据传输状态,校验当前对指定的时间段所待配置的限速条件;当校验通过时,将当前对时间段所待配置的限速条件设置为对指定的时间段所预配置的限速条件。
上述数据传输装置,根据历史时间片的缓存状态和数据传输状态校验当前时间片所属时间段所预配置的限速条件,根据存储网关的数据缓存区在当前时间片的缓存状态和校验并调整后的限速条件,获取指定目标传输速率的传输速率控制指令,并根据传输速率控制指令调整存储网关在当前时间片的传输速率,在存储客户端和存储客户端相对应的存储服务端之间,通过数据缓存区中转传输数据。
上述数据传输装置,通过分时间段预配置限速条件,并在时间段所包括的时间片内动态地进行传输速率控制,可以实现分时间段采用不同的限速条件,从而可以提高网络带宽利用率。而且,存储网关的数据缓存区用于在存储客户端和存储客户端相对应的存储服务端之间进行数据的中转传输,数据缓存区在当前时间片的缓存状态,就可以反映出存储客户端和存储服务端之间传输的状态,结合当前时间片所属时间段所预配置的限速条件,可以进一步提高网络带宽利用率。
一种存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令;将存储网关在当前时间片的传输速率,调整为传输速率控制指令所指定的目标传输速率;在当前时间片内按照调整后的传输速率,在存储客户端和存储客户端相对应的存储服务端之间,通过数据缓存区中转传输数据。
在一个实施例中,计算机程序被处理器执行时,根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令的步骤,包括:向存储服务端上报存储网关在当前时间片的缓存状态,使得存储服务端根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;接收存储服务端下发的用于指定目标传输速率的传输速率控制指令。
在一个实施例中,计算机程序被处理器执行时,根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令的步骤,包括:根据存储网关在历史时间片的数据传输状态和存储网关当前的网络状态中的至少一种、存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令。
在一个实施例中,预配置的限速条件包括预设上限传输速率和预设下限传输速率;计算机程序被处理器执行时,根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令的步骤,包括:根据存储网关的数据缓存区在当前时间片的缓存状态,确定数据缓存区进行中转传输所需的最低传输速率;根据预设上限传输速率和预设下限传输速率中的至少一种、以及最低传输速率,确定目标传输速率;获取用于指定目标传输速率的传输速率控制指令。
在一个实施例中,计算机程序被处理器执行时,根据预设上限传输速率和预设下限传输速率中的至少一种、以及最低传输速率,确定目标传输速率的步骤,包括:在当前时间片所属时间段为客户端的预设业务高峰时间段时,则取预设上限传输速率和最低传输速率中的较小值;将较小值与预设下限传输速率的均值作为目标传输速率。
在一个实施例中,计算机程序被处理器执行时,根据预设上限传输速率和预设下限传输速率中的至少一种、以及最低传输速率,确定目标传输速率的步骤,包括:在当前时间片所属时间段为客户端的预设业务低峰时间段时,则取预设上限传输速率和最低传输速率中的较大值;将较大值与预设上限传输速率的均值作为目标传输速率。
在一个实施例中,计算机程序被处理器执行时,根据存储网关的数据缓存区在当前时间片的缓存状态,确定数据缓存区进行中转传输所需的最低传输速率的步骤,包括:获取存储网关的数据缓存区的总容量与数据缓存区的最高使用率的乘积;获取数据缓存区在当前时间片的缓存状态所表示的缓存占用量;将乘积减去缓存占用量后再除以当前时间片的长度,得到数据缓存区进行中转传输所需的最低传输速率。
在一个实施例中,计算机程序被处理器执行时,还使得处理器执行以下步骤:获取当前对指定的时间段所待配置的限速条件;获取存储网关的历史缓存状态和/或历史数据传输状态;根据获取的历史缓存状态和/或历史数据传输状态,校验当前对指定的时间段所待配置的限速条件;当校验通过时,将当前对时间段所待配置的限速条件设置为对指定的时间段所预配置的限速条件。
上述存储介质,根据历史时间片的缓存状态和数据传输状态校验当前时间片所属时间段所预配置的限速条件,根据存储网关的数据缓存区在当前时间片的缓存状态和校验并调整后的限速条件,获取指定目标传输速率的传输速率控制指令,并根据传输速率控制指令调整存储网关在当前时间片的传输速率,在存储客户端和存储客户端相对应的存储服务端之间,通过数据缓存区中转传输数据。
上述存储介质,通过分时间段预配置限速条件,并在时间段所包括的时间片内动态地进行传输速率控制,可以实现分时间段采用不同的限速条件,从而可以提高网络带宽利用率。而且,存储网关的数据缓存区用于在存储客户端和存储客户端相对应的存储服务端之间进行数据的中转传输,数据缓存区在当前时间片的缓存状态,就可以反映出存储客户端和存储服务端之间传输的状态,结合当前时间片所属时间段所预配置的限速条件,可以进一步提高网络带宽利用率。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令;将存储网关在当前时间片的传输速率,调整为传输速率控制指令所指定的目标传输速率;在当前时间片内按照调整后的传输速率,在存储客户端和存储客户端相对应的存储服务端之间,通过数据缓存区中转传输数据。
在一个实施例中,计算机程序被处理器执行时,根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令的步骤,包括:向存储服务端上报存储网关在当前时间片的缓存状态,使得存储服务端根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;接收存储服务端下发的用于指定目标传输速率的传输速率控制指令。
在一个实施例中,计算机程序被处理器执行时,根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令的步骤,包括:根据存储网关在历史时间片的数据传输状态和存储网关当前的网络状态中的至少一种、存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令。
在一个实施例中,预配置的限速条件包括预设上限传输速率和预设下限传输速率;计算机程序被处理器执行时,根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令的步骤,包括:根据存储网关的数据缓存区在当前时间片的缓存状态,确定数据缓存区进行中转传输所需的最低传输速率;根据预设上限传输速率和预设下限传输速率中的至少一种、以及最低传输速率,确定目标传输速率;获取用于指定目标传输速率的传输速率控制指令。
在一个实施例中,计算机程序被处理器执行时,根据预设上限传输速率和预设下限传输速率中的至少一种、以及最低传输速率,确定目标传输速率的步骤,包括:在当前时间片所属时间段为客户端的预设业务高峰时间段时,则取预设上限传输速率和最低传输速率中的较小值;将较小值与预设下限传输速率的均值作为目标传输速率。
在一个实施例中,计算机程序被处理器执行时,根据预设上限传输速率和预设下限传输速率中的至少一种、以及最低传输速率,确定目标传输速率的步骤,包括:在当前时间片所属时间段为客户端的预设业务低峰时间段时,则取预设上限传输速率和最低传输速率中的较大值;将较大值与预设上限传输速率的均值作为目标传输速率。
在一个实施例中,计算机程序被处理器执行时,根据存储网关的数据缓存区在当前时间片的缓存状态,确定数据缓存区进行中转传输所需的最低传输速率,包括:获取存储网关的数据缓存区的总容量与数据缓存区的最高使用率的乘积;获取数据缓存区在当前时间片的缓存状态所表示的缓存占用量;将乘积减去缓存占用量后再除以当前时间片的长度,得到数据缓存区进行中转传输所需的最低传输速率。
在一个实施例中,计算机程序被处理器执行时,使得处理器还执行以下步骤:获取当前对指定的时间段所待配置的限速条件;获取存储网关的历史缓存状态和/或历史数据传输状态;根据获取的历史缓存状态和/或历史数据传输状态,校验当前对指定的时间段所待配置的限速条件;当校验通过时,将当前对时间段所待配置的限速条件设置为对指定的时间段所预配置的限速条件。
上述计算机设备,根据历史时间片的缓存状态和数据传输状态校验当前时间片所属时间段所预配置的限速条件,根据存储网关的数据缓存区在当前时间片的缓存状态和校验并调整后的限速条件,获取指定目标传输速率的传输速率控制指令,并根据传输速率控制指令调整存储网关在当前时间片的传输速率,在存储客户端和存储客户端相对应的存储服务端之间,通过数据缓存区中转传输数据。
上述计算机设备通过分时间段预配置限速条件,并在时间段所包括的时间片内动态地进行传输速率控制,可以实现分时间段采用不同的限速条件,从而可以提高网络带宽利用率。而且,存储网关的数据缓存区用于在存储客户端和存储客户端相对应的存储服务端之间进行数据的中转传输,数据缓存区在当前时间片的缓存状态,就可以反映出存储客户端和存储服务端之间传输的状态,结合当前时间片所属时间段所预配置的限速条件,可以进一步提高网络带宽利用率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (24)
1.一种数据传输方法,所述方法包括:
根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令,其中,不同时间段采用不同的限速条件,所述当前时间片所属时间段所预配置的限速条件,是根据所述存储网关在历史时间片的缓存状态和数据传输状态对预设置的限速条件进行校验和调整后确定的,所述存储网关的数据缓存区是用于缓存在存储客户端和存储服务端之间传输的数据的存储区;
将所述存储网关在当前时间片的传输速率,调整为所述传输速率控制指令所指定的目标传输速率;
在当前时间片内按照调整后的传输速率,在所述存储客户端和所述存储客户端相对应的所述存储服务端之间,通过所述数据缓存区中转传输数据;
在当前时间片结束时,保存当前时间片的数据传输状态,保存的所述数据传输状态用于校验对当前时间片所属时间段所预设置的限速条件。
2.根据权利要求1所述的方法,其特征在于,所述根据所述存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令,包括:
向存储服务端上报所述存储网关在当前时间片的缓存状态,使得所述存储服务端根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;
接收所述存储服务端下发的用于指定所述目标传输速率的传输速率控制指令。
3.根据权利要求1所述的方法,其特征在于,所述根据所述存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令,还包括:
根据当前时间片所属时间段的网络带宽获取限速条件,并根据本地的缓存状态和当前时间片所属时间段所获取的所述限速条件确定目标传输速率。
4.根据权利要求1所述的方法,其特征在于,所述根据所述存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令,还包括:
向存储客户端上报所述存储网关在当前时间片的缓存状态,使得所述存储客户端根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;接收所述存储客户端下发的用于指定所述目标传输速率的传输速率控制指令。
5.根据权利要求1所述的方法,其特征在于,所述根据所述存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令,还包括:
向存储客户端和存储服务端所在的网络链路上报缓存状态,使得所述网络链路根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;接收所述网络链路下发的用于指定所述目标传输速率的传输速率控制指令。
6.根据权利要求1所述的方法,其特征在于,所述根据所述存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令,还包括:
根据所述存储网关在历史时间片的数据传输状态和所述存储网关当前的网络状态中的至少一种、所述存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令。
7.根据权利要求1所述的方法,其特征在于,所述预配置的限速条件包括预设上限传输速率和预设下限传输速率;
所述根据所述存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令,包括:
根据所述存储网关的数据缓存区在当前时间片的缓存状态,确定所述数据缓存区进行中转传输所需的最低传输速率;
根据所述预设上限传输速率和所述预设下限传输速率中的至少一种、以及所述最低传输速率,确定目标传输速率;
获取用于指定所述目标传输速率的传输速率控制指令。
8.根据权利要求7所述的方法,其特征在于,所述根据所述预设上限传输速率和所述预设下限传输速率中的至少一种、以及所述最低传输速率,确定目标传输速率,包括:
在当前时间片所属时间段为所述客户端的预设业务高峰时间段时,则
取所述预设上限传输速率和所述最低传输速率中的较小值;
将所述较小值与所述预设下限传输速率的均值作为目标传输速率。
9.根据权利要求7所述的方法,其特征在于,所述根据所述预设上限传输速率和所述预设下限传输速率中的至少一种、以及所述最低传输速率,确定目标传输速率,包括:
在当前时间片所属时间段为所述客户端的预设业务低峰时间段时,则
取所述预设上限传输速率和所述最低传输速率中的较大值;
将所述较大值与所述预设上限传输速率的均值作为目标传输速率。
10.根据权利要求7至9中任一项所述的方法,其特征在于,所述根据所述存储网关的数据缓存区在当前时间片的缓存状态,确定所述数据缓存区进行中转传输所需的最低传输速率,包括:
获取所述存储网关的数据缓存区的总容量与所述数据缓存区的最高使用率的乘积;
获取所述数据缓存区在当前时间片的缓存状态所表示的缓存占用量;
将所述乘积减去所述缓存占用量后再除以当前时间片的长度,得到所述数据缓存区进行中转传输所需的最低传输速率。
11.根据权利要求1至9中任一项所述的方法,其特征在于,所述方法还包括:
获取当前对指定的时间段所待配置的限速条件;
获取所述存储网关的历史缓存状态和/或历史数据传输状态;
根据获取的所述历史缓存状态和/或历史数据传输状态,校验当前对指定的时间段所待配置的限速条件;
当校验通过时,将当前对时间段所待配置的限速条件设置为对指定的时间段所预配置的限速条件。
12.一种数据传输装置,所述装置包括:
控制模块,用于根据存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令,其中,不同时间段采用不同的限速条件,所述当前时间片所属时间段所预配置的限速条件,是根据所述存储网关在历史时间片的缓存状态和数据传输状态对预设置的限速条件进行校验和调整后确定的,所述存储网关的数据缓存区是用于缓存在存储客户端和存储服务端之间传输的数据的存储区;
变速模块,用于将所述存储网关在当前时间片的传输速率,调整为所述传输速率控制指令所指定的目标传输速率;
数据传输模块,用于在当前时间片内按照调整后的传输速率,在所述存储客户端和所述存储客户端相对应的所述存储服务端之间,通过所述数据缓存区中转传输数据;
保存模块,用于在当前时间片结束时,保存当前时间片的数据传输状态,保存的所述数据传输状态用于校验对当前时间片所属时间段所预设置的限速条件。
13.根据权利要求12所述的装置,其特征在于,所述控制模块包括:
发送模块,用于向存储服务端上报所述存储网关在当前时间片的缓存状态,使得所述存储服务端根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;
接收模块,用于接收所述存储服务端下发的用于指定所述目标传输速率的传输速率控制指令。
14.根据权利要求12所述的装置,其特征在于,所述控制模块还用于根据当前时间片所属时间段的网络带宽获取限速条件,并根据本地的缓存状态和当前时间片所属时间段所获取的所述限速条件确定目标传输速率。
15.根据权利要求12所述的装置,其特征在于,所述控制模块包括:
发送模块,用于向存储客户端上报所述存储网关在当前时间片的缓存状态,使得所述存储客户端根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;
接收模块,用于所述存储客户端下发的用于指定所述目标传输速率的传输速率控制指令。
16.根据权利要求12所述的装置,其特征在于,所述控制模块包括:
发送模块,用于向存储客户端和存储服务端所在的网络链路上报缓存状态,使得所述网络链路根据上报的缓存状态和当前时间片所属时间段所预配置的限速条件确定目标传输速率;
接收模块,用于接收所述网络链路下发的用于指定所述目标传输速率的传输速率控制指令。
17.根据权利要求12所述的装置,其特征在于,所述控制模块,还用于根据所述存储网关在历史时间片的数据传输状态和所述存储网关当前的网络状态中的至少一种、所述存储网关的数据缓存区在当前时间片的缓存状态和当前时间片所属时间段所预配置的限速条件,获取指定目标传输速率的传输速率控制指令。
18.根据权利要求12所述的装置,其特征在于,所述控制模块还包括:
最低速率模块,用于根据所述存储网关的数据缓存区在当前时间片的缓存状态,确定所述数据缓存区进行中转传输所需的最低传输速率;
传输速率模块,用于根据所述预设上限传输速率和所述预设下限传输速率中的至少一种、以及所述最低传输速率,确定目标传输速率;
指令模块,用于获取用于指定所述目标传输速率的传输速率控制指令。
19.根据权利要求18所述的装置,其特征在于,所述传输速率模块,还用于在当前时间片所属时间段为所述客户端的预设业务高峰时间段时,则取所述预设上限传输速率和所述最低传输速率中的较小值;将所述较小值与所述预设下限传输速率的均值作为目标传输速率。
20.根据权利要求18所述的装置,其特征在于,所述传输速率模块,还用于在当前时间片所属时间段为所述客户端的预设业务低峰时间段时,则取所述预设上限传输速率和所述最低传输速率中的较大值;将所述较大值与所述预设上限传输速率的均值作为目标传输速率。
21.根据权利要求18至20中任一项所述的装置,其特征在于,所述最低速率模块,用于获取所述存储网关的数据缓存区的总容量与所述数据缓存区的最高使用率的乘积;获取所述数据缓存区在当前时间片的缓存状态所表示的缓存占用量;将所述乘积减去所述缓存占用量后再除以当前时间片的长度,得到所述数据缓存区进行中转传输所需的最低传输速率。
22.根据权利要求12至20中任一项所述的装置,其特征在于,所述控制模块还包括:
配置模块,用于获取当前对指定的时间段所待配置的限速条件;
状态模块,用于获取所述存储网关的历史缓存状态和/或历史数据传输状态;
校验模块,用于根据获取的所述历史缓存状态和/或历史数据传输状态,校验当前对指定的时间段所待配置的限速条件;当校验通过时,将当前对时间段所待配置的限速条件设置为对指定的时间段所预配置的限速条件。
23.一种存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至11中任意一项所述方法的步骤。
24.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至11中任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710749129.6A CN107592344B (zh) | 2017-08-28 | 2017-08-28 | 数据传输方法、装置、存储介质和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710749129.6A CN107592344B (zh) | 2017-08-28 | 2017-08-28 | 数据传输方法、装置、存储介质和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107592344A CN107592344A (zh) | 2018-01-16 |
CN107592344B true CN107592344B (zh) | 2021-05-25 |
Family
ID=61042795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710749129.6A Active CN107592344B (zh) | 2017-08-28 | 2017-08-28 | 数据传输方法、装置、存储介质和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107592344B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109257298A (zh) * | 2018-11-06 | 2019-01-22 | 上海航天测控通信研究所 | 基于自适应比例控制算法的网络流量控制方法 |
CN109639586A (zh) * | 2018-12-05 | 2019-04-16 | 量子云未来(北京)信息科技有限公司 | 一种数据传输方法、装置及系统 |
CN110740174A (zh) * | 2019-09-30 | 2020-01-31 | 北京字节跳动网络技术有限公司 | 文件下载限速方法、装置及电子设备 |
CN111030940A (zh) * | 2019-12-19 | 2020-04-17 | 深圳市网心科技有限公司 | 网络数据包传输方法、装置、电子设备及存储介质 |
CN111666303B (zh) * | 2020-05-29 | 2022-09-09 | 傲网信息科技(厦门)有限公司 | 一种在线离线单据处理系统和方法 |
CN113014499B (zh) * | 2021-02-22 | 2022-05-17 | 腾讯科技(深圳)有限公司 | 一种数据传输方法、装置、电子设备及存储介质 |
CN113765111B (zh) * | 2021-10-21 | 2022-05-17 | 南京奇峰新能源科技有限公司 | Svg故障分析系统 |
CN116582258B (zh) * | 2023-06-06 | 2024-04-30 | 深圳珠宝产业服务有限公司 | 一种基于互联网和数据分析的企业管理信息共享系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101924603A (zh) * | 2009-06-09 | 2010-12-22 | 华为技术有限公司 | 数据传输速率的自适应调整方法、装置及系统 |
CN102447606A (zh) * | 2010-09-30 | 2012-05-09 | 重庆重邮信科通信技术有限公司 | 一种数据传输流量控制方法及装置 |
CN103840910A (zh) * | 2012-11-22 | 2014-06-04 | 深圳市腾讯计算机系统有限公司 | 一种数据传输控制方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090161647A1 (en) * | 2007-12-20 | 2009-06-25 | Russ Mestechkin | Td-scdma uplink processing |
US20170192688A1 (en) * | 2015-12-30 | 2017-07-06 | International Business Machines Corporation | Lazy deletion of vaults in packed slice storage (pss) and zone slice storage (zss) |
CN106792739B (zh) * | 2016-11-17 | 2020-01-21 | 北京邮电大学 | 网络切片方法、装置和设备 |
CN106897231B (zh) * | 2017-02-28 | 2021-01-12 | 苏州浪潮智能科技有限公司 | 一种基于高性能存储介质的数据缓存方法及系统 |
-
2017
- 2017-08-28 CN CN201710749129.6A patent/CN107592344B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101924603A (zh) * | 2009-06-09 | 2010-12-22 | 华为技术有限公司 | 数据传输速率的自适应调整方法、装置及系统 |
CN102447606A (zh) * | 2010-09-30 | 2012-05-09 | 重庆重邮信科通信技术有限公司 | 一种数据传输流量控制方法及装置 |
CN103840910A (zh) * | 2012-11-22 | 2014-06-04 | 深圳市腾讯计算机系统有限公司 | 一种数据传输控制方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107592344A (zh) | 2018-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107592344B (zh) | 数据传输方法、装置、存储介质和计算机设备 | |
US10140236B2 (en) | Receiving buffer credits by a plurality of channels of one or more host computational devices for transmitting data to a control unit | |
US10289591B2 (en) | Adjustment of buffer credits and other parameters in a startup phase of communications between a plurality of channels and a control unit | |
JP4801154B2 (ja) | ゲートウェイデバイスの背後でのバックグラウンドネットワーク帯域幅の共有 | |
US10771533B2 (en) | Adaptive communication control device | |
US7430211B2 (en) | System and method for receive queue provisioning | |
JP5372988B2 (ja) | データ同期サーバ、システム、及びデータ転送帯域制御方法 | |
US10157150B2 (en) | Adjustments of buffer credits for optimizing the number of retry operations and transfer ready operations | |
CN110768837A (zh) | 一种网络切片虚拟资源分配方法、系统及装置 | |
US10862992B2 (en) | Resource cache management method and system and apparatus | |
CN108924203B (zh) | 数据副本自适应分布方法、分布式计算系统及相关设备 | |
CN113645150A (zh) | 传输速率控制方法、装置、电子设备和可读存储介质 | |
JP6060907B2 (ja) | トラフィック管理装置、システム、方法およびトラフィック管理プログラム | |
US10171572B2 (en) | Server pool management | |
US10659375B2 (en) | Controlling data rate based on domain and radio usage history | |
CN113923206A (zh) | 数据传输方法、装置及系统 | |
CN112653717A (zh) | 一种多云协作分布式系统和应用分发的方法 | |
US11695644B2 (en) | Communication management apparatus and communication management method | |
US11909841B2 (en) | System, apparatus and method for adaptive peer-to-peer communication with edge platform | |
EP4054135A1 (en) | Network entity and method | |
US11303524B2 (en) | Network bandwidth configuration | |
KR20220011920A (ko) | 네트워크 적응형 데이터 통신 방법 및 장치 | |
CN115118600A (zh) | 调整出接口的物理带宽的方法、装置及存储介质 | |
CN116170523A (zh) | 业务传输方法、装置及存储介质 | |
JPWO2018164033A1 (ja) | 制御装置、制御システム、制御装置の制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |