CN103840910A - 一种数据传输控制方法及装置 - Google Patents

Abstract

本发明涉及一种数据传输控制方法，包括：当接收到来自客户端的数据下载请求时，从服务器的发送缓冲区中读取一段待发送数据，将该段待发送数据发送至所述客户端；计算所述发送缓冲区中剩余待发送数据的长度；根据所述发送缓冲区中剩余待发送数据的长度确定所述发送缓冲区是否需要补充待发送数据；若所述发送缓冲区需要补充待发送数据，则从数据源处进一步获取待发送数据；将所获取的待发送数据写入所述发送缓冲区。本发明还提供一种数据传输控制装置。利用本发明可以减少服务器内存无谓的消耗，灵活地控制数据的传输速率。

Description

一种数据传输控制方法及装置

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据传输控制方法及装置。

背景技术

当服务器与客户端之间建立网络连接后，双方可以进行数据通信。在服务器中设置有服务器与客户端双方通信时收发数据所需要的内存空间。根据数据流向，该内存空间可以分为接收缓冲区和发送缓冲区。当客户端需要从服务器下载数据时，服务器将从数据源例如本地文件系统、本地数据库系统、远程网络等获取待发送的数据，将该待发送的数据加载到上述的发送缓冲区中，然后再通过该发送缓冲区将该待发送的数据发送给客户端，从而实现客户端从服务器下载数据的过程。

通常，当从发送缓冲区中获取的待发送数据被发送给客户端后，就会向发送缓冲区补充待发送数据，以备下一次向客户端发送。然而，若发送缓冲区中剩余的待发送数据充足，过早地对发送缓冲区进行数据补充，将导致进程内存被过早地消耗掉，尤其是在大数据量传输的情况下，会降低服务器内存的利用率。

此外，由于服务器的资源有限或某些业务规则的要求，需要对网络连接的数据传输速率进行控制，例如限制网络连接的数据下载速率不超过128Kb/S。通过控制服务器的数据下载速率，可以严格控制服务器的下载出口流量，稳定服务器的负载，避免服务器资源被某些用户过度占用，而且能提供相对稳定的下载服务质量。但是，若使用静态的限速速率控制数据传输，将无法根据服务器的实时状态，以及服务器所连接的每个客户端的类型对数据传输数据灵活控制，会降低业务定制化水平。

发明内容

有鉴于此，有必要提供一种数据传输控制方法及装置，可以根据服务器的发送缓冲区中剩余数据的长度来向该发送缓冲区补充数据，从而减少服务器进程内存无谓的消耗，在大数据量传输的情况下提高服务器内存的有效利用率。此外，还可以灵活地控制发送缓冲区中数据的传输速率，提升业务定制化水平。

以上所述的数据传输控制方法是通过以下技术方案实现的：

一种数据传输控制方法，包括以下步骤：当接收到来自客户端的数据下载请求时，从服务器的发送缓冲区中读取一段待发送数据，将该段待发送数据发送至所述客户端；计算所述发送缓冲区中剩余待发送数据的长度；根据所述发送缓冲区中剩余待发送数据的长度确定所述发送缓冲区是否需要补充待发送数据；若所述发送缓冲区需要补充待发送数据，则从数据源处进一步获取待发送数据；将所获取的待发送数据写入所述发送缓冲区。

以上所述的数据传输控制装置是通过以下技术方案实现的：

一种数据传输控制装置，包括：发送模块，用于当接收到来自客户端的数据下载请求时，从服务器的发送缓冲区中读取一段待发送数据，将该段待发送数据发送至所述客户端；计算模块，用于计算所述发送缓冲区中剩余待发送数据的长度；确定模块，用于根据所述发送缓冲区中剩余待发送数据的长度确定所述发送缓冲区是否需要补充待发送数据；获取模块，用于若所述发送缓冲区需要补充待发送数据，则从数据源处进一步获取待发送数据；写入模块，用于将所获取的待发送数据写入所述发送缓冲区。

相对于现有技术，本发明的有益效果是：本发明可以根据服务器的发送缓冲区中剩余数据的长度来向该发送缓冲区补充数据，从而减少服务器进程内存无谓的消耗，在大数据量传输的情况下提高服务器内存的有效利用率。此外，还可以灵活地控制发送缓冲区中数据的传输速率，提升业务定制化水平。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

图1为本发明实施例提供的数据传输控制方法的流程图。

图2为将待发送数据的传输速率控制在限速速率内的详细流程图。

图3为本发明实施例提供的数据传输控制方法的实现原理图。

图4为本发明实施例提供的数据传输控制装置的框图。

图5为本发明实施例提供的数据传输控制装置的发送模块的框图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。

参阅图1所示，本发明实施例提供一种数据传输控制方法，其包括以下步骤：

步骤S1，当接收到来自客户端的数据下载请求时，从服务器的发送缓冲区中读取一段待发送数据，将该段待发送数据发送至所述客户端；

步骤S2，计算所述发送缓冲区中剩余待发送数据的长度；

步骤S3，根据所述发送缓冲区中剩余待发送数据的长度确定所述发送缓冲区是否需要补充待发送数据；

步骤S4，若所述发送缓冲区需要补充待发送数据，则从数据源处进一步获取待发送数据；

步骤S5，将所获取的待发送数据写入所述发送缓冲区。

以下结合具体实例作进一步详细说明：

步骤S1所述的发送缓冲区为所述服务器向客户端发送数据所需要的内存空间。所述发送缓冲区中加载有从数据源，例如所述服务器的本地文件系统、本地数据库系统或者通过远程网络访问的终端等获取的待发送数据。所述的一段待发送数据可以为发送缓冲区中的全部待发送数据，也可以为发送缓冲区中的部分待发送数据。

在本实施例中，所述的将该段待发送数据发送至所述客户端的步骤中，还包括将该段待发送数据的传输速率控制在限速速率内，例如所述限速速率为128Kb/S。将该段待发送数据的传输速率控制在限速速率内的方法具体可以包括以下步骤：

（1）通过开源Wed服务器Nginx配置的limit_rate指令预先配置所述限速速率，如下代码所示：

location/downloads/{

limit_rate    128K;

}

上述的代码表示服务器根目录下的子目录downloads里面的所有文件被发送至客户端的传输速率被控制在128Kb/S以内。

（2）由Epoll事件或定时器定时触发所述发送缓冲区中的一段待发送数据被发送，假设该段待发送数据的长度为L，发送该段待发送数据所花费的时间为T。

（3）根据limit_rate指令所配置的限速速率计算在T时间内理论上最多能发送的数据长度Lmax。

（4）比较所述L与Lmax的大小，若L大于Lmax，则计算（L-Lmax）/限速速率，假设计算结果为D。所述D表示本次发送该段待发送数据比根据所述限速速率发送该段待发送数据的预期快了多少时间。

（5）将所述D作为延迟时间注册到定时器中，发送完该段待发送数据后，所述定时器将在延迟所述时间D之后，再发送下一段待发送数据。

然而，所述的限速速率并不是静态不变的。在将该段待发送数据发送至客户端的过程中，可以根据服务器的繁忙程度来动态调整所述限速速率。所述的服务器的繁忙程度可以由服务器的运行状态反映出来。因此，参阅图2所示，上述的将该段待发送数据的传输速率控制在限速速率内的步骤还包括：

步骤S1.1，实时监测所述服务器的运行状态。

在本实施例中，可以通过API（Application Programming Interface，应用程序编程接口）接口实时监测所述服务器的运行状态。该服务器的运行状态例如包括服务器的网卡流量、CPU利用率等。根据所述服务器的运行状态，可以判断服务器的繁忙程度。

步骤S1.2，根据所述服务器的运行状态确定是否需要调整所述限速速率。

例如，当监测到服务器的网卡流量高于第一预设值，或服务器的CPU利用率高于第二预设值时，判断服务器处于繁忙状态，确定需要降低所述限速速率。当监测到服务器的网卡流量低于第三预设值，或服务器的CPU利用率低于第四预设值时，判断服务器处于空闲状态，确定可以提高所述限速速率。

步骤S1.3，若需要调整所述限速速率则发出调速通知信息以将该段待发送数据的传输速率控制在调整后的限速速率内。

所述限速速率可以由系统在收到所述调速通知信息后自动调整，也可以由用户在查看到所述调速通知信息后手动调整。接收到系统或用户调整后的限速速率后，依然可以通过所述limit_rate指令配置所述调整后的限速速率。

步骤S3中，若所述发送缓冲区中剩余待发送数据的长度小于预设阈值，则确定所述发送缓冲区需要补充待发送数据。所述发送缓冲区中剩余待发送数据的长度小于所述预设阈值，说明发送缓冲区中剩余待发送数据不足，可能无法进行下一次数据发送。若所述发送缓冲区中剩余待发送数据的长度不小于所述预设阈值，则确定所述发送缓冲区不需要补充待发送数据。

步骤S4所述的数据源例如包括所述服务器的本地文件系统、本地数据库系统，或者所述服务器通过远程网络访问的终端等。

当确定需要向所述发送缓冲区补充待发送数据时，再执行步骤S5，将所获取的待发送数据写入所述发送缓冲区，可以避免发送缓冲区过早补充待发送数据而导致的进程内存的浪费，提高服务器内存的有效利用率。

参阅图3所示，为本发明实施例提供的数据传输控制方法的实现原理图，通过图3可以更清楚地了解所述数据传输控制方法的实现原理。根据图3中箭头走向及数字编号，将所述数据传输控制方法的实现原理进一步描述如下：

1.限速模块201发送所述发送缓冲区10中的一段待发送数据，并将该段待发送数据的传输速率控制在限速速率内，然后计算发送缓冲区10中剩余待发送数据的长度，若发送缓冲区10中剩余待发送数据的长度小于所述预设阈值，则向网络处理进程202发送所述发送缓冲区10中待发送数据不足的通知消息；

2.所述网络处理进程202接收所述发送缓冲区10中待发送数据不足的通知消息；

3.网络处理进程202将通知业务处理进程203进一步获取待发送数据；

4.所述业务处理进程203从服务器的本地文件系统或通过远程网络访问的终端获取本地文件数据或远程网络数据作为所述待发送数据；

5.业务处理进程203将所获取的待发送数据经网络处理进程202返回给所述限速模块201；

6.限速模块201将所获取的待发送数据写入所述发送缓冲区10；

7.业务处理进程203根据服务器的运行状态向网络处理进程202反馈调整后的限速速率；

8.限速模块201接收所述调整后的限速速率。

参阅图4所示，本发明实施例提供一种数据传输控制装置100，其包括发送模块101、计算模块102、确定模块103、获取模块104和写入模块105。可以理解，上述的各模块是指计算机程序或者程序段，用于执行某一项或多项特定的功能。此外，上述各模块的区分并不代表实际的程序代码也必须是分开的。

发送模块101，用于当接收到来自客户端的数据下载请求时，从服务器的发送缓冲区中读取一段待发送数据，将该段待发送数据发送至所述客户端；

计算模块102，用于计算所述发送缓冲区中剩余待发送数据的长度；

确定模块103，用于根据所述发送缓冲区中剩余待发送数据的长度确定所述发送缓冲区是否需要补充待发送数据；

获取模块104，用于若所述发送缓冲区需要补充待发送数据，则从数据源处进一步获取待发送数据；

写入模块105，用于将所获取的待发送数据写入所述发送缓冲区。

参阅图5所示，所述的发送模块101进一步包括：

控制子模块110，用于将该段待发送数据的传输速率控制在限速速率内；

监测子模块111用于实时监测所述服务器的运行状态；

调整子模块112用于根据所述服务器的运行状态确定是否需要调整所述限速速率；

所述控制模块110还用于若需要调整所述限速速率则发出调速通知信息以将该段待发送数据的传输速率控制在调整后的限速速率内。

对于以上各模块的具体工作过程，可进一步参考本发明实施例提供的数据传输控制方法，在此不再重复。

此外，本发明实施例还提供一种计算机可读存储介质，其内存储有计算机可执行指令，上述的计算机可读存储介质例如为非易失性存储器例如光盘、硬盘、或者闪存。上述的计算机可执行指令用于让计算机或者类似的运算装置完成上述的数据传输控制方法中的各种操作。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (12)

1.一种数据传输控制方法，其特征在于，该方法包括以下步骤：

当接收到来自客户端的数据下载请求时，从服务器的发送缓冲区中读取一段待发送数据，将该段待发送数据发送至所述客户端；

计算所述发送缓冲区中剩余待发送数据的长度；

根据所述发送缓冲区中剩余待发送数据的长度确定所述发送缓冲区是否需要补充待发送数据；

若所述发送缓冲区需要补充待发送数据，则从数据源处进一步获取待发送数据；

将所获取的待发送数据写入所述发送缓冲区。

2.如权利要求1所述的数据传输控制方法，其特征在于，所述将该段待发送数据发送至所述客户端的步骤还包括：

将该段待发送数据的传输速率控制在限速速率内。

3.如权利要求2所述的数据传输控制方法，其特征在于，上述的将该段待发送数据的传输速率控制在限速速率内的步骤包括：

实时监测所述服务器的运行状态；

根据所述服务器的运行状态确定是否需要调整所述限速速率；

若需要调整所述限速速率则发出调速通知信息以将该段待发送数据的传输速率控制在调整后的限速速率内。

4.如权利要求3所述的数据传输控制方法，其特征在于，所述服务器的运行状态至少包括以下一种：网卡流量、CPU使用率。

5.如权利要求4所述的数据传输控制方法，其特征在于，所述根据所述服务器的运行状态确定是否需要调整所述限速速率的步骤包括：

当监测到服务器的网卡流量高于第一预设值，或服务器的CPU利用率高于第二预设值时，确定需要降低所述限速速率；

当监测到服务器的网卡流量低于第三预设值，或服务器的CPU利用率低于第四预设值时，确定需要提高所述限速速率。

6.如权利要求1所述的数据传输控制方法，其特征在于，所述的根据所述发送缓冲区中剩余待发送数据的长度确定所述发送缓冲区是否需要补充待发送数据的步骤包括：

若所述发送缓冲区中剩余待发送数据的长度小于预设阈值，确定所述发送缓冲区需要补充待发送数据。

7.一种数据传输控制装置，其特征在于，该装置包括：

发送模块，用于当接收到来自客户端的数据下载请求时，从服务器的发送缓冲区中读取一段待发送数据，将该段待发送数据发送至所述客户端；

计算模块，用于计算所述发送缓冲区中剩余待发送数据的长度；

确定模块，用于根据所述发送缓冲区中剩余待发送数据的长度确定所述发送缓冲区是否需要补充待发送数据；

获取模块，用于若所述发送缓冲区需要补充待发送数据，则从数据源处进一步获取待发送数据；

写入模块，用于将所获取的待发送数据写入所述发送缓冲区。

8.如权利要求7所述的数据传输控制装置，其特征在于，所述发送模块还包括控制子模块，用于将该段待发送数据的传输速率控制在限速速率内。

9.如权利要求8所述的数据传输控制装置，其特征在于，所述发送模块还包括监测子模块，用于实时监测所述服务器的运行状态；

调整子模块，用于根据所述服务器的运行状态确定是否需要调整所述限速速率；

所述控制子模块，还用于若需要调整所述限速速率则发出调速通知信息以将该段待发送数据的传输速率控制在调整后的限速速率内。

10.如权利要求9所述的数据传输控制装置，其特征在于，所述服务器的运行状态至少包括以下一种：网卡流量、CPU使用率。

11.如权利要求10所述的数据传输控制装置，其特征在于，所述根据所述服务器的运行状态确定是否需要调整所述限速速率包括：

当监测到服务器的网卡流量高于第一预设值，或服务器的CPU利用率高于第二预设值时，确定需要降低所述限速速率；

当监测到服务器的网卡流量低于第三预设值，或服务器的CPU利用率低于第四预设值时，确定需要提高所述限速速率。

12.如权利要求7所述的数据传输控制装置，其特征在于，所述的根据所述发送缓冲区中剩余待发送数据的长度确定所述发送缓冲区是否需要补充待发送数据包括：

若所述发送缓冲区中剩余待发送数据的长度小于预设阈值，确定所述发送缓冲区需要补充待发送数据。

Images