CN109547277A - 数据传输的限速方法、系统、设备、计算机可读存储介质 - Google Patents

数据传输的限速方法、系统、设备、计算机可读存储介质 Download PDF

Info

Publication number
CN109547277A
CN109547277A CN201710859915.1A CN201710859915A CN109547277A CN 109547277 A CN109547277 A CN 109547277A CN 201710859915 A CN201710859915 A CN 201710859915A CN 109547277 A CN109547277 A CN 109547277A
Authority
CN
China
Prior art keywords
data
transmitted
data transmission
limit value
speed limit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710859915.1A
Other languages
English (en)
Inventor
陈军
蔡适择
陈敏
陈东沂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201710859915.1A priority Critical patent/CN109547277A/zh
Publication of CN109547277A publication Critical patent/CN109547277A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Communication Control (AREA)

Abstract

本发明涉及一种数据传输的限速方法、系统、设备、计算机可读存储介质。该数据传输的限速方法，包括以下步骤：获取网卡使用率；根据所述网卡使用率生成数据传输的限速值；对时间间隔内已传输数据的总字节数进行统计，若统计的总字节数不大于限速值，则待传输数据进行传输，否则传输暂停。本发明有效解决了数据传输过程中，无限制的使用宽带资源，导致宽带资源被占满的问题，本发明根据所述网卡使用率动态更新数据传输的限速值，控制数据传输速率灵活。本发明通过统计传输数据总字节数与限速值比对的方式进行限速管控，故其时间精度高，可以达到ms级。

Description

数据传输的限速方法、系统、设备、计算机可读存储介质
技术领域
本发明属于数据传输，尤其涉及一种数据传输的限速方法、系统、设备、计算机可读存储介质。
背景技术
在现有的很多数据传输方案中，很多都没有做限速机制，经常导致速率过大，占满整个机房的宽带资源，导致影响正常的业务功能。例如在flume采集日志的过程中，就没有对采集日志的速度做限制，经常导致flume无限制占用宽带资源，导致正常的业务无法使用。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种数据传输的限速方法、系统、设备、计算机可读存储介质。
根据本发明的一个方面，提供了一种数据传输的限速方法，包括以下步骤：
获取网卡使用率；
根据所述网卡使用率生成数据传输的限速值；
对时间间隔内已传输数据的总字节数进行统计，若统计的总字节数不大于限速值，则待传输数据进行传输，否则传输暂停。
进一步的，所述的数据传输的限速方法，还包括：
经预设时间间隔，定时获取网卡使用率；和/或，
经预设时间间隔，定时更新限速值；和/或，
经预设时间间隔，定时清空时间间隔内已传输数据的总字节数。
进一步的，所述传输暂停，包括：
使线程进行预设时长睡眠。
进一步的，使线程进行预设时长睡眠为80-120ms。
根据本发明的另一个方面，提供了一种数据传输的限速系统，包括：
数据传输器，用于根据获取的网卡使用率确定数据传输的限速值，并在时间间隔内已传输数据的总字节数不大于限速值时，对待传输数据进行传输；
字节计数器，用于统计时间间隔内已传输数据的总字节数。
进一步的，数据传输器经预设时间间隔定时获取网卡使用率及定时更新限速值。
进一步的，字节计数器经预设时间间隔定时清空已传输数据的总字节数。
根据本发明的另一个方面，提供了一种设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上述任一项所述的方法。
根据本发明的另一个方面，提供了一种存储有计算机程序的计算机可读存储介质，其特征是，该程序被处理器执行时实现如上述任一项所述的方法。
与现有技术相比，本发明具有以下有益效果：
1、本发明示例的数据传输的限速方法，获取网卡使用率；根据所述网卡使用率生成数据传输的限速值；对时间间隔内已传输数据的总字节数进行统计，若统计的总字节数不大于限速值，则待传输数据进行传输，否则传输暂停。本发明有效解决了数据传输过程中，无限制的使用宽带资源，导致宽带资源被占满的问题，本发明根据所述网卡使用率动态更新数据传输的限速值，控制数据传输速率灵活。本发明通过统计传输数据总字节数与限速值比对的方式进行限速管控，故其时间精度高，可以达到ms级。
2、本发明示例的数据传输的限速方法，当传输数据的总字节大小数超过限速值时，是进行线程睡眠，而不用缓冲器，且数据传输之前无需先采集数据，故大大节约了资源。
3、本发明示例的数据传输的限速系统，通过数据传输器用于根据获取的网卡使用率确定数据传输的限速值，并在时间间隔内已传输数据的总字节数不大于限速值时，对待传输数据进行传输；通过字节计数器用于统计时间间隔内已传输数据的总字节数，数据传输器、字节计数器相互配合，实现数据传输速率灵活控制。
4、本发明示例的设备，通过存储有计算机程序的计算机可读介质,所述程序被运行用于根据所述网卡使用率生成数据传输的限速值；对已传输数据的总字节数进行统计，控制待传输数据在不大于限速值的情况下进行传输，有效的控制数据传输速度，实现对宽带资源的合理利用，避免机房宽带资源紧张，影响业务系统正常使用。
5、本发明示例的存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现，控制待传输数据在不大于限速值的情况下进行传输，有效的控制数据传输速度，避免机房宽带资源紧张，影响业务系统正常使用。由于本发明通过网卡使用率动态更新数据传输的限速值，故限速灵活。
附图说明
图1为实施例一的流程图。
具体实施方式
为了更好的了解本发明的技术方案，下面结合具体实施例、说明书附图对本发明作进一步说明。
实施例一：
本实施例提供了一种数据传输的限速方法，包括以下步骤：
S1、获取网卡使用率。进一步为，经预设时间间隔，定时获取网卡使用率。
具体为：每秒定时获取到网卡使用率。
S2、根据所述网卡使用率生成数据传输的限速值。
进一步为，经预设时间间隔，定时更新限速值。
具体为：
在数据发送器中定义一个限速大小，代表默认每秒需要限制的速度。每秒定时获取到网卡使用率，动态地更新限速大小，使得网卡使用率在一个合理的范围内。
S3、对时间间隔内已传输数据的总字节数进行统计，若统计的总字节数不大于限速值，则待传输数据进行传输，否则传输暂停。
进一步为，经预设时间间隔，定时清空时间间隔内已传输数据的总字节数。
所述传输暂停，包括：使线程进行预设时长睡眠。进一步的，使线程进行预设时长睡眠为100ms。
具体为：在数据发送器中定义一个字节计数器。在数据发送器中的发送方法中，对每次发送的数据的字节大小都累加到字节计数器中。
currentSize.getAndAdd(msg.length)。
在数据发送器中的发送方法中，每次发送数据前，比较字节计数器和限速值的大小，如果字节计数器大于限速值，则发送方法循环sleep100ms(即使线程进行预设时长睡眠为100ms)，直到字节计数器小于限速值，才继续发送数据。
While(currentSize.get()＞speed){try{Thread.sleep(100L)；|}catch(InterruptedExceptione){LOG.error(e.getMessage())；}}。
定义一个线程，每秒定时将字节计数器清空。
public class SpeedLimit implements Runnable{@Override publicvoid run(){currentSize.set(0L)；}}。
本实施例提供了一种数据传输的限速系统，包括：
数据传输器，用于根据获取的网卡使用率确定数据传输的限速值，并在时间间隔内已传输数据的总字节数不大于限速值时，对待传输数据进行传输；
字节计数器，用于统计时间间隔内已传输数据的总字节数。
进一步的，数据传输器经预设时间间隔定时获取网卡使用率及定时更新限速值。
进一步的，字节计数器经预设时间间隔定时清空已传输数据的总字节数。
该系统为基于上述任一方法的系统，获取网卡使用率；根据所述网卡使用率生成数据传输的限速值；对时间间隔内已传输数据的总字节数进行统计，若统计的总字节数不大于限速值，则待传输数据进行传输，否则传输暂停的具体细节及详细步骤如上述方法处所述。
本实施例提供了一种设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上述任一项所述的方法。
该设备为基于上述任一方法的设备，获取网卡使用率；根据所述网卡使用率生成数据传输的限速值；对时间间隔内已传输数据的总字节数进行统计，若统计的总字节数不大于限速值，则待传输数据进行传输，否则传输暂停的具体细节及详细步骤如上述方法处所述。
本实施例提供了一种存储有计算机程序的计算机可读存储介质，其特征是，该程序被处理器执行时实现如上述任一项所述的方法。
该存储有计算机程序的计算机可读存储介质为基于上述任一方法的存储有计算机程序的计算机可读存储介质，获取网卡使用率；根据所述网卡使用率生成数据传输的限速值；对时间间隔内已传输数据的总字节数进行统计，若统计的总字节数不大于限速值，则待传输数据进行传输，否则传输暂停的具体细节及详细步骤如上述方法处所述。
该计算机可读存储介质可以是上述实施例中所述设备中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行。
实施例二
本实施例与实施例一相同的特征不再赘述，本实施例与实施例一不同的特征在于：
本实施例的数据传输的限速方法，使线程进行预设时长睡眠为80ms。
实施例三
本实施例与实施例一相同的特征不再赘述，本实施例与实施例一不同的特征在于：
本实施例的数据传输的限速方法，使线程进行预设时长睡眠为120ms。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能。

Claims (9)

1.一种数据传输的限速方法，其特征是，包括以下步骤：
获取网卡使用率；
根据所述网卡使用率生成数据传输的限速值；
对时间间隔内已传输数据的总字节数进行统计，若统计的总字节数不大于限速值，则待传输数据进行传输，否则传输暂停。
2.根据权利要求1所述的数据传输的限速方法，其特征是，还包括：
经预设时间间隔，定时获取网卡使用率；和/或，
经预设时间间隔，定时更新限速值；和/或，
经预设时间间隔，定时清空时间间隔内已传输数据的总字节数。
3.根据权利要求1或2所述的数据传输的限速方法，其特征是，所述传输暂停，包括：
使线程进行预设时长睡眠。
4.根据权利要求3所述的数据传输的限速方法，其特征是，使线程进行预设时长睡眠为80-120ms。
5.一种数据传输的限速系统，其特征是，包括：
数据传输器，用于根据获取的网卡使用率确定数据传输的限速值，并在时间间隔内已传输数据的总字节数不大于限速值时，对待传输数据进行传输；
字节计数器，用于统计时间间隔内已传输数据的总字节数。
6.根据权利要求5所述的数据传输的限速系统，其特征是，数据传输器经预设时间间隔定时获取网卡使用率及定时更新限速值。
7.根据权利要求5或6所述的数据传输的限速系统，其特征是，字节计数器经预设时间间隔定时清空已传输数据的总字节数。
8.一种设备，其特征是，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-4中任一项所述的方法。
9.一种存储有计算机程序的计算机可读存储介质，其特征是，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
CN201710859915.1A 2017-09-21 2017-09-21 数据传输的限速方法、系统、设备、计算机可读存储介质 Pending CN109547277A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710859915.1A CN109547277A (zh) 2017-09-21 2017-09-21 数据传输的限速方法、系统、设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710859915.1A CN109547277A (zh) 2017-09-21 2017-09-21 数据传输的限速方法、系统、设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109547277A true CN109547277A (zh) 2019-03-29

Family

ID=65828259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710859915.1A Pending CN109547277A (zh) 2017-09-21 2017-09-21 数据传输的限速方法、系统、设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109547277A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110247815A (zh) * 2019-05-09 2019-09-17 深圳市迅雷网络技术有限公司 一种数据传输方法、装置、系统及计算机可读存储介质
CN110380825A (zh) * 2019-07-29 2019-10-25 网宿科技股份有限公司 一种传输速率的控制方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527654A (zh) * 2009-04-20 2009-09-09 中兴通讯股份有限公司 一种网管系统中的数据传输方法及系统
US20100284276A1 (en) * 2006-04-26 2010-11-11 Bittorrent, Inc. End-System Dynamic Rate Limiting of Background Traffic
CN102014061A (zh) * 2010-11-25 2011-04-13 福建星网锐捷网络有限公司 内网核心交换机的上行流量控制方法及装置
CN102014038A (zh) * 2009-09-08 2011-04-13 中兴通讯股份有限公司 一种传输资源管理方法及装置
CN103873381A (zh) * 2014-03-25 2014-06-18 安一恒通（北京）科技有限公司 网络流量限速方法和装置
US9526086B1 (en) * 2011-08-23 2016-12-20 Sprint Communications Company L.P. Application data rate limiting in a wireless communication device
US20170142029A1 (en) * 2015-11-16 2017-05-18 Le Holdings (Beijing) Co., Ltd. Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium
CN107182080A (zh) * 2017-06-16 2017-09-19 锐捷网络股份有限公司 一种在无线局域网中自适应配置速率的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100284276A1 (en) * 2006-04-26 2010-11-11 Bittorrent, Inc. End-System Dynamic Rate Limiting of Background Traffic
CN101527654A (zh) * 2009-04-20 2009-09-09 中兴通讯股份有限公司 一种网管系统中的数据传输方法及系统
CN102014038A (zh) * 2009-09-08 2011-04-13 中兴通讯股份有限公司 一种传输资源管理方法及装置
CN102014061A (zh) * 2010-11-25 2011-04-13 福建星网锐捷网络有限公司 内网核心交换机的上行流量控制方法及装置
US9526086B1 (en) * 2011-08-23 2016-12-20 Sprint Communications Company L.P. Application data rate limiting in a wireless communication device
CN103873381A (zh) * 2014-03-25 2014-06-18 安一恒通（北京）科技有限公司 网络流量限速方法和装置
US20170142029A1 (en) * 2015-11-16 2017-05-18 Le Holdings (Beijing) Co., Ltd. Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium
CN107182080A (zh) * 2017-06-16 2017-09-19 锐捷网络股份有限公司 一种在无线局域网中自适应配置速率的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110247815A (zh) * 2019-05-09 2019-09-17 深圳市迅雷网络技术有限公司 一种数据传输方法、装置、系统及计算机可读存储介质
CN110380825A (zh) * 2019-07-29 2019-10-25 网宿科技股份有限公司 一种传输速率的控制方法和装置
CN110380825B (zh) * 2019-07-29 2022-05-10 网宿科技股份有限公司 一种传输速率的控制方法和装置

Similar Documents

Publication Publication Date Title
CN102790776B (zh) 心跳连接归一处理方法、终端、服务器及通信系统
US10079772B2 (en) Queue scheduling method and device, and computer storage medium
CN105159781B (zh) 调节智能终端应用网速的方法、装置和智能终端
US20150026356A1 (en) Push notification middleware
PT1856943E (pt) Utilização de atribuições suplementares
CN104301248A (zh) 报文限速方法和装置
CN105763297B (zh) 一种基于云计算系统的远程数据优化传输方法和装置
US10554568B2 (en) Technologies for network round-trip time estimation
CN106385377B (zh) 一种信息处理方法和系统
CN109547277A (zh) 数据传输的限速方法、系统、设备、计算机可读存储介质
CN110532294A (zh) 话单合并方法、装置、设备及计算机可读存储介质
CN111031602B (zh) 带宽部分的更新方法及终端
CN110457251A (zh) 一种多处理器间的数据通信方法及装置
US20200034186A1 (en) Methods and apparatus for verifying completion of groups of data transactions between processors
CN108900433A (zh) 一种传输lora报文的方法、终端和服务器
CN108965112A (zh) 使用即时通讯软件进行文件传输的方法及装置
CN110944388A (zh) 一种频域资源的指示、确定方法、网络设备及终端
WO2021087912A1 (zh) 激活或去激活探测信号资源的方法和装置
CN101771718A (zh) 剪贴板同步方法及系统
CN113626221B (zh) 一种消息入队方法及装置
CN106101184B (zh) 一种文件下载方法和播放设备
CN105939293B (zh) 一种skb回收方法及装置
CN110147254A (zh) 一种数据缓存处理方法、装置、设备及可读存储介质
CN113992600A (zh) 基于缓存队列的多速率模式数据发送控制方法及装置
US20160294926A1 (en) Using a single work item to send multiple messages

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190329

RJ01 Rejection of invention patent application after publication