CN106817314A - 大数据采集方法、装置以及系统 - Google Patents

大数据采集方法、装置以及系统 Download PDF

Info

Publication number
CN106817314A
CN106817314A CN201510869746.0A CN201510869746A CN106817314A CN 106817314 A CN106817314 A CN 106817314A CN 201510869746 A CN201510869746 A CN 201510869746A CN 106817314 A CN106817314 A CN 106817314A
Authority
CN
China
Prior art keywords
time
current
difference
average value
collection client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510869746.0A
Other languages
English (en)
Other versions
CN106817314B (zh
Inventor
赵勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201510869746.0A priority Critical patent/CN106817314B/zh
Publication of CN106817314A publication Critical patent/CN106817314A/zh
Application granted granted Critical
Publication of CN106817314B publication Critical patent/CN106817314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种大数据采集方法、装置以及系统，涉及移动通信领域，其中该方法包括：接收待上传数据的采集客户端发送的连接请求；根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间；将所述延时连接时间返回给采集客户端，以便所述采集客户端经过所述延时连接时间后向采集服务器上传数据。本发明提供的方法、装置以及系统，在一定程度上解决了网络数据采集过程中出现的瞬时数据量过大的情况，在负载均衡技术的基础上，引入了时间参数，并通过元启发式算法较好的协调了两个维度的关系，使流量较为均衡地分布在各个时间段，最大限度地利用了现有资源。

Description

大数据采集方法、装置以及系统
技术领域
本发明涉及移动通信领域，尤其涉及一种大数据采集方法、装置以及系统。
背景技术
为捕捉用户的使用行为信息，进行有效分析，用准确量化的数据作为产品创新及优化，中国电信开发了基地业务量化分析系统，该系统基于客户端外挂程序的方式来进行用户数据采集，由于目前该系统的采集样本量已经突破1亿，每日上报数据超过30G，即使已经采用了软硬件负载均衡技术，但是依然会出现在一些时间负载很低，但在另一些瞬间会出现网络堵塞的情况。
因此，有必要提出一种在大数据采集的时候可自行调整参数的大数据采集装置和实现方法。
发明内容
本公开要解决的一个技术问题是如何提供一种可自行调整参数的大数据采集装置和实现方法。
本公开提供一种大数据采集方法，包括：接收待上传数据的采集客户端发送的连接请求；根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间；将所述延时连接时间返回给采集客户端，以便所述采集客户端经过所述延时连接时间后向采集服务器上传数据。
进一步地，所述采集服务器的当前网络情况包括网络流量负载情况和带宽情况。
进一步地，所述根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间包括：随机初始化时间T0；根据当前的网络流量负载的分布，选择时间Tt；比较采用当前时间T0的流量峰值与平均值之差、时间Tt时的流量峰值与平均值之差；如果流量峰值与平均值之差不小于当前时间T0时的情况，则计算更新时间，其中，更新时间的计算公式为Snew＝Scur+sqrt(Tt)*randn，其中所述Scur为当前请求上传时间，Snew为更新上传时间，randn为高斯随机数；将所述更新时间作为延时连接时间发送给采集客户端。
进一步地，如果采用时间Tt时，流量峰值与平均值之差小于时间T0时的流量峰值与平均值之差，则将Tt更新T0，并重新根据当前的网络流量负载的分布，选择一个新的时间Tt。
进一步地，判断当前循环次数，如果当前循环次数不大于第一设定阈值时，如果采用时间Tt时流量峰值与平均值之差没有小于时间T0时的流量峰值与平均值之差的情况，计算接受概率P，其中P＝1/(1+exp(Δ+Tt))，其中Δ为当前时间T0、时间Tt时流量峰值与平均值之差的差值；如果所述接受概率不小于第二设定阈值，计算更新时间并将所述更新时间作为延时连接时间发送给采集客户端。
进一步地，如果当前循环次数大于第一设定阈值且未得到接受概率小于第二设定阈值的时间，则退出当前的循环计算延时连接时间的过程并确定未得到延时连接时间；向采集客户端返回数据上传响应以便所述采集客户端向服务器上传数据。
本发明还提供一种大数据采集装置，包括：接收模块，用于接收待上传数据的采集客户端发送的连接请求；时间调整模块，用于根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间；发送模块，用于将所述延时连接时间返回给采集客户端以便采集样本客户端经过所述延时连接时间后向服务器发送连接请求上传数据。
进一步地，所述采集服务器的当前网络情况包括网络流量负载情况和带宽情况。
进一步地，所述时间调整模块包括：初始化单元，用于随机初始化时间T0；选择单元，用于根据当前的网络流量负载的分布，选择时间Tt；比较单元，用于比较采用当前时间T0的流量峰值与平均值之差、时间Tt时的流量峰值与平均值之差；处理单元，如果流量峰值与平均值之差不小于当前时间T0时的情况，则计算更新时间；发送单元，用于将所述更新时间作为延时连接时间发送给采集客户端，其中更新时间的计算公式为Snew＝Scur+sqrt(Tt)*randn，其中所述Scur为当前请求上传时间，Snew为更新上传时间，randn为高斯随机数。
进一步地，所述处理单元还用于如果采用时间Tt时流量峰值与平均值之差小于时间T0时的流量峰值与平均值之差，则将Tt更新T0，并重新根据当前的网络流量负载的分布，选择一个新的时间Tt。
进一步地，处理单元还用于判断当前循环次数，如果当前循环次数不大于第一设定阈值时，如果采用时间Tt时流量峰值与平均值之差没有小于时间T0时的流量峰值与平均值之差的情况，计算接受概率P，其中P＝1/(1+exp(Δ+Tt))，其中Δ为当前时间T0、时间T1时流量峰值与平均值之差的差值；如果所述接受概率不小于第二设定阈值，计算更新时间并将所述更新时间作为延时连接时间发送给采集客户端。
进一步地，处理单元还用于如果当前循环次数大于第一设定阈值且未得到接受概率小于第二设定阈值的时间，则退出当前的循环计算延时连接时间的过程并确定未得到延时连接时间；发送模块还用于向采集客户端返回数据上传响应以便所述采集客户端向服务器上传数据。
本一种大数据采集系统，其特征在于，包括：如上述的大数据采集装置以及采集客户端、采集服务器。
本公开提供的大数据采集方法、装置以系统，在一定程度上解决了网络数据采集过程中出现的瞬时数据量过大的情况，在负载均衡技术的基础上，引入了时间参数，并通过元启发式算法较好的协调了两个维度的关系，使流量较为均衡地分布在各个时间段，最大限度地利用了现有资源。
附图说明
图1示出本发明一个实施例的大数据采集方法的流程图。
图2示出本发明一个实施例的一种大数据采集系统的示意图。
图3示出本发明一个实施例的一种大数据采集装置。
图4示出了本发明的另一个实施例的一种大数据采集装置的结构框图。
具体实施方式
下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。
图1示出本发明一个实施例的大数据采集方法的流程图。如图1所示，该方法主要包括：
步骤100，接收待上传数据的采集客户端发送的连接请求。
步骤102，根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间。
步骤104，将所述延时连接时间返回给采集客户端，以便所述采集客户端经过所述延时连接时间后向采集服务器上传数据。
在一个实施例中，所述采集服务器的当前网络情况包括网络流量负载情况和带宽情况。
在一个实施例中，所述根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间包括：随机初始化时间T0；根据当前的网络流量负载的分布，选择时间Tt；比较采用当前时间T0的流量峰值与平均值之差、时间Tt时的流量峰值与平均值之差；如果流量峰值与平均值之差不小于当前时间T0时的情况，则计算更新时间，其中，更新时间的计算公式为Snew＝Scur+sqrt(Tt)*randn，其中所述Scur为当前请求上传时间，Snew为更新上传时间，randn为高斯随机数；将所述更新时间作为延时连接时间发送给采集客户端。
在一个实施例中，如果采用时间Tt时，流量峰值与平均值之差小于时间T0时的流量峰值与平均值之差，则将Tt更新T0，并重新根据当前的网络流量负载的分布，选择一个新的时间Tt。
在一个实施例中，判断当前循环次数，如果当前循环次数不大于第一设定阈值时，如果采用时间Tt时流量峰值与平均值之差没有小于时间T0时的流量峰值与平均值之差的情况，计算接受概率P，其中P＝1/(1+exp(Δ+Tt))，其中Δ为当前时间T0、时间T1时流量峰值与平均值之差的差值；如果所述接受概率不小于第二设定阈值，计算更新时间并将所述更新时间作为延时连接时间发送给采集客户端。
在一个实施例中，如果当前循环次数大于第一设定阈值且未得到接受概率小于第二设定阈值的时间，则退出当前的循环计算延时连接时间的过程并确定未得到延时连接时间；向采集客户端返回数据上传响应以便所述采集客户端向服务器上传数据。
本发明实施例的上述方法，在一定程度上解决了网络数据采集过程中出现的瞬时数据量过大的情况，在负载均衡技术的基础上，引入了时间参数，并通过元启发式算法较好的协调了两个维度的关系，使流量较为均衡地分布在各个时间段，最大限度地利用了现有资源。
图2示出本发明一个实施例的一种大数据采集系统的示意图，如图2所示，该系统包括：采集样本客户端21、负载均衡器22、采集服务器24的集群以及大数据采集装置23。
待上传数据的采集样本客户端21向新增的大数据采集装置23服务器发送连接请求；所述新增装置23根据现在采集服务器负载和网络情况计算延时连接信息时间t；新增装置23返回连接请求(包含延时连接信息时间t)到客户端；采集样本客户端根据新增模块返回的信息，经过时间t后向服务器发送连接请求，上传相关数据。
本专利的核心之一是提出了基于启发式算法处理数据负载和采集时间之间的关系，使采集数据的流量较为均匀的分布在所有时间段。具体地使用该算法处理数据负载、采集时间的步骤如下：
步骤201，随机初始化时间T0。
步骤202，根据当前的网络流量负载的分布，选择一个新的时间T1。
步骤203，比较采用当前时间T0与新时间T1时,流量峰值与平均值之差。
步骤204，如果采用时间T1时，流量峰值与平均值之差小于当前时间T0时的情况，那么用T1更新T0，再回到步骤202，否则继续执行步骤205。
步骤205，如果采用时间T1时，流量峰值与平均值之差没有优于当前时间T0时的情况，那么通过计算接受概率P，来判断是否更新当前时间。如果需要更新时间，回到步骤202，否则判断退出条件。其中，接受概率的计算公式为P＝1/(1+exp(Δ+Tt))，其中，Δ为采用当前时间与新时间时,流量峰值与平均值之差，Tt为当前时间。更新时间的公式为Snew＝Scur+sqrt(Tt)*randn，其中，Scur为当前个体，Snew为新个体，Tt为当前时间，randn为符合标准高斯分布的随机数。其中，当迭代次数达到最大迭代次数100次或者在100次迭代内找到最优时间，退出循环计算过程。
现有技术中，针对数据采集系统瞬时流量过大的情况，业内主要采用软硬件负载均衡的技术，但该技术主要是对采集的数据转到哪一个服务器进行筛选，无法对数据上报请求本身进行筛选，这些技术主要使服务器集群在峰值时得到最大的利用，但并未提到使客户端上报数据请求相对均匀的分布在不同的时间段。本发明实施例的方法，在一定程度上解决了网络数据采集过程中出现的瞬时数据量过大的情况，在负载均衡技术的基础上，引入了时间参数并通过元启发式算法较好的协调了两个维度的关系，使流量较为均衡地分布在各个时间段，最大限度地利用了现有资源。
本发明实施例提供的大数据采集方法，将来可以用到高并发量非实时的海量数据采集场景中，可以节省系统带宽资源，充分利用闲时带宽；减少系统上报数据压力，降低负载均衡的软件和硬件成本。在基本不需要改动原系统架构的基础上，充分利用了闲时带宽和服务器资源，基本解决了由于海量数据导致的网络堵塞和告警，提高了现有资源的利用率并降低了负载均衡的软件和硬件成本。
图3示出本发明一个实施例的一种大数据采集装置，如图3所示，该装置300包括：接收模块301用于接收待上传数据的采集客户端发送的连接请求；时间调整模块302用于根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间；发送模块303用于将所述延时连接时间返回给采集客户端以便采集样本客户端经过所述延时连接时间后向服务器发送连接请求上传数据。
在一个实施例中，所述采集服务器的当前网络情况包括网络流量负载情况和带宽情况。
在一个实施例中，所述时间调整模块302包括：初始化单元3021，用于随机初始化时间T0；选择单元3022，用于根据当前的网络流量负载的分布，选择时间Tt；比较单元3023，用于比较采用当前时间T0的流量峰值与平均值之差、时间Tt时的流量峰值与平均值之差；处理单元3024，如果流量峰值与平均值之差不小于当前时间T0时的情况，则计算更新时间；发送单元3025，用于将所述更新时间作为延时连接时间发送给采集客户端，其中更新时间的计算公式为Snew＝Scur+sqrt(Tt)*randn，其中所述Scur为当前请求上传时间，Snew为更新上传时间，randn为高斯随机数。
在一个实施例中，所述处理单元3024还用于如果采用时间Tt时流量峰值与平均值之差小于时间T0时的流量峰值与平均值之差，则将Tt更新T0，并重新根据当前的网络流量负载的分布，选择一个新的时间Tt。
在一个实施例中，处理单元3024还用于判断当前循环次数，如果当前循环次数不大于第一设定阈值时，如果采用时间Tt时流量峰值与平均值之差没有小于时间T0时的流量峰值与平均值之差的情况，计算接受概率P，其中P＝1/(1+exp(Δ+Tt))，其中Δ为当前时间T0、时间T1时流量峰值与平均值之差的差值；如果所述接受概率不小于第二设定阈值，计算更新时间并将所述更新时间作为延时连接时间发送给采集客户端。
在一个实施例中，处理单元3024还用于如果当前循环次数大于第一设定阈值且未得到接受概率小于第二设定阈值的时间，则退出当前的循环计算延时连接时间的过程并确定未得到延时连接时间；发送模块303还用于向采集客户端返回数据上传响应以便所述采集客户端向服务器上传数据。
图4示出了本发明的另一个实施例的一种大数据采集装置的结构框图。大数据采集装置400可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机、移动终端或其他终端等。本发明具体实施例并不对计算节点的具体实现做限定。
大数据采集装置400包括处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和总线404。其中，处理器401、通信接口402、以及存储器403通过总线404完成相互间的通信。
通信接口402用于与网络设备通信，其中网络设备包括例如虚拟机管理中心、共享存储等。
处理器401用于执行程序。处理器401可以是一个中央处理器CPU，或者可以是专用集成电路ASIC(Application Specific IntegratedCircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器403用于存放文件。存储器403可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器403也可以是存储器阵列。存储器403还可能被分块，并且块可按一定的规则组合成虚拟卷。
在一种实施方式中，上述程序可为包括计算机操作指令的程序代码。该程序具体可用于：接收待上传数据的采集客户端发送的连接请求；根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间；将所述延时连接时间返回给采集客户端，以便所述采集客户端经过所述延时连接时间后向采集服务器上传数据。
在一个具体地实施方式中，所述采集服务器的当前网络情况包括网络流量负载情况和带宽情况。
在一个具体地实施方式中，所述根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间包括：随机初始化时间T0；根据当前的网络流量负载的分布，选择时间Tt；比较采用当前时间T0的流量峰值与平均值之差、时间Tt时的流量峰值与平均值之差；
如果流量峰值与平均值之差不小于当前时间T0时的情况，则计算更新时间，其中，更新时间的计算公式为Snew＝Scur+sqrt(Tt)*randn，其中所述Scur为当前请求上传时间，Snew为更新上传时间，randn为高斯随机数；将所述更新时间作为延时连接时间发送给采集客户端。
在一个具体地实施方式中，如果采用时间Tt时，流量峰值与平均值之差小于时间T0时的流量峰值与平均值之差，则将Tt更新T0，并重新根据当前的网络流量负载的分布，选择一个新的时间Tt。
在一个具体地实施方式中，判断当前循环次数，如果当前循环次数不大于第一设定阈值时，如果采用时间Tt时流量峰值与平均值之差没有小于时间T0时的流量峰值与平均值之差的情况，计算接受概率P，其中P＝1/(1+exp(Δ+Tt))，其中Δ为当前时间T0、时间T1时流量峰值与平均值之差的差值；如果所述接受概率不小于第二设定阈值，计算更新时间并将所述更新时间作为延时连接时间发送给采集客户端。
在一个具体地实施方式中，如果当前循环次数大于第一设定阈值且未得到接受概率小于第二设定阈值的时间，则退出当前的循环计算延时连接时间的过程并确定未得到延时连接时间；向采集客户端返回数据上传响应以便所述采集客户端向服务器上传数据。
本领域普通技术人员可以意识到，本文所描述的实施例中的各示例性单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来实现，取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用选择不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
如果以计算机软件的形式来实现功能并作为独立的产品销售或使用时，则在一定程度上可认为本发明的技术方案的全部或部分(例如对现有技术做出贡献的部分)是以计算机软件产品的形式体现的。该计算机软件产品通常存储在计算机可读取的非易失性存储介质中，包括若干指令用以使得计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (13)

1.一种大数据采集方法，其特征在于，包括：
接收待上传数据的采集客户端发送的连接请求；
根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间；
将所述延时连接时间返回给采集客户端，以便所述采集客户端经过所述延时连接时间后向采集服务器上传数据。
2.根据权利要求1所述的方法，其特征在于，所述采集服务器的当前网络情况包括网络流量负载情况和带宽情况。
3.根据权利要求1或2所述的方法，其特征在于，所述根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间包括：
随机初始化时间T0；
根据当前的网络流量负载的分布，选择时间Tt；
比较采用当前时间T0的流量峰值与平均值之差、时间Tt时的流量峰值与平均值之差；
如果流量峰值与平均值之差不小于当前时间T0时的情况，则计算更新时间，其中，更新时间的计算公式为Snew＝Scur+sqrt(Tt)*randn，其中所述Scur为当前请求上传时间，Snew为更新上传时间，randn为高斯随机数；
将所述更新时间作为延时连接时间发送给采集客户端。
4.根据权利要求3所述的方法，其特征在于，还包括：
如果采用时间Tt时，流量峰值与平均值之差小于时间T0时的流量峰值与平均值之差，则将Tt更新T0，并重新根据当前的网络流量负载的分布，选择一个新的时间Tt。
5.根据权利要求3所述的方法，其特征在于，还包括：
判断当前循环次数，如果当前循环次数不大于第一设定阈值时，如果采用时间Tt时流量峰值与平均值之差没有小于时间T0时的流量峰值与平均值之差的情况，计算接受概率P，其中P＝1/(1+exp(Δ+Tt))，其中Δ为当前时间T0、时间T1时流量峰值与平均值之差的差值；
如果所述接受概率不小于第二设定阈值，计算更新时间并将所述更新时间作为延时连接时间发送给采集客户端。
6.根据权利要求5所述的方法，其特征在于，
如果当前循环次数大于第一设定阈值且未得到接受概率小于第二设定阈值的时间，则退出当前的循环计算延时连接时间的过程并确定未得到延时连接时间；
向采集客户端返回数据上传响应以便所述采集客户端向服务器上传数据。
7.一种大数据采集装置，其特征在于，包括：
接收模块，用于接收待上传数据的采集客户端发送的连接请求；
时间调整模块，用于根据采集服务器的当前网络情况基于启发式算法计算所述采集客户端的延时连接时间；
发送模块，用于将所述延时连接时间返回给采集客户端以便采集样本客户端经过所述延时连接时间后向服务器发送连接请求上传数据。
8.根据权利要求7所述的装置，其特征在于，所述采集服务器的当前网络情况包括网络流量负载情况和带宽情况。
9.根据权利要求7或8所述的装置，其特征在于，所述时间调整模块包括：
初始化单元，用于随机初始化时间T0；
选择单元，用于根据当前的网络流量负载的分布，选择时间Tt；
比较单元，用于比较采用当前时间T0的流量峰值与平均值之差、时间Tt时的流量峰值与平均值之差；
处理单元，如果流量峰值与平均值之差不小于当前时间T0时的情况，则计算更新时间；
发送单元，用于将所述更新时间作为延时连接时间发送给采集客户端，其中更新时间的计算公式为Snew＝Scur+sqrt(Tt)*randn，其中所述Scur为当前请求上传时间，Snew为更新上传时间，randn为高斯随机数。
10.根据权利要求9所述的装置，其特征在于，所述处理单元还用于如果采用时间Tt时流量峰值与平均值之差小于时间T0时的流量峰值与平均值之差，则将Tt更新T0，并重新根据当前的网络流量负载的分布，选择一个新的时间Tt。
11.根据权利要求9所述的装置，其特征在于，处理单元还用于判断当前循环次数，如果当前循环次数不大于第一设定阈值时，如果采用时间Tt时流量峰值与平均值之差没有小于时间T0时的流量峰值与平均值之差的情况，计算接受概率P，其中P＝1/(1+exp(Δ+Tt))，其中Δ为当前时间T0、时间Tt时流量峰值与平均值之差的差值；如果所述接受概率不小于第二设定阈值，计算更新时间并将所述更新时间作为延时连接时间发送给采集客户端。
12.根据权利要求11所述的装置，其特征在于，处理单元还用于如果当前循环次数大于第一设定阈值且未得到接受概率小于第二设定阈值的时间，则退出当前的循环计算延时连接时间的过程并确定未得到延时连接时间；
发送模块还用于向采集客户端返回数据上传响应以便所述采集客户端向服务器上传数据。
13.一种大数据采集系统，其特征在于，包括：如权利要求7-12中任一所述的大数据采集装置以及采集客户端、采集服务器。
CN201510869746.0A 2015-12-02 2015-12-02 大数据采集方法、装置以及系统 Active CN106817314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510869746.0A CN106817314B (zh) 2015-12-02 2015-12-02 大数据采集方法、装置以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510869746.0A CN106817314B (zh) 2015-12-02 2015-12-02 大数据采集方法、装置以及系统

Publications (2)

Publication Number Publication Date
CN106817314A true CN106817314A (zh) 2017-06-09
CN106817314B CN106817314B (zh) 2020-03-20

Family

ID=59107977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510869746.0A Active CN106817314B (zh) 2015-12-02 2015-12-02 大数据采集方法、装置以及系统

Country Status (1)

Country Link
CN (1) CN106817314B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107659510A (zh) * 2017-09-05 2018-02-02 日立楼宇技术（广州）有限公司 地埋桶终端上传数据的方法、装置、存储介质和地埋桶终端
CN107846616A (zh) * 2017-10-18 2018-03-27 安徽工程大学 一种用于数字电视终端设备的数据采集装置
CN107948089A (zh) * 2018-01-10 2018-04-20 合肥小龟快跑信息科技有限公司 基于NB‑IoT网络计量设备数据上传的负载均衡方法
CN109257244A (zh) * 2017-07-14 2019-01-22 北京国双科技有限公司 用户行为数据的传输控制方法、装置及系统
CN113660171A (zh) * 2021-08-10 2021-11-16 建信金融科技有限责任公司 终端数据采集的流量控制方法及系统、服务端和客户端
CN114827281A (zh) * 2022-03-10 2022-07-29 北京百度网讯科技有限公司 一种网络请求的发送及接收方法、系统及装置
CN116545927A (zh) * 2023-05-04 2023-08-04 北京睿芯高通量科技有限公司 一种窄带宽网络下物联网设备的流量控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060105774A1 (en) * 2004-11-09 2006-05-18 Nokia Corporation Apparatus and method for arbitrary data rate ramp up after overload on wireless interface
CN101645929A (zh) * 2009-08-25 2010-02-10 中兴通讯股份有限公司 一种动态内容分发业务服务器发起同步的方法及系统
EP2317728A1 (en) * 2009-10-27 2011-05-04 Alcatel Lucent Method, apparatus, and server for spreading file transfer notifications in time
CN102118859A (zh) * 2009-12-31 2011-07-06 华为技术有限公司 接入无线网络和发送寻呼消息的方法、装置和系统
CN102387069A (zh) * 2011-10-08 2012-03-21 华为技术有限公司 客户端与服务端的连接方法及系统、客户端和服务端
CN102685204A (zh) * 2011-03-17 2012-09-19 华为技术有限公司 数据资源传输的方法和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060105774A1 (en) * 2004-11-09 2006-05-18 Nokia Corporation Apparatus and method for arbitrary data rate ramp up after overload on wireless interface
CN101645929A (zh) * 2009-08-25 2010-02-10 中兴通讯股份有限公司 一种动态内容分发业务服务器发起同步的方法及系统
EP2317728A1 (en) * 2009-10-27 2011-05-04 Alcatel Lucent Method, apparatus, and server for spreading file transfer notifications in time
CN102118859A (zh) * 2009-12-31 2011-07-06 华为技术有限公司 接入无线网络和发送寻呼消息的方法、装置和系统
CN102685204A (zh) * 2011-03-17 2012-09-19 华为技术有限公司 数据资源传输的方法和设备
CN102387069A (zh) * 2011-10-08 2012-03-21 华为技术有限公司 客户端与服务端的连接方法及系统、客户端和服务端

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257244A (zh) * 2017-07-14 2019-01-22 北京国双科技有限公司 用户行为数据的传输控制方法、装置及系统
CN107659510A (zh) * 2017-09-05 2018-02-02 日立楼宇技术（广州）有限公司 地埋桶终端上传数据的方法、装置、存储介质和地埋桶终端
CN107659510B (zh) * 2017-09-05 2020-04-28 日立楼宇技术（广州）有限公司 地埋桶终端上传数据的方法、装置、存储介质和地埋桶终端
CN107846616A (zh) * 2017-10-18 2018-03-27 安徽工程大学 一种用于数字电视终端设备的数据采集装置
CN107948089A (zh) * 2018-01-10 2018-04-20 合肥小龟快跑信息科技有限公司 基于NB‑IoT网络计量设备数据上传的负载均衡方法
CN113660171A (zh) * 2021-08-10 2021-11-16 建信金融科技有限责任公司 终端数据采集的流量控制方法及系统、服务端和客户端
CN113660171B (zh) * 2021-08-10 2023-05-26 建信金融科技有限责任公司 终端数据采集的流量控制方法及系统、服务端和客户端
CN114827281A (zh) * 2022-03-10 2022-07-29 北京百度网讯科技有限公司 一种网络请求的发送及接收方法、系统及装置
CN114827281B (zh) * 2022-03-10 2023-09-29 北京百度网讯科技有限公司 一种网络请求的发送及接收方法、系统及装置
CN116545927A (zh) * 2023-05-04 2023-08-04 北京睿芯高通量科技有限公司 一种窄带宽网络下物联网设备的流量控制方法
CN116545927B (zh) * 2023-05-04 2024-02-06 北京中科通量科技有限公司 一种窄带宽网络下物联网设备的流量控制方法

Also Published As

Publication number Publication date
CN106817314B (zh) 2020-03-20

Similar Documents

Publication Publication Date Title
CN106817314A (zh) 大数据采集方法、装置以及系统
CN109343965A (zh) 资源调整方法、装置、云平台和服务器
CN102415059B (zh) 总线控制装置
US10091675B2 (en) System and method for estimating an effective bandwidth
CN110224944B (zh) 一种分布式网络流量控制方法和装置
CN107948083B (zh) 一种基于增强学习的sdn数据中心拥塞控制方法
CN110417650A (zh) 多链路数据分配方法、装置及电子设备
CA2470734A1 (en) System for estimating network traffic characteristics of executable software applications
CN104038540A (zh) 一种应用代理服务器自动选择方法及系统
CN107329811A (zh) 一种数据中心功耗调节方法及装置
CN110955463A (zh) 支持边缘计算的物联网多用户计算卸载方法
CN103841129B (zh) 云计算的资源信息采集服务器和客户端、信息处理方法
CN108293200B (zh) 设备吞吐量确定
CN107395521B (zh) 一种基于物联网的大数据信息处理方法及系统
CN103179171A (zh) 基于分布式系统架构的文件传输方法及装置
CN114466194A (zh) 视频编码的调整方法和装置、存储介质及电子设备
CN115794407A (zh) 计算资源分配方法、装置、电子设备及非易失性存储介质
CN108924203B (zh) 数据副本自适应分布方法、分布式计算系统及相关设备
CN106936730A (zh) 一种报文发送方法、tcp代理以及tcp客户端
CN107835130A (zh) 一种流量分配方法及装置
CN112153702B (zh) 一种局域网带宽资源分配方法、存储装置及设备
CN106789853A (zh) 一种转码器的动态调度方法及装置
Shoukry et al. Proactive scheduling for content pre-fetching in mobile networks
CN102845042B (zh) 一种应用层多个活动物理接口的带宽聚集系统及方法
CN110221998B (zh) 数据采集方法、装置及系统、计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant