CN113132262B - 一种数据流处理及分类方法、装置和系统 - Google Patents

一种数据流处理及分类方法、装置和系统 Download PDF

Info

Publication number
CN113132262B
CN113132262B CN202010041246.9A CN202010041246A CN113132262B CN 113132262 B CN113132262 B CN 113132262B CN 202010041246 A CN202010041246 A CN 202010041246A CN 113132262 B CN113132262 B CN 113132262B
Authority
CN
China
Prior art keywords
data stream
data
hardware
duration
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010041246.9A
Other languages
English (en)
Other versions
CN113132262A (zh
Inventor
邹勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010041246.9A priority Critical patent/CN113132262B/zh
Publication of CN113132262A publication Critical patent/CN113132262A/zh
Application granted granted Critical
Publication of CN113132262B publication Critical patent/CN113132262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2475—Traffic characterised by specific attributes, e.g. priority or QoS for supporting traffic characterised by the type of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种数据流处理及分类方法、装置和系统，该处理方法包括：周期性统计转发数据流中指定数量的一组报文的持续时长，根据每个数据流的所述持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流，将所述第一数据流分配给硬件进行转发处理。本发明通过部分报文的统计代替整个数据流的统计结果，减少了数据统计量，大大降低了系统资源消耗，减少了内存使用量，且能够快速准确的识别出符合条件的数据流，比如热点数据流。

Description

一种数据流处理及分类方法、装置和系统
技术领域
本发明涉及网络系统技术领域，特别地涉及一种数据流处理及分类方法、装置和系统。
背景技术
随着云计算和互联网的飞速发展，大数据处理的应用场景越来越多。目前在金融、移动数据、网络监控及物联网等领域中，经常会需要处理一些海量的、实时的、需要快速响应的数据流。因此，对网络中继设备的处理能力和处理速度提出了更高的要求。
系统软件和硬件均可以实现对来自发送端的所有的数据流量进行转发处理，但是由于硬件资源有限，并不足以支撑大数据量的处理，系统软件支持的数据流条目可以非常巨大，但其处理速度不如硬件，当需要处理的数据流量非常大，可能是千万，甚至是亿万级的数据需要转发处理时，还可能会出现拥堵和排队现象。
为了提高网络性能以及对网络数据流进行有效的管理，可以把一部分数据流分发到处理速度更快的硬件中实现快速处理。但是因为硬件存储资源有限，为了提高效率，只能将转发频率较高的数据流分配(offload)至硬件中，即，热点数据流分配至硬件中。因此，需要在海量的数据流中识别出热点数据流。
而且，由于数据流条目巨大，具体将哪些数据流分流到硬件中进行处理，则需要对所有数据流量进行统计，现有技术中对数据流量的统计更多的是基于单位时间的统计。比如常用的令牌桶等方式，是以单位时间内清除令牌桶个数来计数，从而感知单位时间流量的大小。但是这种方式，需要进行大量的除法计算，且无法直接进行数据流计数，不能分数据流进行统计，且额外地需要定时器支持。若需要分数据流进行统计，则需要针对每个数据流分别进行统计，数据统计量巨大，且需要对统计数据进行横向对比，以便确定热点数据流，这就会占用非常多的计算资源，会严重影响网络系统的性能。
且现有技术中也不能实现根据实际情况动态的调整分配到硬件中的数据流数量，因此，如何在占用较少数据资源的情况下，快速准确的识别出热点数据流并合理的分配到硬件中进行处理，成为亟待解决的技术问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据流处理及分类方法、装置和系统。
作为本发明实施例的一个方面，涉及一种数据流处理方法，包括：
周期性统计转发数据流中指定数量的一组报文的持续时长；
根据每个数据流的所述持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流；
将所述第一数据流分配给硬件进行转发处理。
在一个实施例中，所述周期性统计转发数据流中指定数量的一组报文的持续时长，包括：
针对每个数据流，以包含预设报文数量的报文包组为单位，周期性统计每个报文包组中的报文转发处理的起始时间和结束时间，得到所述报文包组的所述持续时长。
在一个实施例中，所述根据每个数据流的所述持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流，包括：
根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；
根据统计到的各数据流的所述持续时长的分布情况和所述硬件的处理比例，确定时长分界点；
将持续时长小于所述时长分界点的数据流确定为第一数据流。
在一个实施例中，所述根据统计到的各数据流的所述持续时长的分布情况和所述硬件的处理比例，确定时长分界点，将持续时长小于所述时长分界点的数据流确定为第一数据流，包括：
根据每个数据流的所述持续时长、预先建立的时间轴的起终点和预设的时长单位，确定每个数据流在时间轴上的落点位置；所述时间轴的起点小于等于统计得到的所述持续时长的最小值，终点大于等于统计得到的所述持续时长的最大值；
根据时间轴上各时长单位对应的时间轴长度内包含的落点个数和所述硬件的处理比例，确定时间轴上的时长分界点；
将落点位于时间轴起点到时长分界点之间的数据流确定为第一数据流。
在一个实施例中，所述根据每个数据流的所述持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流，包括：
根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；
根据数据流的所述持续时长和所述一组报文包含的报文数量，得到所述数据流的报文转发频率；
根据各数据流的报文转发频率的分布情况和所述硬件的处理比例，确定频率分界点；
将报文转发频率大于所述频率分界点的数据流确定为第一数据流。
在一个实施例中，所述根据各数据流的报文转发频率的分布情况和所述硬件的处理比例，确定频率分界点，将报文转发频率大于所述频率分界点的数据流确定为第一数据流，包括：
根据统计到的每个数据流的所述报文转发频率、预先建立的频率轴的起终点和预设的频率单位，确定每个数据流在频率轴上的落点位置；所述频率轴的起点小于统计得到的所述报文转发频率的最小值，终点大于统计得到的所述报文转发频率的最大值；
根据频率轴上各频率单位对应的频率轴长度内包含的落点个数和所述硬件的处理比例，确定频率轴上的频率分界点；
将落点位于频率分界点到频率轴终点之间的数据流确定为第一数据流。
在一个实施例中，将所述第一数据流分配给硬件进行转发处理，包括：
若属于所述第一数据流中的数据流正在软件中进行转发处理，将其转移到硬件中进行转发处理；
若不属于所述第一数据流中的数据流正在硬件中进行转发处理，将其转移到软件中进行转发处理；
若属于所述第一数据流中的数据流正在硬件中进行转发处理或不属于所述第一数据流中的数据流正在软件中进行转发处理，则保持不变。
在一个实施例中，所述周期性统计转发数据流中指定数量的一组报文的持续时长，包括：
对于在硬件和软件中进行转发处理的数据流均由软件统计数据流中指定数量的一组报文的持续时长，统计时将在硬件中进行转发处理的数据流转移到软件中进行一段时间的转发处理；或
对于在硬件中进行转发处理的数据流由硬件统计数据流中指定数量的一组报文的持续时长，对于在软件中进行转发处理的数据流由软件统计数据流中指定数量的一组报文的持续时长。
作为本发明实施例的一个方面，涉及一种数据流分类方法，包括：
周期性统计转发数据流中指定数量的一组报文的持续时长；
根据每个数据流的所述持续时长、硬件的数据处理能力，确定符合设定条件第一数据流。
在一个实施例中，所述根据每个数据流的所述持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流，包括：
根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；
根据统计到的各数据流的所述持续时长的分布情况和所述硬件的处理比例，确定时长分界点；
将持续时长小于所述时长分界点的数据流确定为第一数据流。
在一个实施例中，所述根据每个数据流的所述持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流，包括：
根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；
根据数据流的所述持续时长和所述一组报文包含的报文数量，得到所述数据流的报文转发频率；
根据各数据流的报文转发频率的分布情况和所述硬件的处理比例，确定频率分界点；
将报文转发频率大于所述频率分界点的数据流确定为第一数据流。
作为本发明实施例的一个方面，涉及一种数据流处理装置，包括：
统计模块，用于周期性统计数据流中转发指定数量的一组报文的持续时长；
确定模块，根据每个数据流的所述持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流；
控制模块，用于将所述第一数据流分配给硬件进行转发处理。
作为本发明实施例的一个方面，涉及一种数据流分类装置，包括：
统计模块，用于周期性统计数据流中转发指定数量的一组报文的持续时长；
确定模块，根据每个数据流的所述持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流。
作为本发明实施例的一个方面，涉及一种数据流处理系统，包括：数据发送设备、数据转发设备和数据接收设备；
数据转发设备，设置上述的数据流量控制装置，用于接收各数据发送设备发送的数据，根据数据的源地址、发送端口、目的地址、接收端口和所使用的数据协议，将接收到的数据分配到不同的数据流中，在所述装置的控制下通过硬件或软件将数据流转发至数据接收设备。
作为本发明实施例的再一个方面，涉及一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述的数据流处理方法和/或数据流分类方法。
作为本发明实施例的再一个方面，涉及一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的数据流处理方法和/或数据流分类方法。
本发明实施例提供的上述技术方案的有益效果至少包括：
通过对数据流中指定数量的一组报文转发所持续时长的统计，作为对数据流的转发处理速度的统计结果，并用于热点数据流和非热点数据流的确定过程中，避免了对速度相关参数进行统计的大量运算，减少了系统处理的计算量，且通过部分报文的统计代替整个数据流的统计结果，减少了数据统计量，因此，大大降低了系统资源消耗，减少了内存使用量，且能够快速准确的识别出热点数据流，并结合硬件和软件的处理能力，确定分配给硬件处理的数据流数量，使数据流处理的分配比例更合理，且能根据实际情况调整分配到硬件中的数据流数量，充分发挥硬件和软件的处理优势，提高系统性能。
本发明对传统数据流PPS(Packages per Second)的统计转化为对数据流中报文持续时长t的落点统计，简化了统计方法，并优化了报文包组在时间轴落点的设计方法，保证了落点计算的有效性，提高了效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例一中数据流分类方法的流程图；
图2为本发明实施例一中分包组进行持续时间统计的示意图；
图3为本发明实施例二中数据流处理方法的流程图；
图4为本发明实施例三中数据流分类方法的流程图；
图5为本发明实施例四中数据流处理方法的流程图；
图6为本发明实施例四中构建时间轴以及数据流报文包组在时间轴的落点位置的示意图；
图7为本发明实施例四中时间轴上的时长分界点的示意图；
图8为本发明实施例五中的数据流分类方法流程图；
图9为本发明实施例六中数据流处理方法的流程图；
图10为本发明实施例中一种数据流处理装置的结构框图；
图11为本发明实施例中另一种数据流处理装置的结构框图；
图12为本发明实施例中一种数据流处理系统的结构框图；
图13为本发明实施例中一种数据流处理方法的系统架构图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了解决现有技术中数据流量统计占用计算资源多，严重影响网络性能且不能根据实际情况动态调整分配到硬件中的数据流数量的问题，本发明提供了一种数据流处理方法和数据流量分类的方法，通过统计数据流中指定数量的一组报文的转发处理的持续时长，来实现热点数据流和非热点数据流的区分，占用系统资源少，且能结合硬件和软件的处理能力来进行合理分配，实现更合理的数据流量转发控制。
下面通过具体的实施例进行详细描述。
实施例一
本发明实施例一提供一种数据流分类方法，其流程如图1所示，包括如下步骤：
S11、周期性统计转发数据流中指定数量的一组报文的持续时长。
数据流是指具有同样五元组的所有报文的集合，其中，五元组是指：协议号、源IP、目的IP、源端口、目的端口。即，一个数据流是指源于相同IP地址和端口，具有相同的目的IP地址和端口，并且使用同样的通讯协议的一组在网络中传输的所有报文的集合。例如，一个APP与远程服务器之间创建的一个通信从连接的开始到结束的整个生命周期中所有报文是一个数据流。
由于一个数据流数据量大，且持续时间长，为了提高效率，预设报文包组，实现对数据流中的一组报文进行统计，可以根据实际需要预设包组中的报文数量。
预设报文包组后，可以分包组对报文的转发情况进行统计。针对每个数据流，以包含预设报文数量的报文包组为单位，周期性统计每个报文包组中的报文转发处理的起始时间和结束时间，得到报文包组的所述持续时长。举例来说，如图2所示，可以根据预设的统计周期针对每个数据流进行相应的统计，例如：数据流1中可以统计得到包组1的持续时长t1、包组2的持续时长t2、包组3的持续时长t3、包组4的持续时长t4、……，以此类推，数据流2、数据流3、……、数据流N均可以进行类似统计。假设一个包组的报文数量为10，则统计的是每完成10个报文的转发所持续的总时间。即一个报文包组的持续时长t是指从该报文包组中第一个报文的转发起始时间开始，持续到最后一个报文转发的结束时间。同一个数据流中各个报文包组的持续时长可以是不一样的，数据流1中4个报文包组所对应的报文持续时长t1、t2、t3、t4，根据实际情况的统计，可以是相同或者各不相同。
S12、根据每个数据流的持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流。
可以根据系统硬件的数据处理能力和软件的数据处理能力的比例，来确定第一数据流，根据比例和每个数据流的持续时长确定将多少数据流确定为第一数据流。同时，还可以确定出不符合设定条件的第二数据流，例如将不属于第一数据流的其他数据流确定为第二数据流。
在实际应用中，可以定义第一数据流是热点数据流，第二数据流为非热点数据流；或定义第一数据流是非热点数据流，第二数据流为热点数据流；也可以进行其他性质的分类定义，具体的可以根据实际应用场景进行划分。在后续举例描述中，以第一数据流为热点数据流，第二数据流为非热点数据流为例进行描述。
举例来说，系统硬件和系统软件的数据处理能力的比例为1:4，同时根据当前统计周期内统计出的所有数据流报文转发的持续时长t的结果，将持续时长较短的占总数据流的20％数据流定义为热点数据流，其余的80％的数据流定义为非热点数据流。
当然，还可以考虑到数据流的总数量和系统硬件和系统软件的数据处理能力之间的关系，来确定热点数据流的数量或比例，比如：系统硬件和系统软性的数据处理能力的比例为1:4，但数据流的数量相对比较少，硬件有足够的处理能力处理超过20％的数据流，此时，也可以考虑将25％、30％或者更多的数据流确定为热点数据流，以便将更多的数据流放到硬件中进行处理。
上述步骤S11中，对于周期性统计转发数据流中指定数量的一组报文的持续时长，可以根据实际需要设定统计周期的长短。
一般情况下，由于硬件资源有限，会选择由软件来进行持续时长的统计，即对于在硬件和软件中进行转发处理的数据流均由软件统计数据流中指定数量的一组报文的持续时长，统计时需将在硬件中进行转发处理的数据流转移到软件中进行一段时间的转发处理，使得软件可以对数据流持续时长进行统计。这种方式可以更好地节约硬件资源，避免硬件资源消耗过多。
可以根据需要在一个统计周期内，依次转移所有在硬件中处理的数据流到软件中处理设定的时间长度，以便进行统计，也可以分批次进行转移统计，比如当前统计周期内转移一部分数据流实现统计，在下一个周期内再转移一部分数据流进行统计，具体分几个批次进行转移处理，根据实际需要设定。
为了避免对数据流进行统计时的转移操作，提高处理的实时性，还可以选择由软件和硬件分别对各自处理的数据流进行统计，也就是说，对于在硬件中进行转发处理的数据流由硬件统计数据流中指定数量的一组报文的持续时长，对于在软件中进行转发处理的数据流由软件统计数据流中指定数量的一组报文的持续时长，最后综合统计硬件和软件中数据流持续时长的结果。这种情况可以避免转移操作的，简化统计操作的处理过程。
本发明实施例一提供的上述方法，通过对数据流中指定数量的一组报文转发所持续时长的统计，作为对数据流的转发处理速度的统计结果，并用于第一数据流和第二数据流的确定过程中，避免了对速度相关参数进行统计的大量运算，减少了系统处理的计算量，且通过部分报文的统计代替整个数据流的统计结果，减少了数据统计量，因此，大大降低了系统资源消耗，减少了内存使用量，且能够快速准确的识别出第一数据流，并结合硬件和软件的处理能力，确定第一数据流以便分配给硬件处理，当用于热点数据流确定时，使热点数据流的确定和分配更合理。
实施例二
本发明实施例二提供一种数据流处理方法，其流程如图3所示，包括如下步骤：
S21、周期性统计转发数据流中指定数量的一组报文的持续时长。
参见上述实施例一中步骤S11的相关描述，此处不再赘述。
S22、根据每个数据流的所述持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流。
参见上述实施例一中步骤S12的相关描述，此处不再赘述。
S23、将第一数据流分配给硬件进行转发处理。
在步骤S22确定出第一数据流和第二数据流后，进行数据流的分配操作，可以根据数据流原本是在软件中处理还是在硬件处理以及数据流被确定为第一数据流和第二数据流来进行调整，最终实现将确定出的第一数据流交由硬件处理，第二数据流交由软件处理。其中，第一数据流可以是热点数据流，第二数据流可以是非热点数据流。
具体的，若属于第一数据流中的数据流正在软件中进行转发处理，将其转移到硬件中进行转发处理；若不属于第一数据流中的数据流正在硬件中进行转发处理，将其转移到软件中进行转发处理；若属于第一数据流中的数据流正在硬件中进行转发处理或不属于第一数据流中的数据流正在软件中进行转发处理，则保持不变。
例如，对于热点数据流和非热点数据流，若确定出的热点数据流正在软件中进行转发处理，将其转移到硬件中进行转发处理；若确定出的非热点数据流正在硬件中进行转发处理，将其转移到软件中进行转发处理；若确定出的热点数据流正在硬件中进行转发处理或确定出的非热点数据流正在软件中进行转发处理，则保持不变。
本发明实施例的上述方法，在能够快速准确的识别出热点数据流基础上，结合硬件和软件的处理能力，确定分配给硬件处理的数据流数量，使数据流处理的分配比例更合理，且能根据实际情况调整分配到硬件中的数据流数量，充分发挥硬件和软件的处理优势，提高系统性能。
实施例三
本发明实施例三提供上述数据流分类方法的一种具体实现方式，基于数据流中指定数量的一组报文的转发的持续时长，来划分第一数据流和第二数据流，例如热点数据流和非热点数据流，其流程如图4所示，该方法包括如下步骤：
S31、周期性统计转发数据流中指定数量的一组报文的持续时长。
具体步骤参见步骤S11的描述，此处不再赘述。
S32、根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例。
在本步骤中，可以根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件能够处理的比例；可选的，也可以硬件的数据处理能力，结合软件的处理能力和待处理的数据流数量，确定硬件和软件的处理比例。例如：硬件的数据处理能力是指根据硬件配置参数得到该硬件系统可以处理数据流的最大值，即为硬件系统可以处理数据流的数据处理能力。根据硬件的数据处理能力和软件的数据处理能力的比例，可以得出软硬系统能处理第一数据流和第二数据流的比例。
举例来说，硬件处理数据流最大能力为1000万条数据流/秒，软件处理数据流最大能力为4000万条数据流/秒，那么硬件与软件的处理数据流的能力比例为1:4。即，在一秒的周期内，可以分配给硬件系统1000万条数据流，可以分配给软件系统4000万条数据流。
此外，还可以需要结合待处理的数据流数量的实际情况处理。举例来说，如果此周期内待处理的数据流总数量小于硬件处理数据流最大能力，那么可以将全部数据流分配至硬件处理。
本步骤的基本原则是为了更合理地利用硬件资源来处理数据流，可以根据实际情况来确定硬件的处理比例，以取得更快的处理速度。
S33、根据统计到的各数据流的持续时长的分布情况和硬件的处理比例，确定时长分界点。
在本步骤中，结合所有数据流在该周期内所统计出的报文持续时长的分布情况和得到的硬件与软件的处理数据流能量比例，确定出第一数据流和第二数据流的时长分界点。举例来说，如果硬件与软件的处理数据流的能力比例为1:4，并将统计出的所有数据流持续时长从小到大排序，确定出能将所有排序后数据流持续时长按1:4比例进行划分的分界点，该分界点为即为第一数据流和第二数据流的时长分界点。
S34、将持续时长小于时长分界点的数据流确定为第一数据流。
将持续时长小于时长分界点的数据流确定为第一数据流，可选的，还可以将持续时长不小于时长分界点的数据流确定为第二数据流。
步骤S32-步骤S34实现了根据每个数据流的所述持续时长、硬件的数据处理能力，确定第一数据流和第二数据流。
本实施例是对数据流中指定数量的一组报文的持续时长进行统计，替代了对整个数据流的统计，并以该组报文的统计结果表示该数据流的统计结果。因此占用内存少，系统性能高，避免了统计规格巨大的数据流而导致的系统性能下降和大量内存占用，而且本发明不会随着系统支持数据流规格的增大而增大对内存的需求，同时也不会导致系统性能的降低。本实施例根据数据流持续时长并结合硬件和软件的处理能力，综合确定热点数据流作为第一数据流以便分配给硬件处理，当用于热点数据流确定时，使热点数据流的确定和分配更合理。
实施例四
本发明实施例四提供上述数据流处理方法的一种具体实现方式，基于数据流中指定数量的一组报文的转发的持续时长，来实现对数据流量进行控制，其流程如图5所示，该方法包括如下步骤：
S41、周期性统计转发数据流中指定数量的一组报文的持续时长。
具体步骤参见步骤S11的描述，此处不再赘述。
S42、根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例。
具体步骤参见步骤S32的描述，此处不再赘述。
S43、根据每个数据流的持续时长、预先建立的时间轴的起终点和预设的时长单位，确定每个数据流在时间轴上的落点位置；时间轴的起点小于等于统计得到的持续时长的最小值，终点大于等于统计得到的持续时长的最大值。
在此步骤中，预先定义一个时间轴，如图6所示，其中，时间轴的起点为t0，时间轴终点为t0+n，时间轴上的中间点t0+1、……、t0+n-1，。其中，t0小于等于统计得到的持续时长的最小值。对于如何确定t0本发明不做限定，举例来说，t0可以是经验值，或者是根据实际值统计出的数据流报文持续时长最小值，也可以是0。同理，t0+n大于等于统计得到的持续时长的最大值。其中，n表示有n个时长单位。时间轴的定义遵循的原则就是能覆盖所有数据流报文包组持续时长值的范围即可。
预设的时长单位是可以根据实际数量流情况，或者经验值来定义，例如可以定义为1毫秒、2毫秒、或者1微秒等。优选的，本步骤可以将时长单位定义为2的幂次方，例如，1、2、4、8等。通过位移运算代替传统的除法的运算，从而避免因除法导致CPU性能的下降，从而极大地提高运算速度。
计算(数据流报文持续时长t-t0)/时长单位，确定数据流报文包组在时间轴的落点位置，每当一个报文包组落在时间轴某一落点上，该落点的计数加1，如图7所示，C1、C2、C3、……、Cx、Cx+1、……、Cn为在该时间轴上每个时长单位中所包含的报文包组落点的个数。根据预设周期，统计该周期内各单位时长中落点个数，可得到该周期内系统中数据流报文包组落点的分布。优选的，本步骤还可以根据实际情况对时间轴进行调整：
1.如果统计出的报文包组落点分布过于集中，则调整时间轴起点t0的值，以及调整时长单位，使得报文包组落点分布趋于均匀；
2.如果统计出的报文包组落点过于分散，覆盖了较大的时间范围使得时间轴过长，可以同时使用多个时间轴，此时需先定位落点所在的时间轴，再定位落点在该时间轴上的位置。
S44、根据时间轴上各时长单位对应的时间轴长度内包含的落点个数和硬件的处理比例，确定时间轴上的时长分界点。
如图7所示，根据统计得出的在该时间轴上每个时长单位中所包含的报文包组落点的个数C，确定第一数据流在时间轴的时长分界点Cx，其中，Cx需要满足条件：(C1+C2+…+Cx)/(C1+C2+…+Cn)＝第一数据流处理能力/总流数＝第一数据流处理能力比。举例来说，硬件系统和软性系统的处理数据流能力的比例为1:4，那么第一数据流和第二数据流处理能力比为20％，则将时间轴划分为1:4的分界点所在位置，即为时长分界点Cx。
S45、将落点位于时间轴起点到时长分界点之间的数据流确定为第一数据流。可选的，将落点位于时长分界点到时间轴终点之间的数据流确定为第二数据流。
根据确定出的时长分界点Cx，将落在时间轴t0～Cx之间的数据流定义为第一数据流，将落在Cx～t0+n之间的数据流定义为第二数据流。
S46、将第一数据流分配给硬件进行转发处理。
同时，将确定出的第二数据流分配给软件进行转发处理。
具体步骤参见步骤S23的描述，此处不再赘述。
步骤S43-步骤S45，实现了根据统计到的各数据流的持续时长的分布情况和硬件与软件的处理比例，确定第一数据流和第二数据流的时长分界点，将持续时长小于时长分界点的数据流确定为第一点数据流，持续时长不小于时长分界点的数据流确定为第二数据流。
本实施例通过对对报文持续时长t在时间轴上落点的统计，作为对数据流的转发处理速度的统计结果，相对使用其它参数而言，减少了除法计算量，从而减少了数据统计处理量。因此，大大降低了系统资源消耗，减少了内存使用量。并且本实施例还利用移位运算计算数据流包组在时间轴的位置，取代了传统的除法运算，简化了统计方法，并且极大地提高了系统计算的性能。
实施例五
本实施例五提供上述数据流分类方法的一种具体实现方式，基于数据流中指定数量的一组报文的报文转发频率，来划分第一数据流和第二数据流，其流程如图8所示，该方法包括如下步骤：
S51、周期性统计转发数据流中指定数量的一组报文的持续时长。
具体步骤参见步骤S11的描述，此处不再赘述。
S52、根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例。
具体步骤参见步骤S32的描述，此处不再赘述。
S53、根据数据流的持续时长和一组报文包含的报文数量，得到数据流的报文转发频率。
计算数据流的报文转发频率：数据流的持续时长t/该报文包含的报文数量＝数据流的报文转发频率PPS。
S54、根据各数据流的报文转发频率的分布情况和硬件的处理比例，确定频率分界点。
在本步骤中，结合所有数据流在该周期内所统计出的报文包组的报文转发频率分布情况和硬件与软件的处理数据流能量比例，确定出第一数据流和第二数据流的报文转发频率分界点。举例来说，如果硬件与软件的处理数据流的能力比例为1:4，并将统计出的所有数据流报文转发频率从小到大排序，确定出能将所有排序后数据流报文转发频率按4:1比例进行划分的分界点，该分界点为即为第一数据流和第二数据流的报文转发频率分界点。
S55、将报文转发频率大于频率分界点的数据流确定为第一数据流。
将报文转发频率大于频率分界点的数据流确定为第一数据流，可选的，将报文转发频率不大于频率分界点的数据流确定为第二数据流。
步骤S52-步骤S55，实现了根据每个数据流的持续时长、硬件的数据处理能力和软件的数据处理能力，确定第一数据流和第二数据流。
在本实施例中，根据实际应用还可以针对不同的数据流设置不同包组大小，使每个数据流的包组报文数可以不等。使得报文包组的定义更加灵活方便。
本实施例中把数据流的统计转化为对数据流中指定数量的一组报文包组的统计，使用该周期内的报文包组的转发速率，表示该周期内数据流的转发速率，从而使得对数据流的统计不再占用巨大的系统资源，提高了系统的处理数据流的速度。本实施例根据数据流转发速率并结合硬件和软件的处理能力，综合确定第一数据流以便分配给硬件处理，当用于热点数据流确定时，使热点数据流的确定和分配更合理。
实施例六
本实施例六提供上述数据流处理方法的一种具体实现方式，基于数据流中指定数量的一组报文的报文转发频率，来实现对数据流量进行控制，其流程如图9所示，包括如下步骤：
S61、周期性统计转发数据流中指定数量的一组报文的持续时长。
具体步骤参见步骤S11的描述，此处不再赘述。
S62、根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例。
具体步骤参见步骤S32的描述，此处不再赘述。
S63、根据数据流的持续时长和一组报文包含的报文数量，得到数据流的报文转发频率。
具体步骤参见步骤S53的描述，此处不再赘述。
S64、根据统计到的每个数据流的报文转发频率、预先建立的频率轴的起终点和预设的频率单位，确定每个数据流在频率轴上的落点位置；频率轴的起点小于统计得到的报文转发频率的最小值，终点大于统计得到的报文转发频率的最大值。
在本步骤中，预先定义一个频率轴，频率轴上的点包括PPS0、PPS0+1、……、PPS0+n，其中，频率轴的起点为PPS0，频率轴终点为PPS0+n。PPS0小于统计得到的报文转发频率的最小值。对于如何确定PPS0，本发明不做限定，举例来说，PPS0可以是经验值，或者是根据实际值统计出的PPS0最小值。同理，PPS0+n大于统计得到的报文转发频率的最大值。频率轴的定义遵循的原则就是能覆盖所有数据流报文包组报文转发频率值的范围即可。
预设的频率单位是可以根据实际数量流情况，或者经验值来定义，例如可以定义为1024PPS、2048PPS等。优选的，可以将频率单位定义为2的幂次方，如210，211等。通过位移运算代替传统的除法的运算，从而避免因除法导致CPU性能的下降，从而极大地提高运算速度。
计算(数据流的报文转发频率PPS-PPS0)/频率单位，确定数据流报文包组在频率轴的落点位置，每当一个报文包组落在频率轴某一落点上，该落点的计数加1，C1、C2、C3、……、Cx、Cx+1、……、Cn为在该频率轴上每个频率单位中所包含的报文包组落点的个数。根据预设周期，统计该周期内各频率单位中落点个数，可得到该周期内系统中数据流报文包组落点的分布。
优选的，本步骤还可以根据实际情况对频率轴进行调整。
1.如果统计出的报文包组落点分布过于集中，则调整频率轴起点PPS0的值，以及调整频率单位，使得报文包组落点分布趋于均匀；
2.如果统计出的报文包组落点过于分散，覆盖了较大的频率范围使得频率轴过长，可以同时使用多个频率轴，此时需先定位落点所在的频率轴，再定位落点在该频率轴上的位置。
S65、根据频率轴上各频率单位对应的频率轴长度内包含的落点个数和硬件的处理比例，确定频率轴上的频率分界点。
根据统计得出的在该频率轴上每个频率单位中所包含的报文包组落点的个数C，确定第一数据流在频率轴的频率分界点Cx，其中，Cx需要满足条件：(C1+C2+…+Cx)/(C1+C2+…+Cn)＝第一数据流处理能力/总流数＝第一数据流处理能力比。举例来说，硬件系统和软性系统的处理数据流能力的比例为1:4，那么第一数据流和第二数据流处理能力比为20％，则将频率轴上划分为4:1的分界点所在的位置，即为频率分界点Cx。
S66、将落点位于频率分界点到频率轴终点之间的数据流确定为第一数据流。可选的，将落点位于频率轴起点到频率分界点之间的数据流确定为第二数据流。
根据确定出的频率分界点Cx，落在频率轴Cx～PPS0+n之间的数据流就定义为第一数据流，落在PPS0～Cx之间的数据流就定义为第二数据流。
S67、将第一数据流分配给硬件进行转发处理。
具体步骤参见步骤S13的描述，此处不再赘述。
步骤S64-步骤S66，实现了根据各数据流的报文转发频率的分布情况和硬件与软件的处理比例，确定第一数据流和第二数据流的频率分界点，将报文转发频率大于频率分界点的数据流确定为第一数据流，报文转发频率不大于频率分界点的数据流确定为第二数据流。
本实施例通过对对报文转发频率PPS在频率轴上落点的统计，作为对数据流的转发处理速度的统计结果，减少了数据统计量。因此，大大降低了系统资源消耗，减少了内存使用量。并且本实施例还利用移位运算数据流计算包组在频率轴的落点位置，从而取代了传统的除法运算，简化了统计方法，并且极大地提高了系统计算的性能。
由于数据流可以通过多个维度来表示数据流的转发速度，常用的有PPS(Packagesper Second)、BPS(Bytes per Second)或者数据流报文转发的持续时长t等多维度表示。上述实施例通过举例说明如何利用数据流报文转发的持续时长t，以及PPS来判断第一数据流。显而易见地，本发明还可以应用到其他各种表征数据流的参数的统计中，如BPS等，以判断第一数据流和第二数据流，本发明不做具体的限定。
基于同一发明构思，本发明实施例还提供了一种数据流处理装置，可以设置在如图10所示的网络中继设备或网络转发设备中，该装置的结构如图10，包括统计模块71、确定模块72、以及控制模块73。
统计模块71，用于周期性统计数据流中转发指定数量的一组报文的持续时长。
确定模块72，用于根据每个数据流的持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流。
控制模块73，用于将所述第一数据流分配给硬件进行转发处理。
在一个可选的实施例中，统计模块71，用于周期性统计转发数据流中指定数量的一组报文的持续时长，包括：针对每个数据流，以包含预设报文数量的报文包组为单位，周期性统计每个报文包组中的报文转发处理的起始时间和结束时间，得到报文包组的所述持续时长。
在一个可选的实施例中，统计模块71，用于周期性统计转发数据流中指定数量的一组报文的持续时长，包括：
对于在硬件和软件中进行转发处理的数据流均由软件统计数据流中指定数量的一组报文的持续时长，统计时将在硬件中进行转发处理的数据流转移到软件中进行一段时间的转发处理；或
对于在硬件中进行转发处理的数据流由硬件统计数据流中指定数量的一组报文的持续时长，对于在软件中进行转发处理的数据流由软件统计数据流中指定数量的一组报文的持续时长。
在一个可选的实施例中，确定模块72，用于根据每个数据流的持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流，包括：
根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；
根据统计到的各数据流的所述持续时长的分布情况和硬件的处理比例，确定时长分界点；
将持续时长小于所述时长分界点的数据流确定为第一数据流。
其中，确定模块72，具体用于根据每个数据流的持续时长、预先建立的时间轴的起终点和预设的时长单位，确定每个数据流在时间轴上的落点位置；时间轴的起点小于等于统计得到的持续时长的最小值，终点大于等于统计得到的持续时长的最大值；根据时间轴上各时长单位对应的时间轴长度内包含的落点个数和硬件的处理比例，确定时间轴上的时长分界点；将落点位于时间轴起点到时长分界点之间的数据流确定为第一数据流，将落点位于时长分界点到时间轴终点之间的数据流确定为第二数据流。
在一个可选的实施例中，确定模块72，用于根据每个数据流的持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流，包括：
根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；根据数据流的持续时长和一组报文包含的报文数量，得到数据流的报文转发频率；
根据各数据流的报文转发频率的分布情况和硬件处理比例，确定频率分界点；
将报文转发频率大于频率分界点的数据流确定为第一数据流。
其中，确定模块72，具体用于根据统计到的每个数据流的报文转发频率、预先建立的频率轴的起终点和预设的频率单位，确定每个数据流在频率轴上的落点位置；频率轴的起点小于统计得到的所述报文转发频率的最小值，终点大于统计得到的所述报文转发频率的最大值；根据频率轴上各频率单位对应的频率轴长度内包含的落点个数和硬件的处理比例，确定频率轴上的频率分界点；将落点位于频率分界点到频率轴终点之间的数据流确定为第一数据流，将落点位于频率轴起点到频率分界点之间的数据流确定为第二数据流。
在一个可选的实施例中，控制模块73，用于将所述第一数据流分配给硬件进行转发处理，包括：
若属于所述第一数据流中的数据流正在软件中进行转发处理，将其转移到硬件中进行转发处理；
若不属于所述第一数据流中的数据流正在硬件中进行转发处理，将其转移到软件中进行转发处理；
若属于所述第一数据流中的数据流正在硬件中进行转发处理或不属于所述第一数据流中的数据流正在软件中进行转发处理，则保持不变。
本发明实施例还提供了另一种数据流分类装置，可以设置在数据流量控制设备中，该装置的结构如图11，包括统计模块81和确定模块82。
统计模块81，用于用于周期性统计数据流中转发指定数量的一组报文的持续时长。具体功能实现参考图10中相关功能模块。
确定模块82，用于根据每个数据流的持续时长、硬件的数据处理能力，确定符合设定条件的第一数据流。具体功能实现参考图10中相关功能模块。
基于同一发明构思，本发明实施例还提供了一种数据流处理系统，其结构图如12，包括：数据发送设备91、数据转发设备92和数据接收设备93。
数据发送设备91和数据接收设备93，可以是移动终端、个人计算机或者处理不同业务的服务器，用于发送或者接收数据。
数据转发设备92，设置上述数据流量控制装置，用于接收各数据发送设备发送的数据，根据数据的源地址、发送端口、目的地址、接收端口和所使用的数据协议，将接收到的数据分配到不同的数据流中，在数据流量控制装置的控制下通过硬件或软件将数据流转发至数据接收设备。
实现本发明实施例提供的上述数据流处理方法的一种系统架构，可以如图13所示，通过负载均衡和传输节点102处理网络101和网络服务器103之间传输的数据流。其中，负载均衡和传输节点102作为数据转发设备实现数据流的中转处理，可以处理网络101的用户设备作为数据发送设备发送到作为数据接收设备的网络服务器103的数据，比如网络服务器1、网络服务器2、……、网络服务器N等；或者处理网络服务器103作为数据发送设备发送到作为数据接收设备的网络101的用户设备的数据。
在该系统中，来自网络101的用户设备的海量网络数据流，会发送到负载均衡和传输节点102进行转发处理，对海量数据流进行分析，确定其中的第一数据流和第二数据流，将确定出的第一数据流分配给硬件，由硬件将需要发送的数据流1、数据流2、……、数据流N，转发至相应的网络服务器1、网络服务器2、……、网络服务器N进行处理；将确定出的第二数据流分配给软件，由软件将需要发送数据流1、数据流2、……、数据流N，转发至相应的网络服务器1、网络服务器2、……、网络服务器N进行处理。网络服务器103处理完毕的数据，会返回负载均衡和传输节点102，由负载均衡和传输节点102进行上述类似的分配和转发处理，将数据返回给网络101中不同的用户设备，用户通过用户设备接收到各自的数据。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述的数据流处理方法和/或数据流分类方法。
本发明实施例还提供一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的数据流处理方法和/或数据流分类方法。
由于上述数据流处理装置、系统、计算机可读存储介质和计算机设备等所解决问题的原理与前述方法相似，因此其具体实现过程可以参见前述方法的实施，重复之处不再赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、设备、或存储介质和计算机设备。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种数据流处理方法，包括：
周期性统计转发数据流中指定数量的一组报文的持续时长；
根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；根据统计到的各数据流的所述持续时长的分布情况和所述硬件的处理比例，确定时长分界点；将持续时长小于所述时长分界点的数据流确定为第一数据流；
或者，
根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；根据数据流的所述持续时长和所述一组报文包含的报文数量，得到所述数据流的报文转发频率；根据各数据流的报文转发频率的分布情况和所述硬件的处理比例，确定频率分界点；将报文转发频率大于所述频率分界点的数据流确定为第一数据流；
将所述第一数据流分配给硬件进行转发处理。
2.如权利要求1所述的方法，所述周期性统计转发数据流中指定数量的一组报文的持续时长，包括：
针对每个数据流，以包含预设报文数量的报文包组为单位，周期性统计每个报文包组中的报文转发处理的起始时间和结束时间，得到所述报文包组的所述持续时长。
3.如权利要求1所述的方法，所述根据统计到的各数据流的所述持续时长的分布情况和所述硬件的处理比例，确定时长分界点，将持续时长小于所述时长分界点的数据流确定为第一数据流，包括：
根据每个数据流的所述持续时长、预先建立的时间轴的起终点和预设的时长单位，确定每个数据流在时间轴上的落点位置；所述时间轴的起点小于等于统计得到的所述持续时长的最小值，终点大于等于统计得到的所述持续时长的最大值；
根据时间轴上各时长单位对应的时间轴长度内包含的落点个数和所述硬件的处理比例，确定时间轴上的时长分界点；
将落点位于时间轴起点到时长分界点之间的数据流确定为第一数据流。
4.如权利要求1所述的方法，所述根据各数据流的报文转发频率的分布情况和所述硬件的处理比例，确定频率分界点，将报文转发频率大于所述频率分界点的数据流确定为第一数据流，包括：
根据统计到的每个数据流的所述报文转发频率、预先建立的频率轴的起终点和预设的频率单位，确定每个数据流在频率轴上的落点位置；所述频率轴的起点小于统计得到的所述报文转发频率的最小值，终点大于统计得到的所述报文转发频率的最大值；
根据频率轴上各频率单位对应的频率轴长度内包含的落点个数和所述硬件的处理比例，确定频率轴上的频率分界点；
将落点位于频率分界点到频率轴终点之间的数据流确定为第一数据流。
5.如权利要求1所述的方法，将所述第一数据流分配给硬件进行转发处理，包括：
若属于所述第一数据流中的数据流正在软件中进行转发处理，将其转移到硬件中进行转发处理；
若不属于所述第一数据流中的数据流正在硬件中进行转发处理，将其转移到软件中进行转发处理；
若属于所述第一数据流中的数据流正在硬件中进行转发处理或不属于所述第一数据流中的数据流正在软件中进行转发处理，则保持不变。
6.如权利要求1-5任一所述的方法，所述周期性统计转发数据流中指定数量的一组报文的持续时长，包括：
对于在硬件和软件中进行转发处理的数据流均由软件统计数据流中指定数量的一组报文的持续时长，统计时将在硬件中进行转发处理的数据流转移到软件中进行一段时间的转发处理；或
对于在硬件中进行转发处理的数据流由硬件统计数据流中指定数量的一组报文的持续时长，对于在软件中进行转发处理的数据流由软件统计数据流中指定数量的一组报文的持续时长。
7.一种数据流分类方法，其特征在于，包括：
周期性统计转发数据流中指定数量的一组报文的持续时长；
根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；根据统计到的各数据流的所述持续时长的分布情况和所述硬件的处理比例，确定时长分界点；将持续时长小于所述时长分界点的数据流确定为第一数据流；
或者，
根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；根据数据流的所述持续时长和所述一组报文包含的报文数量，得到所述数据流的报文转发频率；根据各数据流的报文转发频率的分布情况和所述硬件的处理比例，确定频率分界点；将报文转发频率大于所述频率分界点的数据流确定为第一数据流。
8.一种数据流处理装置，包括：
统计模块，用于周期性统计数据流中转发指定数量的一组报文的持续时长；
确定模块，用于根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；根据统计到的各数据流的所述持续时长的分布情况和所述硬件的处理比例，确定时长分界点；将持续时长小于所述时长分界点的数据流确定为第一数据流；或者，用于根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；根据数据流的所述持续时长和所述一组报文包含的报文数量，得到所述数据流的报文转发频率；根据各数据流的报文转发频率的分布情况和所述硬件的处理比例，确定频率分界点；将报文转发频率大于所述频率分界点的数据流确定为第一数据流；
控制模块，用于将所述第一数据流分配给硬件进行转发处理。
9.一种数据流分类装置，包括：
统计模块，用于周期性统计数据流中转发指定数量的一组报文的持续时长；
确定模块，用于根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；根据统计到的各数据流的所述持续时长的分布情况和所述硬件的处理比例，确定时长分界点；将持续时长小于所述时长分界点的数据流确定为第一数据流；或者，用于根据硬件的数据处理能力，结合待处理的数据流数量，确定硬件的处理比例；根据数据流的所述持续时长和所述一组报文包含的报文数量，得到所述数据流的报文转发频率；根据各数据流的报文转发频率的分布情况和所述硬件的处理比例，确定频率分界点；将报文转发频率大于所述频率分界点的数据流确定为第一数据流。
10.一种数据流处理系统，包括：数据发送设备、数据转发设备和数据接收设备；
数据转发设备，设置如权利要求8所述的数据流处理装置，用于接收各数据发送设备发送的数据，根据数据的源地址、发送端口、目的地址、接收端口和所使用的数据协议，将接收到的数据分配到不同的数据流中，在所述装置的控制下通过硬件或软件将数据流转发至数据接收设备。
11.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-6任一项所述的数据流处理方法和/或如权利要求7所述的数据流分类方法。
12.一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的数据流处理方法和/或如权利要求7所述的数据流分类方法。
CN202010041246.9A 2020-01-15 2020-01-15 一种数据流处理及分类方法、装置和系统 Active CN113132262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010041246.9A CN113132262B (zh) 2020-01-15 2020-01-15 一种数据流处理及分类方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010041246.9A CN113132262B (zh) 2020-01-15 2020-01-15 一种数据流处理及分类方法、装置和系统

Publications (2)

Publication Number Publication Date
CN113132262A CN113132262A (zh) 2021-07-16
CN113132262B true CN113132262B (zh) 2024-05-03

Family

ID=76771385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010041246.9A Active CN113132262B (zh) 2020-01-15 2020-01-15 一种数据流处理及分类方法、装置和系统

Country Status (1)

Country Link
CN (1) CN113132262B (zh)

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1318242A (zh) * 1999-07-15 2001-10-17 精工爱普生株式会社 数据传输控制装置和电子设备
CN1708959A (zh) * 2002-10-30 2005-12-14 帕克特弗兰特瑞典股份公司 软件和硬件包流转发的方法、路由器或交换机
CN101119313A (zh) * 2007-09-14 2008-02-06 杭州华三通信技术有限公司 一种负载分担方法和设备
CN101488835A (zh) * 2009-02-13 2009-07-22 华为技术有限公司 一种链路检测方法、装置和通信系统
CN101557342A (zh) * 2009-05-18 2009-10-14 杭州华三通信技术有限公司 组播报文的转发方法和路由设备
CN101645834A (zh) * 2009-08-28 2010-02-10 北京星网锐捷网络技术有限公司 一种以太网流控方法、装置和网络设备
CN102143071A (zh) * 2011-03-09 2011-08-03 中兴通讯股份有限公司 一种网络流量确定方法、装置及网络设备
CN102255804A (zh) * 2011-07-06 2011-11-23 北京星网锐捷网络技术有限公司 报文处理方法、装置及网络设备
CN103475586A (zh) * 2013-08-22 2013-12-25 东软集团股份有限公司 网络数据报文的转发方法、装置及系统
CN104660507A (zh) * 2013-11-22 2015-05-27 华为技术有限公司 数据流转发路由的控制方法及装置
CN104754750A (zh) * 2013-12-31 2015-07-01 华为终端有限公司 资源分配方法和装置
CN105227692A (zh) * 2015-09-17 2016-01-06 青岛海信电器股份有限公司 一种nat穿越方法及网关设备
CN105704052A (zh) * 2014-11-27 2016-06-22 华为技术有限公司 一种量化的拥塞通告消息生成方法及装置
CN107133104A (zh) * 2017-05-15 2017-09-05 广东工业大学 一种分布式流数据处理方法
CN107196776A (zh) * 2016-03-14 2017-09-22 中兴通讯股份有限公司 一种报文转发的方法和装置
CN107743099A (zh) * 2017-08-31 2018-02-27 华为技术有限公司 数据流处理方法、装置以及存储介质
CN108092888A (zh) * 2017-10-31 2018-05-29 华为技术有限公司 一种基于Overlay网络的传输方法、网关及传输系统
CN108243348A (zh) * 2016-12-23 2018-07-03 航天星图科技（北京）有限公司 一种流处理请求分配服务器
CN108259426A (zh) * 2016-12-29 2018-07-06 华为技术有限公司 一种DDoS攻击检测方法及设备
CN109039936A (zh) * 2018-08-30 2018-12-18 华为技术有限公司 传输速率控制方法、装置、发送设备和接收设备
CN109408867A (zh) * 2018-09-12 2019-03-01 西安交通大学 一种基于mic协处理器的显式r-k时间推进加速方法
CN109428786A (zh) * 2017-09-04 2019-03-05 中国电信股份有限公司 网络性能监控方法和装置
CN109873768A (zh) * 2017-12-01 2019-06-11 华为技术有限公司 更新转发表的方法、硬件加速器、ovs和服务器
CN109981409A (zh) * 2019-03-26 2019-07-05 新华三技术有限公司 报文转发方法、装置及转发设备
CN110266726A (zh) * 2019-07-08 2019-09-20 新华三信息安全技术有限公司 一种识别ddos攻击数据流的方法及装置
CN110287229A (zh) * 2019-05-30 2019-09-27 阿里巴巴集团控股有限公司 一种数据统计处理方法及装置
CN110290072A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 流量控制方法、装置、网络设备及存储介质
CN110398918A (zh) * 2019-07-12 2019-11-01 中国电信集团工会上海市委员会 一种家庭网关的组播流控制系统

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1318242A (zh) * 1999-07-15 2001-10-17 精工爱普生株式会社 数据传输控制装置和电子设备
CN1708959A (zh) * 2002-10-30 2005-12-14 帕克特弗兰特瑞典股份公司 软件和硬件包流转发的方法、路由器或交换机
CN101119313A (zh) * 2007-09-14 2008-02-06 杭州华三通信技术有限公司 一种负载分担方法和设备
CN101488835A (zh) * 2009-02-13 2009-07-22 华为技术有限公司 一种链路检测方法、装置和通信系统
CN101557342A (zh) * 2009-05-18 2009-10-14 杭州华三通信技术有限公司 组播报文的转发方法和路由设备
CN101645834A (zh) * 2009-08-28 2010-02-10 北京星网锐捷网络技术有限公司 一种以太网流控方法、装置和网络设备
CN102143071A (zh) * 2011-03-09 2011-08-03 中兴通讯股份有限公司 一种网络流量确定方法、装置及网络设备
CN102255804A (zh) * 2011-07-06 2011-11-23 北京星网锐捷网络技术有限公司 报文处理方法、装置及网络设备
CN103475586A (zh) * 2013-08-22 2013-12-25 东软集团股份有限公司 网络数据报文的转发方法、装置及系统
CN104660507A (zh) * 2013-11-22 2015-05-27 华为技术有限公司 数据流转发路由的控制方法及装置
CN104754750A (zh) * 2013-12-31 2015-07-01 华为终端有限公司 资源分配方法和装置
CN105704052A (zh) * 2014-11-27 2016-06-22 华为技术有限公司 一种量化的拥塞通告消息生成方法及装置
CN105227692A (zh) * 2015-09-17 2016-01-06 青岛海信电器股份有限公司 一种nat穿越方法及网关设备
CN107196776A (zh) * 2016-03-14 2017-09-22 中兴通讯股份有限公司 一种报文转发的方法和装置
CN108243348A (zh) * 2016-12-23 2018-07-03 航天星图科技（北京）有限公司 一种流处理请求分配服务器
CN108259426A (zh) * 2016-12-29 2018-07-06 华为技术有限公司 一种DDoS攻击检测方法及设备
CN107133104A (zh) * 2017-05-15 2017-09-05 广东工业大学 一种分布式流数据处理方法
CN107743099A (zh) * 2017-08-31 2018-02-27 华为技术有限公司 数据流处理方法、装置以及存储介质
CN109428786A (zh) * 2017-09-04 2019-03-05 中国电信股份有限公司 网络性能监控方法和装置
CN108092888A (zh) * 2017-10-31 2018-05-29 华为技术有限公司 一种基于Overlay网络的传输方法、网关及传输系统
CN109873768A (zh) * 2017-12-01 2019-06-11 华为技术有限公司 更新转发表的方法、硬件加速器、ovs和服务器
CN110290072A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 流量控制方法、装置、网络设备及存储介质
CN109039936A (zh) * 2018-08-30 2018-12-18 华为技术有限公司 传输速率控制方法、装置、发送设备和接收设备
CN109408867A (zh) * 2018-09-12 2019-03-01 西安交通大学 一种基于mic协处理器的显式r-k时间推进加速方法
CN109981409A (zh) * 2019-03-26 2019-07-05 新华三技术有限公司 报文转发方法、装置及转发设备
CN110287229A (zh) * 2019-05-30 2019-09-27 阿里巴巴集团控股有限公司 一种数据统计处理方法及装置
CN110266726A (zh) * 2019-07-08 2019-09-20 新华三信息安全技术有限公司 一种识别ddos攻击数据流的方法及装置
CN110398918A (zh) * 2019-07-12 2019-11-01 中国电信集团工会上海市委员会 一种家庭网关的组播流控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于FPGA的TOE网卡设计与实现;赵喜全;刘兴奎;邵宗有;刘朝辉;窦晓光;赵晓芳;;计算机工程(第03期);全文 *

Also Published As

Publication number Publication date
CN113132262A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN110932989B (zh) 一种基于sdn数据中心网络的大象流路径监控调度方法
Oueslati et al. Flow-aware traffic control for a content-centric network
CN109547517B (zh) 一种带宽资源调度方法和装置
CN110830391A (zh) 资源分配方法及装置、集群系统
CN110401657B (zh) 一种访问日志的处理方法及装置
CN101326844B (zh) 在无线通信系统中分配带宽的方法和设备
MX2015006471A (es) Metodo y aparato para controlar la utilizacion en una aplicacion de software horizontalmente escalado.
CN104378308A (zh) 报文发送速率检测方法及装置
CN113038609B (zh) 一种基于通信需求的带宽资源分配方法、装置及设备
CN113225253B (zh) 一种报文转发方法及装置
CN108293200B (zh) 设备吞吐量确定
CN113055301A (zh) 拥塞控制方法及相关设备
CN110198267A (zh) 一种流量调度方法、系统及服务器
CN109995608B (zh) 网络速率计算方法和装置
CN111629074B (zh) 一种网关设备的会话排序方法及装置
CN113132262B (zh) 一种数据流处理及分类方法、装置和系统
CN112714081B (zh) 一种数据处理方法及其装置
CN115514708B (zh) 拥塞控制方法及装置
CN112711587B (zh) 数据处理方法、装置、电子设备及存储介质
Khamse-Ashari et al. Max-min fair scheduling of variable-length packet-flows to multiple servers by deficit round-robin
CN117014924A (zh) 一种业务容量负荷参数的上报方法及装置
CN112367708B (zh) 一种网络资源分配方法及装置
Nakai et al. Improving the QoS of web services via client-based load distribution
CN114024913A (zh) 一种网络性能优化方法、装置、设备以及存储介质
KR101773528B1 (ko) 가상머신 패킷을 처리하는 네트워크 인터페이스 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40057416

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant