CN103957470A - 面向视频的流量控制和优化方法及系统 - Google Patents

Abstract

本发明公开了一种面向视频的流量控制和优化系统，包括主卡、I/O卡，主卡由多核处理器和其它模块组成，I/O卡是可扩展的模块，每个I/O卡可提供4个1兆的端口或者2个万兆端口，每个I/O卡的端口可选择光纤或电缆，其他模块包括：DPI加速模块，用于搜寻报文内容部分以匹配特定字符串或模式到数据流或流媒体；报文处理加速模块，用于协助处理器完成报文的同步、排序和调度等，加速处理器处理报文的速度；缓存加速模块，用于减缓处理器在处理报文缓存单元、排队管理等方面的负担；加/解密模块，用于加快加密、解密功能而设置。

Description

面向视频的流量控制和优化方法及系统

技术领域

本发明属于通信技术及计算机领域，具体涉及一种面向视频的流量控制和优化方法及系统。

背景技术

 互联网在经历了上世纪最后十年的数据大爆炸之后，最近一些年来又在经受另一次流量爆发式增长。不过这次数据的内容是在线视频，仅就传输特性要求而言，它与传统的计算机数据有所不同。在移动互联网中，视频媒体给移动运营商的冲击和挑战更大。这是因为在无线网中，频谱资源有限而制约带宽上限。且无线网组网、扩容成本高。外部条件（如干扰、天气）的变化造成可用带宽的波动，特别是用户的移动性会导致可用带宽的不确定性。

另一个令世人瞩目的事实是4G时代正在到来，4G拥有更大流量、更高带宽的网络承载能力，使得网络视频正大规模转向移动设备，预示着基于OTT模式的移动视频数据业务有望呈现爆发式增长态势。在视频流量日益增多的当下，电信运营商面临诸多挑战：

1)    拥塞网络：在线视频流带宽需求量大且时变，又持续时间长，极易导致网络拥塞。既影响视频受众，同时带给其他用户糟糕的用网体验：网络响应慢、速度低。因此会影响用户黏性。 

2)    增加运营成本：流量大幅增加意味着网建及运营成本上升。带宽需求不断攀升导致运营商必须频繁升级换代其 IP网络基础设施。另外，尽管互联网带宽价格持续下行，但在某些场合仍然堪称昂贵。 

3)    加大最后一公里压力：访问网络易成为瓶颈，特别是无线网/移动网，由于易受外部环境影响以及信号干扰、衰减和其他用户负载分布的影响，造成实际可用带宽波动。 

4)    扩展带宽并不总能解决问题：网络拥塞的发生在时间和地点上是随机的。特别是在无线/移动互联网中的峰值负载期间，链路可用带宽和用户带宽需求的波动往往造成后者超出前者，即网络带宽供不应求。加上一些应用（包括 P2P和流媒体）对带宽极其贪婪，有多少闲置带宽都会被它们吞食掉。 

运营商为打破增流不增收的局面，必须实现对业务流量的精细化控制，即实现在用户或应用级别对业务流量的甄别和资源控制，真正实现流量经营。但运营商在当前网络环境下实现流量精细化控制与经营面临来自于现行网络基础设施某些机制（如QoS和TCP窗口机制）存在的缺陷或弱点的挑战：

1)      QoS是一种优先级安排，它视实时业务（如视频）为VIP，导致少数重用户占用大量网络资源，以至影响大部分轻用户上网体验。此外，它的丢包和延迟决定仅依据本地状况而做出；

2)      TCP 发送窗口呈现“紧缩 – 扩张”的固有周期，会因“锯齿”效应，导致TCP 管道效率下降，网络带宽不能得到充分利用；TCP的荣誉制度安排给某些应用可乘之机，得以不合理地过多贪占网络资源。

视频媒体充斥网络，已经在多方面成为影响互联网的重要因素。如果我们能够充分利用它的特点并有效驾驭它，便可将挑战转化为给运营商的机遇。

本发明将具备超强的视频带宽需求调节能力能够使网络总流量或流经瓶颈点/区域的流量维持在一个适当的水平上，使网络处于优质服务态，从而确保了网络的服务质量和公平性，同时使网络高效运行，网络资源得到充分发挥。换个角度看，它是通过抑制过多的（视频）流量进入网络避免把网络带如饱和态，在保证网络高质高效运行的同时，也节约了带宽，减少了运营成本。另一方面，即使在峰值期网络流量暂时超出设计容量也不至于影响服务质量，从而延长设备更新周期。

发明内容

针对现有技术中存在的上述技术问题，现代互联网环境为我们更有效实施流量管控和网络性能优化提供了新的可能的途径。本发明提供了一种面向视频的流量控制和优化系统，包括主卡、I/O卡，主卡由多核处理器和其它模块组成，I/O卡是可扩展的模块，每个I/O卡可提供4个1兆的端口或者2个万兆端口，每个I/O卡的端口可选择光纤或电缆，其他模块包括：DPI加速模块，用于搜寻报文内容部分以匹配特定字符串或模式到数据流或流媒体；报文处理加速模块，用于协助处理器完成报文的同步、排序和调度等，加速处理器处理报文的速度；缓存加速模块，用于减缓处理器在处理报文缓存单元、排队管理等方面的负担；加/解密模块，用于加快加密、解密功能而设置。

进一步的，报文接收器收到报文后会做网络状态监测，并根据检测结果更新流均衡数据库，然后转发报文到流分类器；

流分类器除了按设定的分类规则对报文进行分类外，还要调用流媒体识别器甄别该报文是否属于某视频流；

如果不属于监控视频流，直接存入队列管理器；

否则，作出相应标记后，再其交由队列管理器。

进一步的，还包括流均衡器，流均衡器对存储于队列管理器中的那些属于流媒体的报文做流均衡处理，即在带宽分配器、流媒体带宽检测器、流均衡策略数据库、视频质量检测器以及流均衡执行机构的配合下，执行流均衡算法，执行结果直接影响报文发送器对相应流媒体的发送行为。

本发明还提供了一种面向视频的流量控制和优化方法，包括如下步骤：

在线接受报文后将调用报文分类功能，将其归类为相应的数据流，然后交给队列管理器，存入相应的队列保存；

从队列管理器读出报文，通过查询报文头信息和部分报文内容，识别是否属于监管的流媒体，并调用流均衡器做带宽均衡管理；

流均衡器查询流均衡策略数据库以获得特定视频流被分配的可用带宽和目标带宽等流均衡算法所需要的参数，执行流控算法后，将报文提交给发送器。

流控执行机构根据流均衡算法的结果具体实现流控策略。

进一步的，所述流均衡器还包括带宽分配器、流均衡策略数据库、流速检测模块、视频质量检测模块。

进一步的，所述带宽分配器根据系统可用带宽和各视频流需求带宽，以及流均衡策略等指标为不同媒体流合理、动态分配带宽。

进一步的，所述流均衡策略数据库保存各种实现流均衡算法及不同均衡策略所需的指标、参数等。

进一步的，所述流速监测模块：动态监控各媒体流的实际带宽消耗等。

进一步的，所述视频质量检测模块：实时检测、评估视频质量，以便对流控算法及其指标作出及时调整，从而保证用户感知的服务质量不受影响。

进一步的，所述队列管理器管理所有的数据流和视频流队列，实现零复制及高效利用存储资源。

本发明是新一代的移动网络流量控制与优化技术，将充分利用视频媒体的特性：

1)    视频业务持续时间长、消耗带宽多，并贪图尽可能多的网络资源；

2)    视频流量占比之高，足以改变流量管理、流量优化和拥塞控制的传统思路，而可另辟有效新途径；

3)    视频可以在不同码率下压缩，在不同速率下传输，而不影响受众的感觉质量。

通过该技术其强有力的视频流量调节能力，可以将网络状态有效控制在优质服务状态（或非饱和态），给运营商及其客户带来诸多好处：

1)    提高网络承受大流量、高峰值的能力，保障众多轻用户的良好上网体验，不影响少数重用户的感觉质量；

2)    避免超负荷带宽成为坏带宽，把网络拖入饱和区，同时节约了运营成本，延长网络基础设施更新换代的周期，降低建网、扩容成本；

3)    更高效和智能化的网络将带给运营商实施流量经营的广阔空间和灵活性。

带宽倍增器将是流量控制和优化技术方案的一个重要组成部分。它可以安装在运营商的数据中心使用，它具有高性价比，良好的伸展性 - 支持1Mb/s 至10 Gb/s的链路，即插即用，以数月计的极短ROI(投资回报率)。

附图说明

图1是本发明的面向视频的流量控制和优化系统的基本构成图；

图2是主板功能模块图；

图3是该面向视频的流量控制和优化系统功能框图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，本发明的面向视频的流量控制和优化系统的基本构成，其中主卡由多核处理器和其它部件组成，I/O卡是可扩展的模块，每个I/O卡可提供4个1兆的端口或者2个万兆端口，每个I/O卡的端口可选择光纤或电缆。此外，I/O端口具有旁路功能以提高可靠性。

其中：I2C：Inter－Integrated Circuit，一种串行总线；

I/O： input/output，输入输出端口；

RS232：一种串行物理接口标准；

Boot Bus：启动总线；

PCI-e：一种最新的显卡插口；

DDR Ⅲ：Double Data Rate，双倍速率同步动态的意思；

USB：Universal Serial Bus，通用串行总线；

QLM: QUAD LINE MODULE，四线模块

XAUI：10G Ethernet Attachment Unit Interface，一个10G（万兆接口）的接口扩展器；

RXAUI：Reduced XAUI，类10G（万兆接口）的接口扩展器；

图2 描绘了主板所包含的主要功能模块。除了多核处理器及内存控制器外，其它为加速模块。各个加速功能是为了保障在线处理速度而特设的专门支持硬件，再配以相应的驱动程序和库函数，应用程序可通过API(Application Programming Interface,应用程序编程接口)调用相应的加速器功能。

DPI（Deep Packet Inspection即深度数据包检测）加速模块用于搜寻报文内容部分以匹配特定字符串或模式到数据流或流媒体。报文处理加速模块旨在协助处理器完成报文的同步、排序和调度等，加速处理器处理报文的速度。设置缓存加速硬件的目的在于减缓处理器在处理报文缓存单元、排队管理等方面的负担。加/解密模块则是为加快加密、解密功能而设置，如在处理IPSec（Internet Protocol Security即Intenet安全协议）链路时，便会用到该功能模块。

系统集软硬件为一体，工作于在线模式，实时处理途径的网络流量，包括实时检测网络拥塞状况。利用报文头信息和部分报文内容识别和区分不同的数据流，对选择的数据流实施视频媒体优化算法，以实现带宽倍增和流量管控目标。包括如下功能模块：

1)          报文接收器：系统在线接受报文后将调用报文分类功能，将其归类为相应的数据流，然后交给队列管理器，存入相应的队列保存。

2)          流媒体识别器：从队列管理器读出报文，通过查询报文头信息和部分报文内容，识别是否属于监管的流媒体，并调用流均衡器做带宽均衡管理。

3)          流均衡器：查询流均衡策略数据库以获得特定视频流被分配的可用带宽和目标带宽等流均衡算法所需要的参数，执行流控算法后，将报文提交给发送器，其中的流控执行机构将具体实施流控策略。流均衡器还包括带宽分配器、流均衡策略数据库、流速检测模块、视频质量检测模块等。

4)          带宽分配器：根据系统可用带宽和各视频流需求带宽，以及流均衡策略等指标为不同媒体流合理、动态分配带宽。

5)          流均衡策略数据库：保存各种实现流均衡算法及不同均衡策略所需的指标、参数等。

6)          流速监测模块：动态监控各媒体流的实际带宽消耗等。

7)          视频质量检测模块：实时检测、评估视频质量，以便对流控算法及其指标作出及时调整，从而保证用户感知的服务质量不受影响。

8)          队列管理器：管理所有的数据流和视频流队列，实现零复制及高效利用存储资源。

9)          发送器：负责报文的输出，所包含流控执行机构根据流均衡机构处理结果实施流量控制。

10)      流控执行机构：根据流均衡算法的结果具体实现流控策略。

图3描述了本系统的主要功能模块及其相互间的关系。如图3所示，报文接收器收到报文后会做网络状态监测，并根据检测结果更新流均衡数据库，然后转发报文到流分类器。流分类器除了按设定的分类规则对报文进行分类外，还要调用流媒体识别器甄别该报文是否属于某视频流。如果不属于监控视频流，直接存入队列管理器；否则，作出相应标记后，再其交由队列管理器。流均衡器对存储于队列管理器中的那些属于流媒体的报文做流均衡处理，即在带宽分配器、流媒体带宽检测器、流均衡策略数据库、视频质量检测器以及流均衡执行机构的配合下，执行流均衡算法。执行结果直接影响报文发送器对相应流媒体的发送行为。

系统主要技术指标。

Claims (10)

1.一种面向视频的流量控制和优化系统，包括主卡、I/O卡，主卡由多核处理器和其它模块组成，I/O卡是可扩展的模块，每个I/O卡可提供4个1兆的端口或者2个万兆端口，每个I/O卡的端口可选择光纤或电缆，其特征在于：其他模块包括：DPI加速模块，用于搜寻报文内容部分以匹配特定字符串或模式到数据流或流媒体；报文处理加速模块，用于协助处理器完成报文的同步、排序和调度等，加速处理器处理报文的速度；缓存加速模块，用于减缓处理器在处理报文缓存单元、排队管理等方面的负担；加/解密模块，用于加快加密、解密功能而设置。

2.如权利要求1所述的面向视频的流量控制和优化系统，其特征在于：

报文接收器收到报文后会做网络状态监测，并根据检测结果更新流均衡数据库，然后转发报文到流分类器；

流分类器除了按设定的分类规则对报文进行分类外，还要调用流媒体识别器甄别该报文是否属于某视频流；

如果不属于监控视频流，直接存入队列管理器；

否则，作出相应标记后，再其交由队列管理器。

3.如权利要求2所述的面向视频的流量控制和优化系统，其特征在于：

还包括流均衡器，流均衡器对存储于队列管理器中的那些属于流媒体的报文做流均衡处理，即在带宽分配器、流媒体带宽检测器、流均衡策略数据库、视频质量检测器以及流均衡执行机构的配合下，执行流均衡算法，执行结果直接影响报文发送器对相应流媒体的发送行为。

4.一种面向视频的流量控制和优化方法，包括如下步骤：

在线接受报文后将调用报文分类功能，将其归类为相应的数据流，然后交给队列管理器，存入相应的队列保存；

从队列管理器读出报文，通过查询报文头信息和部分报文内容，识别是否属于监管的流媒体，并调用流均衡器做带宽均衡管理；

流均衡器查询流均衡策略数据库以获得特定视频流被分配的可用带宽和目标带宽等流均衡算法所需要的参数，执行流控算法后，将报文提交给发送器；

流控执行机构根据流均衡算法的结果具体实现流控策略。

5.如权利要求4所述的面向视频的流量控制和优化方法，其特征在于：所述流均衡器还包括带宽分配器、流均衡策略数据库、流速检测模块、视频质量检测模块。

6.如权利要求5所述的面向视频的流量控制和优化方法，其特征在于：所述带宽分配器根据系统可用带宽和各视频流需求带宽，以及流均衡策略等指标为不同媒体流合理、动态分配带宽。

7.如权利要求5所述的面向视频的流量控制和优化方法，其特征在于：所述流均衡策略数据库保存各种实现流均衡算法及不同均衡策略所需的指标、参数等。

8.如权利要求5所述的面向视频的流量控制和优化方法，其特征在于：所述流速监测模块：动态监控各媒体流的实际带宽消耗等。

9.如权利要求5所述的面向视频的流量控制和优化方法，其特征在于：所述视频质量检测模块：实时检测、评估视频质量，以便对流控算法及其指标作出及时调整，从而保证用户感知的服务质量不受影响。

10.如权利要求4所述的面向视频的流量控制和优化方法，其特征在于：所述队列管理器管理所有的数据流和视频流队列，实现零复制及高效利用存储资源。