CN105227547B - 一种基于众核平台的流媒体流量发生系统 - Google Patents

Abstract

本发明请求保护一种基于众核平台高强度的流媒体流量发生系统，系统将众核分为：主控核、并行访问请求核、数据接收核、日志记录核和流量分析处理核，各处理器核之间通过众核平台提供的片上网络机制进行核间高效的通信，完成各任务之间的数据传递。通过主控核的协调机制以及流媒体流量反馈机制，可以更好地提升系统产生流媒体流量的真实性、网络吞吐率和并发用户数。

Description

一种基于众核平台的流媒体流量发生系统

技术领域

本发明涉及一种流媒体网络流量发生技术，具体是在B/S(浏览器/服务器)及分布式系统架构下基于Tilera(特乐拉)众核平台高强度的流媒体网络流量发生系统。

背景技术

互联网属于实践性较强的领域，相关的研究成果只有在经过实践验证后才会被人们所接受。因此，研究人员需要网络试验床来验证新的网络体系架构、协议、服务等。作为专门用于模拟产生大量流媒体网络流量的流媒体流量发生器在网络性能研究、网络服务质量研究、新协议的测试与部署、网络安全性研究等领域具有不可或缺的作用。

现有的针对流媒体类型的网络流量进行模拟的流媒体流量发生器按其实现方法可分为两种：基于流媒体流量模型通过自身构造流媒体类型数据包来产生流媒体流量的流媒体流量发生器和基于流媒体用户行为模型发起对真实流媒体服务器请求来产生流媒体网络流量的流媒体流量发生器。前者由于自身构造数据包产生流媒体流量的方式相对有后者而言，其所模拟产生流媒体流量的速率和真实性不足。后者基于流媒体用户行为模型的流媒体流量发生器通过对真实的流媒体服务器发起请求后，流媒体服务器返回大量流媒体数据包来产生流媒体流量。虽然上述的流媒体流量发生器可以模拟一定量的流媒体网络流量，但由于它们都是在C/S(客户机/服务器)架构下基于普通硬件平台而设计的，操作不方便，其所模拟产生的流媒体并发用户数和流媒体流量速率较低且仅能满足千兆级以下的实验网的需求。随着互联网中流媒体用户的不断增多，上述的流媒体流量发生器无法模拟未来大规模网络中大量流媒体用户同时上网的复杂情况，进而难以满足千兆级以上的实验网的需求，并且它们还存在对不同情景下模拟的流媒体流量真实性差的问题。

因此，提供一种在B/S(浏览器/服务器)及分布式系统架构下基于Tilera(特乐拉)众核平台强大的并行处理能力和网络吞吐率的高强度的流媒体网络流量发生系统以模拟未来大规模网络中大量流媒体用户同时上网的复杂情况，进而满足千兆级以上的实验网的需求就显得尤为重要。

发明内容

针对以上现有技术的不足，本发明提供了一种在B/S(浏览器/服务器)及分布式系统架构下基于Tilera(特乐拉)众核平台高强度的流媒体网络流量发生系统。

本发明解决上述技术问题的技术方案如下：提出一种基于Tilera众核平台高强度的流媒体网络流量发生系统，包括：系统界面管理模块、服务承载模块和众核平台上的流媒体流量发生模块，其中：系统界面管理模块提供系统用户对不同情境下流媒体流量参数进行配置以及对数据库中存储的系统模拟产生的流媒体流量信息进行读取，对流媒体资源库进行操作；Tilera众核设备上的流媒体流量发生模块接收服务承载模块下发的命令，模拟不同情景参数下的流媒体，控制多个基于Tilera众核设备上的分别对应分布式架构下的Tilera众核设备的流媒体流量发生子模块，流媒体流量发生模块包括流媒体并行访问请求、流媒体数据接收、日志记录和流量分析处理四个子模块，并行访问请求子模块根据用户配置的情景参数以及流媒体资源库管理子模块并行发起流媒体数据请求；流媒体数据接收子模块并行接收互联网中的流媒体服务器返回的视频流数据；日志记录子模块依据流媒体数据接收子模块接收到的各类流媒体数据信息进行记录。

其中，系统界面管理模块又包括流媒体用户行为参数配置子模块、流量管理子模块、并发用户信息管理子模块、流媒体资源库URL(统一资源定位符)管理子模块和系统流量统计子模块，而服务承载模块又包括数据库模块和网页服务器子模块，其中网页服务器子模块又包括系统配置文件承载子模块、通信承载子模块和数据库操作承载子模块，而众核平台上的流媒体流量发生模块包括分布在分布式系统内的多个Tilera众核设备上的流媒体流量发生子模块1～N。

系统界面管理模块为系统用户提供一个易操作且友好的Web(网页)网页界面，其中：流媒体用户行为参数配置子模块支持系统用户对不同情境下的参数进行配置；流量管理子模块为系统用户提供一个对流媒体流量发生模块的开启与关闭操作控制；并发用户信息管理子模块支持系统用户对服务承载子模块中的数据库子模块内存储的系统所模拟的每个虚拟流媒体用户的信息进行查询及修改；流媒体资源库管理子模块支持系统用户对流媒体资源库的增删改查操作；系统流量统计子模块对数据库所存储的底层分布式内各台Tilera众核设备上的流媒体流量发生模块模拟产生的上/下行流量进行汇总统计及展示。

网页服务器子模块是系统界面管理模块与流媒体流量发生模块进行交互的重要桥梁，通过与数据库子模块的配合，实现上层系统界面管理模块与底层分布式架构下的流媒体流量发生模块的交互功能。其中：数据库子模块负责对流媒体资源库和流媒体流量发生模块模拟产生的流量信息进行分类存储，以供其他模块进行读取等操作；系统配置文件承载子模块负责接收系统界面管理模块的参数配置子模块所发送的各项配置参数，以便供底层分布式流媒体流量发生模块进行启动时对该配置文件进行读取，完成众核平台上的流媒体流量发生模块的初始化；通信承载子模块负责接收系统用户在流量发生模块的管理子模块下发的不同操作命令(如:open/shutdown)及分布式架构下对应Tilera众核设备的IP(网络之间互连的协议)地址，并根据该IP(网络之间互连的协议)地址及对应命令与某个众核平台设备上的流媒体流量发生模块进行通信，以此来控制对应的众核平台设备上的流媒体流量发生模块；数据库操作承载子模块支持上层的系统界面管理模块对数据库中数据进行查询及修改和众核设备上的流媒体流量发生模块进行数据存储操作；数据库子模块负责对流媒体URL(统一资源定位符)资源库和底层分布式架构下流媒体流量发生模块模拟产生的流量信息进行分类存储，以供其他模块进行读取等操作。

众核平台上的流媒体流量发生模块负责接收服务承载模块下发的相应命令，实现不同情景参数下模拟产生流媒体流量的功能，该模块包含N个基于Tilera众核设备高强度的流量发生子模块，它们分别对应分布式架构下的Tilera众核设备1～N，流量发生子模块通过分布式的架构控制一系列N台Tilera众核设备相互配合，进而模拟产生更大更逼真的流媒体网络流量，从而对系统用户的网络设备性能测试、网络协议评估提供更好的支持。

Tilera众核设备上的流媒体流量发生模块包括，流媒体并行访问请求、流媒体数据接收、日志记录和流量分析处理四个子模块，其中：并行访问请求子模块根据用户配置的情景参数以及流媒体URL(统一资源定位符)快速并行的发起流媒体数据请求；流媒体数据接收子模块则快速并行的接收互联网中的流媒体服务器返回的视频流数据；日志记录子模块则依据流媒体数据接收子模块所接收到的各类流媒体数据信息进行快速的记录操作；流量分析处理子模块对日志记录子模块所记录的各类信息进行过滤处理。系统将Tilera众核平台上流媒体流量发生模块的多个处理器核分成一系列并行任务组(如以每4个分为一个并行任务组)，以此把每台Tilera众核设备又划分成多个并行的任务组进行并行工作，以此模拟产生大量的流媒体并发用户数。系统依据CPU(中央处理器)处理器核的亲和性，将每个并行任务组中的各子模块对应的任务绑定到具体的处理核上。进而把每台众核设备上的多个处理器核分为：主控核、并行访问请求核、数据接收核、日志记录核和流量分析处理核。

上述的各处理器核之间通过Tilera众核平台提供的片上网络机制，即动态分布式缓存系统，可让每个处理器核的本地缓存，快速的共享于众核设备上的所有处理器核，且每个处理器核所有的二级缓存可以被众核设备中的所有处理器核高速访问,均衡地分配缓存负载。

系统通过众核设备上提供的缓存控制命令来开启三级缓存，对缓存进行进一步优化，通过规划每个处理器核上运行的对应子模块任务程序的局部性以及减小工作代码和数据集，避免处理器核频繁的从外部存储器进行数据的查找和存取操作，提高缓存命中率，从而进行高效的核间通信，完成各任务之间的数据传递。由于每台Tilera众核设备都提供的N个网口以提供强大的网络吞吐率，故将每一个网口都绑定到一个并行任务组中，从而避免某一处理器核计算量大耗时多任务重而其它核计算量小耗时少任务轻，使得任务执行时间少的处理器核处于优先空闲状态而出现饥饿现象，而任务重的处理器核产生拥塞导致排队的问题，极大浪费系统的整体处理时间。

将每台Tilera众核设备上的所有处理器核中的一个处理器核单独作为主控核，该主控核负责与服务承载模块进行实时交互通信并接收服务承载层下发的相应命令，并且控制及协调每台Tilera众核设备上的所有正在运行的并行任务组联合工作，进而实现系统用户具有对本系统所模拟产生的流媒体流量的管控功能。此外，Tilera众核设备上的主控核会在流量发生模块初始化阶段就根据系统用户所设置的情景参数提前推算出该情景下的流媒体流量波形的标准函数，并在流量发生模块工作过程中定期抽样检测该Tilera众核设备上的流媒体流量发生模块整体模拟产生的流量信息是否与预期的标准函数值相吻合，设定它们的偏差若大于预定值(如0.5％)，系统将会启动流量反馈调整功能，此时该主控核就按照预先设计的相应策略对正在运行的并行任务组进行调节，直到偏差小于0.5％为止，进而确保系统对不同情境下的流媒体网络流量进行有效逼真的模拟。

本发明是在B/S及分布式系统架构下基于Tilera众核平台高强度的流媒体网络流量发生系统，利用Tilera众核平台强大的网络吞吐率和并行处理能力等特点，对Tilera平台上的多个处理器核进行并行设计，处理器核之间通过Tilera众核平台提供的片上网络机制进行核间高效的通信，完成各任务之间的数据传递。并且以流媒体用户行为模型为基础，结合流媒体流量反馈机制的设计思路，可以在不同的情境下，模拟产生更大更逼真的流媒体网络流量，从而有效地解决了现有的流媒体流量发生系统模拟产生的流媒体网络流量速率低、并发用户数不足及对不同情景下模拟的流量真实性差等问题，进而对科研人员的网络设备性能测试、网络协议评估等提供更好的支持。

附图说明

图1本发明的系统工作原理图；

图2本发明的系统整体架构图；

图3单台Tilera(特乐拉)众核设备上的流媒体流量发生模块架构框图；

图4本发明的系统操作流程图。

具体实施方式

以下结合附图，对本发明作进一步说明。本发明提供了一种在B/S及分布式系统架构下基于Tilera众核平台强大的并行处理能力和网络吞吐率等特点进行并行化设计从而模拟产生高强度的流媒体网络流量发生系统。

如图1所示为本发明的系统工作原理图，在B/S及分布式系统架构下基于多个Tilera众核设备联合协调工作，并以流媒体用户行为模型为依据，对每台Tilera众核设备上的多个处理器核都进行并行工作模式的设计，以此向互联网中真实的流媒体服务器发起流媒体请求，诱使流媒体服务器产生大量真实的数据流途径实验网，从而模拟产生高强度的逼真的流媒体网络流量，进而对科研人员的网络设备性能测试、网络协议评估等提供更好的支持。

系统结构框图如附图2所示，该流媒体网络流量发生系统包括系统界面管理模块、服务承载模块和流媒体流量发生模块，其中，系统界面管理模块包括：流媒体用户行为参数配置子模块、流量发生模块的管理子模块、模拟的并发用户信息管理子模块、流媒体URL(统一资源定位符)资源库管理子模块和系统流量统计子模块，服务承载模块包数据库模块和网页服务器子模块，其中网页服务器子模块又包括系统配置文件承载子模块、通信承载子模块和数据库操作承载子模块；众核平台上的流媒体流量发生模块包括分布在分布式系统内的多个Tilera众核设备上的流媒体流量发生子模块1～N。

⑴系统界面管理模块为系统用户提供了一个易操作且友好的Web网页界面，其中：流媒体用户行为参数配置子模块支持系统用户对不同情境下的参数进行配置；系统用户的配置参数包括流媒体并发用户数、流媒体播放的前进、后退、暂停的时长范围及所服从的数学分布模型(如：泊松分布)、流媒体访问地址以及开启与关闭系统底层的众核设备的IP(网络之间互连的协议)地址。系统通过支持对不同配置参数的设定以此来满足不同系统用户对不同场景下流媒体流量的需求。

模拟的并发用户信息管理子模块支持系统用户对服务承载子模块中的数据库子模块内存储的系统所模拟的每个虚拟流媒体用户的信息进行查询及修改等操作；流媒体URL资源库管理子模块支持系统用户对流媒体URL资源库的增删改查等操作；系统流量统计子模块支持系统用户通过该模块来对数据库所存储的底层分布式内各台Tilera众核设备上的流媒体流量发生模块模拟产生的上/下行流量进行汇总统计及展示等操作。

⑵服务承载模块包括：网页服务器子模块和数据库模块，其中网页服务器子模块又包括系统配置文件承载子模块、通信承载子模块和数据库操作承载子模块。

①网页服务器子模块是上层系统界面管理模块与底层分布式架构下的流媒体流量发生模块进行交互的重要桥梁，通过与数据库子模块配合，完成上层系统界面管理模块与底层分布式架构下的流媒体流量发生模块的交互功能。

系统配置文件承载子模块负责接收系统界面管理模块的流媒体流量发生模块的参数配置子模块所发送的各项配置参数，以便供流媒体流量发生模块进行启动时对该配置文件进行读取，以便完成流媒体流量发生模块的初始化，当系统用户再次修改参数时，该模块会及时发送消息，通知底层正在运行的流媒体流量发生模块，以便流媒体流量发生模块实时根据系统用户的需求及时作出调整。当用户通过系统界面管理模块发现系统模拟产生的流媒体网络流量异常时，用户可以通过及时修改参数配置，众核设备上的流媒体流量发生模块就会实时接收用户配置的参数并进行分析，进而对众核设备上的处理器核进行调节，以此来实现用户对整个系统模拟流媒体流量过程的可管可控的功能。

通信承载子模块负责接收系统用户在流量发生模块的管理子模块下发的不同操作命令(如:open/shutdown)及分布式架构下对应Tilera众核设备的IP地址，并根据该IP地址及对应操作命令与流媒体流量发生模块进行通信，以此来完成对应的流媒体流量发生模块的开启/关闭等操作。数据库操作承载子模块支持系统界面管理模块对数据库中数据进行查询及修改等操作和底层流媒体流量发生模块进行数据存储操作。

②数据库子模块负责对流媒体URL资源库和底层分布式架构下流媒体流量发生模块模拟产生的流量信息进行分类存储，以供系统流量统计子模块进行查询和删除操作。

⑶流媒体流量发生模块负责接收服务承载模块下发的相应命令，来实现不同情景参数下模拟产生流媒体流量的功能，该模块包含N个基于Tilera众核设备高强度的流量发生子模块，它们分别对应分布式架构下的Tilera众核设备1～N，通过利用分布式的架构使得该N台Tilera众核设备相互配合，进而模拟产生更大更逼真的流媒体网络流量，从而对系统用户的网络设备性能测试、网络协议评估提供更好的支持。

单台Tilera众核设备上的流媒体流量发生模块如图3所示，包括流媒体并行访问请求、流媒体数据接收、日志记录和流量分析处理四个子模块，其中：并行访问请求子模块根据用户配置的情景参数以及流媒体URL来快速并行的发起流媒体数据请求；数据接收子模块则快速并行的接收互联网中的流媒体服务器返回的视频流数据；日志记录子模块则依据数据接收核接收到的各类流媒体数据信息进行快速的记录操作；流量分析处理子模块对日志记录核记录的各类信息进行过滤处理。

本系统将每台Tilera众核设备上的多个处理器核分为一个并行任务组(如可以每4个处理器核为一个并行任务组)，进而划分成多个并行的任务组来实现并行工作，以此来模拟产生更多的流媒体并发用户数。在流量发生模块初始化时，流量发生模块会自动依据众核设备上的CPU处理器核的亲和性，将每个并行任务组中的各子模块对应的任务通过众核设备提供的处理器核绑定命令来绑定到具体的处理核上。进而把每台众核设备提供的所有处理器核分为：主控核、并行访问请求核、数据接收核、日志记录核和流量分析处理核。在流媒体流量模拟过程中，众核设备上的各处理器核之间通过Tilera众核设备提供的特有的动态分布式缓存系统，使每个处理器核对模拟的流媒体流量信息进行本地缓存，并通过Tilera众核设备特有的片上网络通信机制来快速的共享于所有的处理器核，这样系统就可以对模拟产生的流媒体流量进行快速而高效地数据接收、信息记录以及流量分析的工作。并且依据主控核根据处理器核的使用情况，及时的完成对其他处理器核的任务分配工作,达到系统负载均衡，进而提高系统的工作效率和系统的网络吞吐率。

在流量发生模块初始化时，系统会通过众核设备上提供的缓存控制命令来自动开启三级缓存。开启三级缓存后，可以有效地规划每个处理器核上运行的对应子模块任务程序的局部性以及减小工作代码和数据集，避免处理器核频繁的从外部存储器进行数据的查找和存取操作，提高缓存命中率，从而进行高效的核间通信，完成各任务之间高效的数据传递。进一步提高了系统的工作效率和系统的网络吞吐率。

由于每台Tilera众核设备都提供了N个千兆网口以提供强大的网络吞吐率，故在流量发生模块初始化时，系统会将每一个千兆网口都通过众核设备提供的网口绑定命令来绑定到一个并行任务组中，从而避免某一处理器核计算量大耗时多任务重而其它核计算量小耗时少任务轻，使得任务执行时间少的处理器核处于优先空闲状态而出现饥饿现象，而任务重的处理器核产生拥塞导致排队的问题，极大浪费系统的整体处理时间。再进一步提高了系统的工作效率和系统的网络吞吐率，以解决未来网络环境中用户对千兆网络流量需求的问题。

⑸将每台Tilera众核设备上的多个处理器核中的一个处理器核单独用作主控核，该主控核通过套接字技术与服务承载模块进行实时交互通信并接收服务承载模块下发的相应命令，通过对下发的命令进行分析后，利用众核设备提供的对所有处理器核的监视命令，来得知每个处理器核的CPU负载后，来完成协调每台Tilera众核设备上的所有正在运行的并行任务组联合工作，进而实现系统用户具有对本系统所模拟产生的流媒体流量的管控功能。

此外每台Tilera众核设备上的主控核会在流量发生模块初始化阶段就会根据系统用户所设置的情景参数提前推算出该情景下的流媒体流量波形的标准函数，并在流量发生模块工作过程中定期抽样检测该Tilera众核设备上的流媒体流量发生模块整体模拟产生的流量信息是否与预期的标准函数值相吻合，设定它们的偏差若大于预定值，系统将会启动流量反馈调整功能，此时该主控核就按照预先设计的相应策略对正在运行的并行任务组进行调节，直到偏差小于预定值为止，进而确保系统对不同情境下的流媒体网络流量进行有效逼真的模拟。

系统的操作流程如图4所示，系统界面管理模块及服务承载模块通过套接字技术完成与众核平台上的流量发生模块的实时交互工作。系统用户针对自己的不同需求在系统界面管理模块完成自己的参数配置工作，并通过服务承载模块下达给众核平台进行处理。众核平台上的流量发生模块得到用户配置参数后完成初始化工作，其中包括依据配置参数推算预期波形函数、并行化任务划分及绑核和绑定网口操作，从而使众核平台上的所有处理器核利用Tilera众核设备提供的独有的片上网络通信机制可以高效的相互通信，实现并行化模拟流媒体流量的目的。采用流量反馈机制并通过众核设备中的主控核的实时监控协调工作的方式来保证系统最终模拟产生的流媒体网络流量更大更逼真，从而解决用户未来互联网中模拟网络流量的新需求。

Claims (6)

1.一种基于众核平台的流媒体流量发生系统，其特征在于，包括：系统界面管理模块、服务承载模块和众核平台上的流媒体流量发生模块，其中：系统界面管理模块提供系统用户对不同情境下流媒体流量参数进行配置以及对数据库中存储的系统模拟产生的流媒体流量信息进行读取，对流媒体资源库进行操作；众核设备上的流媒体流量发生模块接收服务承载模块下发的命令，模拟不同情景参数下的流媒体，控制多个基于众核设备上的分别对应分布式架构下的众核设备的流媒体流量发生子模块，流媒体流量发生模块包括流媒体并行访问请求、流媒体数据接收、日志记录和流量分析处理四个子模块，流媒体并行访问请求子模块根据用户配置的情景参数以及流媒体资源库管理子模块并行发起流媒体数据请求；流媒体数据接收子模块并行接收互联网中的流媒体服务器返回的视频流数据；日志记录子模块依据流媒体数据接收子模块接收到的各类流媒体数据信息进行记录操作；流量分析处理子模块对日志记录子模块记录的各类信息进行过滤处理。

2.根据权利要求1所述的系统，其特征在于，众核平台上流媒体流量发生模块的多个处理器核被分成一系列并行任务组，控制众核设备并行工作模拟产生大量的流媒体并发用户数。

3.根据权利要求2所述的系统，其特征在于，将每个并行任务组中的各子模块对应的任务绑定到具体的处理核上，每台众核设备上的多个处理器核包括：主控核、并行访问请求核、数据接收核、日志记录核和流量分析处理核， 上述各处理器核之间通过众核平台动态分布式缓存系统，让每个处理器核的本地缓存快速共享于众核设备上的所有处理器核，且每个处理器核所有的二级缓存可以被众核设备中的所有处理器核高速访问，均衡地分配缓存负载。

4.根据权利要求2所述的系统，其特征在于，众核设备提供的缓存控制命令开启三级缓存，将每台众核设备所提供的多个千兆网口一一对应的绑定到多个并行任务组中，通过规划每个处理器核上运行的对应子模块任务程序的局部性以及减小工作代码和数据集，避免处理器核频繁的从外部存储器进行数据的查找和存取操作，提高缓存命中率，完成各任务之间的数据传递。

5.根据权利要求3所述的系统，其特征在于，将每台众核设备上的所有处理器核中的一个处理器核单独作为主控核，该主控核负责与服务承载模块进行实时交互通信并接收服务承载模块下发的命令，控制及协调每台众核设备上正在运行的并行任务组联合工作，利用众核设备提供的对所有处理器核的监视命令，获知每个处理器核的CPU中央处理器负载，实现对模拟产生的流媒体流量的管控功能。

6.根据权利要求3所述的系统，其特征在于，众核设备上的主控核根据系统用户所设置的情景参数预先推算出该情景参数下的流媒体流量波形的理论函数，并在流媒体流量发生模块工作过程中定期抽样检测该众核设备上的流媒体流量发生模块模拟产生的流量信息是否与预期的理论函数值相吻合，如偏差大于设定值，主控核对正在运行的并行任务组进行调节，直到偏差小于设定值。