CN114363289A

CN114363289A - 一种基于规则引擎的虚拟网络智能调度方法

Info

Publication number: CN114363289A
Application number: CN202111577248.0A
Authority: CN
Inventors: 张潇; 王德封; 黎立伟
Original assignee: E Surfing Reading Culture Communications Co Ltd
Current assignee: E Surfing Reading Culture Communications Co Ltd
Priority date: 2021-12-22
Filing date: 2021-12-22
Publication date: 2022-04-15
Anticipated expiration: 2041-12-22
Also published as: CN114363289B

Abstract

本发明公开了一种基于规则引擎的虚拟网络智能调度方法，对于规则引擎智能虚拟网络，CDN分发与调度管理是一个点播媒资全网CDN运营商接入、分发、CDN域名的调度管理程序。该程序以媒资标准化存储为前提、基于客户端信息（品牌、型号、APP类型、地理位置）、网络运营商、片源、媒资存储路径等调度参数、通过规则引擎动态灵活调度CDN域名。目的是通过媒资标准化目录与文件名存储后，分发到多家CDN，通过调度程序充分利用各个CDN的特性合理分配CDN。

Description

一种基于规则引擎的虚拟网络智能调度方法

技术领域

本发明涉及智能虚拟网络技术领域，尤其是涉及一种基于规则引擎的虚拟网络智能调度方法。

背景技术

构建在现有网络基础之上的智能虚拟网络（CDN），如图1所示，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率，实现了跨运营商、跨地域的全网覆盖，可以覆盖全球的线路，通过和运营商合作，部署IDC资源，在全国骨干节点上，合理部署CDN边缘分发存储节点，充分利用带宽资源，平衡源站流量。

现有的智能虚拟网络可以基于地域等维度做智能调度。但是缺乏更加灵活的、基于业务的智能调度。目前CDN的规则配置受到自由度受限、规则配置设计的科学性还有待提高。通常提供给用户的CDN规则配置越自由越好，仅仅是动、静文件分离仍远远不够，还需更完善的方式，如更自由、更科学的通配符、正则表达式等。目前的智能虚拟网络还无法做到基于终端、业务类型、客户端类型、片源等的智能调度。

发明内容

为解决现有技术的不足，实现自由度更完善的智能调度，充分利用各个CDN的特性合理分配CDN的目的，本发明采用如下的技术方案：

一种基于规则引擎的虚拟网络智能调度系统，包括媒资管理系统和CDN调度系统，CDN调度系统包括CDN调度模块、规则引擎和CDN配置，CDN调度模块通过媒资管理系统，获取客户端信息、媒资请求和网络信息，利用规则引擎，通过CDN配置，根据媒资请求匹配对应的CDN，根据客户端信息匹配最近的CDN，查询各CDN的负载情况并匹配服务能力最佳的CDN，根据网络信息匹配与客户端网络最佳的CDN，从而得到最佳的客户端所属的CDN区域，区域负载均衡设备内的，适合客户端硬件解码播放的视频格式和码率的播放地址，将匹配的CDN中的媒资信息反馈客户端。

进一步地，客户端信息包括客户端硬件信息、操作系统信息、IP地址，所述媒资请求为用户请求的媒资内容的URL，所述网络信息为无线网络信号强度；根据客户端信息中的硬件信息，从CDN中获取适合硬件信息的硬件解码器播放的视频格式和码率的媒资内容的URL；根据无线网络信号强度，从CDN中获取适合客户端在无线网络下播放的码流。

进一步地，从CDN中获取适合客户端在无线网络下播放的码流的过程中，采用IDR帧对齐、集成单独的打包工具、搭建存储和加速资源、播放样式定制的方式；

所述IDR帧对齐，对自适应码流中的多个分辨率版本IDR帧对齐，否则播放器在切换不同分辨率的版本时，可能因为需要缓冲而产生卡顿，IDR对齐，以一个IDR帧为参照模板，在转码各个分辨率时均采用所述参照模板；

所述集成单独的打包工具，将转出自适应码流的多个分辨率版本进行打包，转出自适应码流不仅需要转出多种分辨率版本，还需要将各个版本进行打包，输出一个描述文件（对于 HLS 是 m3u8，对于 DASH 是 mpd），这里，打包步骤还需要集成单独的打包工具（HLS 和 DASH 通常使用不同的打包工具）；

所述搭建存储和加速资源，对转出和播放自适应码流，通过各个云厂商的对象存储和CDN，分别搭建对应的存储资源和加速资源；

所述播放样式定制，在播放器播放自适应码流时，提供个性化定制播放的样式，例如，在手动切换不同分辨率版本时，根据配置的调度规则进行下发，支持定制视频起播时的封面，以及进度条预览缩略图的间隔等。

进一步地，当CDN中没有媒资请求对应的媒资信息，而CDN调度系统仍将所述CDN分配给对应的客户端，则所述CDN向其上一级CDN逐级请求所述媒资信息，当追溯到网站源服务器，则将所述媒资信息获取到所述CDN本地。

进一步地，媒资管理系统，包括媒资转码入库模块、媒资标准化存储模块、媒资全网分发模块、播放鉴权模块和媒资详情获取模块，媒资转码入库模块根据不同的规则场景对媒资进行转码，再通过媒资标准化存储模块对转码后的媒资进行标准化存储，标准化结构是为了方便媒资介质调度，最后通过媒资全网分发模块将媒资分发到各CDN中；媒资详情获取模块获取CDN匹配上的媒资信息，通过播放鉴权模块，根据客户端的权限进行传输。

进一步地，构建CDN人工智能调度系统，获取客户端信息、媒资请求和网络信息，及其匹配的媒资信息标签作为训练集，通过神经网络，将预测的媒资信息标签与真实的媒资信息标签计算损失，迭代更新神经网络参数，得到训练好的CDN人工智能调度系统。

进一步地，CDN调度模块包括域名调度单元和介质调度单元，域名调度单元获取客户端信息、媒资请求、网络信息以及媒资存储信息，通过域名调度规则得到CDN类型和CDN域名，判断CDN域名调度是否正常，正常时进入介质调度单元，否则返回调度失败和失败原因，介质调度单元通过媒资介质调度规则得到播放地址，判断媒资介质调度是否正常，正常时返回CDN类型和播放地址。所述CDN类型基于CDN防盗链，所述播放地址包括域名和介质信息。

进一步地，CDN配置包括CDN域名信息配置、CDN调度地理区域配置、CDN调度规则配置。

进一步地，域名调度的规则，是从媒资存储中根据HTTP开头地址，基于域名判断CDN；对于非HTTP开头的地址，对本地片源进行视讯CDN域名调度，否则对于其他片源根据网络类型判断CDN；所述域名调度的规则中，片源根据APP类型及其对应的网络类型判断CDN；判断APP类型后，再根据用户类型及其对应的网络类型判断CDN。

进一步地，介质调度的规则，首先判断是否有CDN域名，若有，则根据APP类型及客户端分组信息提供不同的码流格式，否则，根据CDN类型判断CDN。

本发明的优势和有益效果在于：

（1）可配置调度规则；

（2）利用规则引擎基于客户端信息、网络信息、媒资信息灵活动态调配CDN资源；

（3）拥有全业务加速的技术能力，包括网站加速、视频加速、全站加速，提供一站式的加速解决方案，提升整体用户体验；

（4）成熟的多CDN加速管控方案，精选主流CDN厂商节点，全面覆盖各地区各运营商网络，真正做到无盲区；

（5）消除跨运营商网络回源慢甚至不可达等问题，保护源站带宽不受边缘节点请求波动影响，节省回源成本；

（6）边缘存储可充分利用可用链路带宽，数据在边缘节点上传和下载可平均提速60%以上。

附图说明

图1是现有的智能虚拟网络图。

图2是本发明的系统架构图。

图3是本发明中CDN域名调度流程图。

图4是本发明中CDN域名调度规则图。

图5是本发明中CDN域名调度详细规则图。

图6是本发明中视频介质调度流程图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

一种基于规则引擎的虚拟网络智能调度方法，对于规则引擎智能虚拟网络，CDN分发与调度管理是一个点播媒资全网CDN运营商接入、分发、CDN域名的调度管理程序。该程序以媒资标准化存储为前提、基于客户端信息（品牌、型号、APP类型、地理位置）、网络运营商、片源、媒资存储路径等调度参数、通过规则引擎动态灵活调度CDN域名。目的是通过媒资标准化目录与文件名存储后，分发到多家CDN，通过调度程序充分利用各个CDN的特性合理分配CDN。

当用户访问客户端时，智能虚拟网络调度中心，会根据用户使用的VR硬件设备、操作系统、IP地址、无线网络信号强度，以及用户请求的内容URL，自动匹配选择一台适合用户所属区域的，区域负载均衡设备内的，适合硬件解码播放的视频格式和码率的播放地址，提供给用户访问。

如图2所示，规则引擎智能虚拟网络CDN分发与调度管理原理如下：

1）先将媒资根据不同的规则场景进行转码，然后将转码后的媒资进行标准化存储、标准化结构是为了方便媒资介质调度；

2）再将转码后的媒资分发到各家CDN；

3）配置调度规则，在配置中心中，创建针对各个应用场景的调度规则；

4）利用规则引擎基于客户端信息、网络信息、媒资信息，灵活动态调配CDN资源。

5）智能调度中心对客户端信息、网络信息、视频信息等数据的分析，利用机器学习，模拟出更多的智能调度场景和最佳调度规则，进而实现先人工、后AI的智能升级。

智能虚拟网络调度中心为用户选择一台合适的缓存服务器提供服务，选择的依据包括：根据用户IP地址，判断哪一台服务器距用户最近；根据用户所请求的URL中携带的内容名称，判断哪一台服务器上有用户所需内容；查询各个服务器当前的负载情况，判断哪一台服务器尚有服务能力。基于以上这些条件的综合分析之后，区域负载均衡设备会向全局负载均衡设备返回一台缓存服务器的IP地址。

智能虚拟网络调度中心把服务器的IP地址返回给用户。

用户向缓存服务器发起请求，缓存服务器响应用户请求，将用户所需内容传送到用户终端。如果这台缓存服务器上并没有用户想要的内容，而智能虚拟网络调度中心依然将它分配给了用户，那么这台服务器就要向它的上一级缓存服务器请求内容，直至追溯到网站的源服务器将内容拉到本地。

硬件播放时会使从CDN获取适合当前硬件和无线网络能播放的码流，技术上主要有以下关键：

1. 需要 IDR 帧对齐

自适应码流中的多个分辨率版本，必须要求 IDR 帧对齐，否则播放器在切换不同分辨率的版本时，可能因为需要缓冲而产生卡顿。做 IDR 对齐，需要首先一个 IDR 帧的参照模板，然后在转码各个分辨率时采用相同的参照模板。

2. 额外集成打包工具

转出自适应码流，不仅需要转出多种分辨率版本，还需要将各个版本进行打包，输出一个描述文件（对于 HLS 是 m3u8，对于 DASH 是 mpd）。这里，打包步骤还需要集成单独的打包工具（HLS 和 DASH 通常使用不同的打包工具）。

3. 搭建存储和加速资源

转出和播放自适应码流，分别需要搭建对应的存储资源和加速资源。使用各个云厂商的对象存储和 CDN。

4. 定制播放的样式

播放器播放自适应码流时，通常需要个性化定制播放的样式。例如，在手动切换不同分辨率版本时，根据配置的调度规则进行下发。支持定制视频起播时的封面，以及进度条预览缩略图的间隔等。

如图3所示，CDN调度模块包括域名调度单元和介质调度单元，域名调度单元获取客户端信息、媒资请求、网络信息以及媒资存储信息，通过域名调度规则得到CDN类型和CDN域名，判断CDN域名调度是否正常，正常时进入介质调度单元，否则返回调度失败和失败原因，介质调度单元通过媒资介质调度规则得到播放地址，判断媒资介质调度是否正常，正常时返回CDN类型和播放地址。CDN类型基于CDN防盗链，播放地址包括域名和介质信息。

CDN配置包括CDN域名信息配置、CDN调度地理区域配置、CDN调度规则配置。

CDN域名调度规则样例如图4所示。

如图5所示，域名调度的规则，是从媒资存储中根据HTTP开头地址，基于域名判断CDN；对于非HTTP开头的地址，对本地片源进行视讯CDN域名调度，否则对于其他片源根据网络类型判断CDN；域名调度的规则中，片源根据APP类型及其对应的网络类型判断CDN；判断APP类型后，再根据用户类型及其对应的网络类型判断CDN。

如图6所示，介质调度的规则，首先判断是否有CDN域名，若有，则根据APP类型及客户端分组信息提供不同的码流格式，否则，根据CDN类型判断CDN。

要点说明：

RTC技术（Real time communication）实时通信，是实时音视频的一个简称，通常说的RTC技术一般指的是WebRTC技术，本发明中将RTC技术与CDN架构融合，一套架构同时支持WebRTC和RTMP（Real Time Messaging Protocol）实时消息传输协议）。使得1）支持一对一，多人互动场景；2）支持直播，大规模分发场景；3）架构保持足够简单，降低运维成本。

对RTMP协议的改造：

1）为了让webrtc和rtmp无缝互通，需要拓展rtmp对opus编码（48k采样）的支持，rtmp本身并不支持opus；

2）同时在ffmpeg中拓展rtmp对opus编码（48k采样）的支持，ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

边缘节点设计：

1）边缘节点支持的能力：rtmp/webrtc推流，webrtc拉流；

2）边缘节点不做任何的编解码操作，只作为接入点和分发点；

3）支持rtmp（h264/aac/opus）的回源；

4）如果是webrtc推流，转封装为rtmp(h264/opus)；

5）为保证低延迟，回源跳数应该控制3-4跳以内；

源站设计：

1）回源协议全部为rtmp；

2）源站做的转码和重采样；

3）支持第三方CDN的回源；

客户端SDK的设计：

1）把推流SDK抽象为RTCPusher，封装rtmp和webrtc推流的能力；

2）把拉流SDK抽象为RTCPlayer，封装webrtc播放的能力；

3）直播场景为一个pusher，一个player；

4）互动场景为一个pusher，多个player。

根据硬件和无线网络自适应播放视频以HLS为例，使用master playlist索引一个视频不同分辨率的版本。视频一共包含了3种不同的版本，分辨率分别是426x240，852x480和 1280x720。分辨率越高的的版本，码率也越大。播放器在切换不同分辨率规格的策略，依赖于其采取的码率自适应算法。主要的码率自适应算法有：基于带宽预测的算法、基于buffer的算法，以及混合带宽预测和buffer的算法。

基于带宽预测的算法，可以获得一个预测的视频码率，播放器选择一个不高于预测带宽的视频进行播放。预测的方法是：以当前时间之前的固定时间段的样本（k1，k2）作为参考，计算调和平均值（倒数的平均的倒数），作为预测的视频码率（p1）。该算法仅基于历史的样本预测带宽，准确性不佳。

基于buffer的算法，则放弃直接的带宽预测，用buffer驱动码率选择，buffer 大则选择高码率，否则选择低码率。但是这里潜在的问题是，当播放器的buffer发生变化时，可能造成不同分辨率规格的视频频繁切换。

目前主流的码率自适应算法，是混合带宽预测和buffer的算法，即以带宽预测为主，buffer 为辅，该算法结合了带宽预测和 buffer 两种算法的优势。

行业中的几种主要的自适应码流协议，除了Apple的HLS之外，还有Google的DASH，Adobe的HDS，以及Microsoft的Smooth（后两种实际上已经逐渐被DASH替代，即HLS和DASH成为自适应码流协议的两大阵营）。对比HLS和DASH：

HLS（apple私有）：视频格式为ts，索引文件为m3u8，单码率采用一级索引，多码率采用二级索引；

DASH（ISO标准）：视频格式为fmp4（也宣称支持ts），索引文件为mpd，只包含一级索引。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims

1.一种基于规则引擎的虚拟网络智能调度系统，包括媒资管理系统和CDN调度系统，其特征在于所述CDN调度系统包括CDN调度模块、规则引擎和CDN配置，CDN调度模块通过媒资管理系统，获取客户端信息、媒资请求和网络信息，利用规则引擎，通过CDN配置，根据媒资请求匹配对应的CDN，根据客户端信息匹配最近的CDN，查询各CDN的负载情况并匹配服务能力最佳的CDN，根据网络信息匹配与客户端网络最佳的CDN，将匹配的CDN中的媒资信息反馈客户端。

2.根据权利要求1所述的一种基于规则引擎的虚拟网络智能调度系统，其特征在于所述客户端信息包括客户端硬件信息、操作系统信息、IP地址，所述媒资请求为用户请求的媒资内容的URL，所述网络信息为无线网络信号强度；根据客户端信息中的硬件信息，从CDN中获取适合硬件信息的硬件解码器播放的视频格式和码率的媒资内容的URL；根据无线网络信号强度，从CDN中获取适合客户端在无线网络下播放的码流。

3.根据权利要求2所述的一种基于规则引擎的虚拟网络智能调度系统，其特征在于所述从CDN中获取适合客户端在无线网络下播放的码流的过程中，采用IDR帧对齐、集成单独的打包工具、搭建存储和加速资源、播放样式定制的方式；

所述IDR帧对齐，对自适应码流中的多个分辨率版本IDR帧对齐，IDR对齐，以一个IDR帧为参照模板，在转码各个分辨率时均采用所述参照模板；

所述集成单独的打包工具，将转出自适应码流的多个分辨率版本进行打包；

所述搭建存储和加速资源，对转出和播放自适应码流，通过对象存储和CDN，分别搭建对应的存储资源和加速资源；

所述播放样式定制，在播放器播放自适应码流时，提供个性化定制播放的样式。

4.根据权利要求1所述的一种基于规则引擎的虚拟网络智能调度系统，其特征在于当所述CDN中没有媒资请求对应的媒资信息，而CDN调度系统仍将所述CDN分配给对应的客户端，则所述CDN向其上一级CDN逐级请求所述媒资信息，当追溯到网站源服务器，则将所述媒资信息获取到所述CDN本地。

5.根据权利要求1所述的一种基于规则引擎的虚拟网络智能调度系统，其特征在于所述媒资管理系统，包括媒资转码入库模块、媒资标准化存储模块、媒资全网分发模块、播放鉴权模块和媒资详情获取模块，媒资转码入库模块根据不同的规则场景对媒资进行转码，再通过媒资标准化存储模块对转码后的媒资进行标准化存储，最后通过媒资全网分发模块将媒资分发到各CDN中；媒资详情获取模块获取CDN匹配上的媒资信息，通过播放鉴权模块，根据客户端的权限进行传输。

6.根据权利要求1所述的一种基于规则引擎的虚拟网络智能调度系统，其特征在于构建CDN人工智能调度系统，获取客户端信息、媒资请求和网络信息，及其匹配的媒资信息标签作为训练集，通过神经网络，将预测的媒资信息标签与真实的媒资信息标签计算损失，迭代更新神经网络参数，得到训练好的CDN人工智能调度系统。

7.根据权利要求1所述的一种基于规则引擎的虚拟网络智能调度系统，其特征在于所述CDN调度模块包括域名调度单元和介质调度单元，域名调度单元获取客户端信息、媒资请求、网络信息以及媒资存储信息，通过域名调度规则得到CDN类型和CDN域名，判断CDN域名调度是否正常，正常时进入介质调度单元，否则返回调度失败和失败原因，介质调度单元通过媒资介质调度规则得到播放地址，判断媒资介质调度是否正常，正常时返回CDN类型和播放地址。

8.根据权利要求1所述的一种基于规则引擎的虚拟网络智能调度系统，其特征在于所述CDN配置包括CDN域名信息配置、CDN调度地理区域配置、CDN调度规则配置。

9.根据权利要求1所述的一种基于规则引擎的虚拟网络智能调度系统，其特征在于域名调度的规则，是从媒资存储中根据HTTP开头地址，基于域名判断CDN；对于非HTTP开头的地址，对本地片源进行视讯CDN域名调度，否则对于其他片源根据网络类型判断CDN；所述域名调度的规则中，片源根据APP类型及其对应的网络类型判断CDN；判断APP类型后，再根据用户类型及其对应的网络类型判断CDN。

10.根据权利要求1所述的一种基于规则引擎的虚拟网络智能调度系统，其特征在于介质调度的规则，首先判断是否有CDN域名，若有，则根据APP类型及客户端分组信息提供不同的码流格式，否则，根据CDN类型判断CDN。