CN108322768B - 基于cdn的视频空间分配方法 - Google Patents
基于cdn的视频空间分配方法 Download PDFInfo
- Publication number
- CN108322768B CN108322768B CN201810071452.7A CN201810071452A CN108322768B CN 108322768 B CN108322768 B CN 108322768B CN 201810071452 A CN201810071452 A CN 201810071452A CN 108322768 B CN108322768 B CN 108322768B
- Authority
- CN
- China
- Prior art keywords
- video
- model
- distribution
- layer
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
- H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
Abstract
基于CDN的视频空间分配方法,包括如下步骤:获取视频点播系统中视频的点播数据;根据点播数据构建每部视频的用户观看时长服从指数分布模型,确立模型参数与视频评分和用户访问量的二元函数关系;构建双层视频分配下载模型,根据二元函数关系预估未知视频的参数,并将模型参数带入指数分布,获取模型参数的累积概率,将模型参数的累积概率利用数值分析法带入第一层概率选择优化模型,获取视频在满足保障概率前提下的最小用户观看时长的最大估计值,结合视频的总时长,获取视频需要下载部分占用的实际存储空间,以此为约束,执行第二层空间分配优化模型,获取近端服务器的最佳视频下载分配方案,本发明可以有效提升VoD系统的性能,满足用户应用体验。
Description
技术领域
本发明属于视频应用技术领域,具体涉及一种基于CDN的视频空间分配方法。
背景技术
随着通信和计算机技术的迅猛发展,各种制式各异、能力互补的无线网络层出不穷,与不断更新换代的智能终端并存,共同构成了重叠覆盖的无线泛在环境。在此环境下,人们对互联网的应用需求已经跨越了收发电子邮件、传输图片、浏览网页、网络聊天的阶段,取而代之的是网络游戏、IPTV、视频会议、视频点播等一系列面向用户的新型流媒体服务。而这些日渐增多的新型网络多媒体应用形式,导致网络业务量呈现出爆炸式增长的态势。想要在这种环境下继续保证高质量音频和视频的有效传输,提高同时访问多媒体资源的用户数量,并满足用户日益严苛的体验需求,对于网络传输带宽和服务器性能来说,显然是一种新的更严峻的挑战。
网络传输带宽和服务器性能随着网络技术的升级、硬件传输存储介质的改进有了很大的发展,但各式无线网络的不断涌现与个人多媒体终端的广泛普及使得这种发展远远不能满足人们对多媒体资源日益提升的体验需求,爆炸式增长的网络业务量也引发了网络传输带宽受限、骨干网拥塞、源服务器负载压力过大等问题。
发明内容
本发明的目的在于:提供基于CDN的视频空间分配方法,针对视频点播系统,构建用户行为模型,能够在近端服务器中以最优策略分配视频空间。
为了达到以上目的,基于CDN的视频空间分配方法,包括如下步骤:
S1、获取视频点播系统中视频的点播数据;
S2、根据点播数据构建每部视频的用户观看时长服从指数分布模型,确立模型参数与视频评分和用户访问量的二元函数关系;指数分布模型的累积概率公式为x>0其中,1/θ为影片用户观看时长的数学期望的倒数,即模型参数,x为观看时长随机变量,是大于0的任意实数;
S3、构建双层视频分配下载模型,根据二元函数关系预估未知视频的用户观看时长服从指数分布模型参数,并将模型参数带入指数分布,获取模型参数的累积概率,将模型参数的累积概率利用数值分析法带入第一层概率选择优化模型,获取未知视频在满足保障概率前提下的最小用户观看时长的最大估计值,结合未知视频的总时长,获取未知视频需要下载部分占用的实际存储空间,以此为约束,执行第二层空间分配优化模型,获取近端服务器的最佳视频下载分配方案;
第一层概率选择优化模型为:
s.t.Prob(Tk≥tk)≥1-ε;
其中,ε为概率保障参数,tk为视频k的用户观看时长Tk的取值参量;Prob(·)为视频k的用户观看时长Tk的累积概率,可由视频k的用户访问量n和视频评分m根据1/θ与(m,n)的二元函数关系得到视频k的模型参数1/θk,将其带入指数分布,得到相应的累积概率;再根据累积概率公式,即可利用数值分析法快速得到
第二层空间分配优化模型为:
其中,Lk为视频k的总时长;为视频k的用户观看时长(Tk)在满足保障概率前提下的最小用户观看时长的最大估计值,由第一层概率选择优化模型得出;为视频k需要下载的部分所占用的存储空间;为K部视频的下载标示量,为需要将视频k的部分提前下载到近端服务器,其中ak=1,反之则为视频k不提前下载,即ak=0;为K部视频的最佳下载分配方案。
本发明的优选方案是:点播数据包括视频日均用户访问量、视频评分和用户观看时长。
优选地,步骤S1中获取至少1000部视频的点播数据。
优选地,第二层空间分配优化模型转化为0-1背包的计算方法为:
其中,为每部视频需要提前下载的部分所占存储空间的量化整型量;且根据上述递推公式,可得以i为行以j为列的二维递推表;若则表明若则表明若三者均相等,则和均可;依据上述规则,可对二维递推表通过反向判断方式,最终获得0-1整型规划的全局最优解进而得到此问题的全局最优解
本发明有益效果为:本发明在实际采集数据的基础上,对每部视频的用户访问时长建立概率模型,并进一步构建总体模型参数与视频评分和用户访问量的二元函数关系,然后,综合考虑近端服务器的存储空间、视频总时长等因素,建立视频分配下载双层优化模型并求解,得到热门视频在近端服务器的缓存空间最佳分配策略。解决了由于由于网络业务量爆炸式增长而引发的网络传输带宽受限、骨干网拥塞、源服务器负载压力过大等问题,从而有效提升VoD系统的性能,满足用户应用体验。
附图说明
下面结合附图对本发明作进一步的说明。
图1为本发明的方法流程示意图;
图2为本发明的0-1背包的计算方法流程示意图。
具体实施方式
实施例一
请参阅图1,本实施例的基于CDN的视频空间分配方法,包括如下步骤:
S1、获取视频点播系统中视频的点播数据;
S2、根据点播数据构建每部视频的用户观看时长服从指数分布模型,确立模型参数与视频评分和用户访问量的二元函数关系;
S3、构建双层视频分配下载模型,根据二元函数关系预估未知视频的用户观看时长服从指数分布模型参数,并将模型参数带入指数分布,获取模型参数的累积概率,将模型参数的累积概率利用数值分析法带入第一层概率选择优化模型,获取未知视频在满足保障概率前提下的最小用户观看时长的最大估计值,结合未知视频的总时长,获取未知视频需要下载部分占用的实际存储空间,以此为约束,执行第二层空间分配优化模型,获取近端服务器的最佳视频下载分配方案。
以下将对上述步骤S1-S5的操作规则、方式等进行详细说明:
步骤S1中用Python语言编写网络爬虫,在视频点播系统中,采集日均用户访问量最多的至少1000部视频作为热门视频,采集其中每部视频自上映以来的日均用户访问量、视频评分、用户观看时长等信息。
步骤S2中VoD系统中每部热门视频的用户访问时长满足指数分布:
针对每部视频,以1分钟为划分单位,分别统计用户观看时长为1分钟、观看时长为2分钟、……、观看时长为60分钟等出现的次数,得到不同观看时长出现的概率,建立用户观看时长的散点图,用MATLAB作其分布图并观察其大致趋势;再根据分布图的趋势,用指数分布对其进行非线性最小二乘拟合,得到其拟合优度以及分布参数。
指数分布的分布函数公式如下:
其中,1/θ表示影片用户观看时长的数学期望的倒数。
用MATLAB编写程序,根据拟合优度公式,循环处理每部视频的用户观看时长数据,计算出每部视频的指数分布拟合优度值。
拟合优度公式如下:
对于每部视频的拟合优度值,作累积分布图,根据图得出结论,90%以上视频每日访问量模型的拟合优度大于0.9,表明绝大部分视频的用户观看时长都可以近似用指数分布来描述。因此,在本发明研究的视频点播系统中,每部视频的用户观看时长可以用指数分布建模。
其中,m为视频评分,n为用户访问量,1/θ为模型参数。
固定视频评分m,先绘制参数1/θ与用户访问量n的关系。例如,选出评分均为8分的所有视频,按照用户访问量的大小以间隔100(+-50)进行统计(访问量为100、200、……),对于每一个访问量n,将所对应的每部视频的时长片段对齐(对齐:以同一时刻为起点,所有长度相同的时长片段为一类,即均以60秒为起点,A视频时长为60秒的片段与B视频时长为60秒的片段归为一类,其他长度相同的时长片段依次对应。),计算出所选视频每一类用户观看时长片段出现的总次数,再除以所有时长片段的总个数,得到概率,进而求出此访问量n对应的时长的数学期望θn(不同概率乘以对应的时长然后相加,即加权平均),则1/θn即为指数分布的参数,即得到评分为8分的视频在已知访问量为n的条件下的指数分布参数为1/θn。计算多组不同的访问量n所对应的指数分布参数1/θn,即可绘制参数1/θn和用户访问量n的关系曲线,然后改变视频评分m,即可以得出参数1/θn和用户访问量n的近似函数关系。
同样地,固定用户访问量n,绘制参数1/θ与视频评分m的关系。例如,选出访问量均为1000的所有视频,将其按照四舍五入的规则将其分为1分组、2分组、……、9分组,对于每一个评分m,将所对应的每部视频的时长片段对齐(对齐:以同一时刻为起点,所有长度相同的时长片段为一类,即均以60秒为起点,A视频时长为60秒的片段与B视频时长为60秒的片段归为一类,其他长度相同的时长片段依次对应。),计算出所选视频每一类用户观看时长片段出现的总次数,再除以所有时长片段的总个数,得到概率,进而求出此评分m对应的时长的数学期望θm(不同概率乘以对应的时长然后相加,即加权平均),则1/θm即为指数分布的参数,即得到访问量为1000的视频在已知评分为m的条件下的指数分布参数为1/θm。计算多组不同的评分m所对应的指数分布参数1/θm,即可绘制参数1/θm和视频评分m的关系曲线,然后改变用户访问量n,即可以得出参数1/θm和视频评分m的近似函数关系。
将上述同一组1/θ对应的视频评分m和用户访问量n数据一一对应,用MATLAB的拟合工具箱对多组视频数据进行拟合,即可得到1/θ与(m,n)的二元函数关系。对于函数关系中出现的系数,可以通过数据最小二乘拟合的方式求出。
步骤S3中第一层概率选择优化模型为:
s.t.Prob(Tk≥tk)≥1-ε;
其中,ε为概率保障参数;tk为视频k的用户观看时长Tk的取值参量,Prob(·)表示求视频k的用户观看时长Tk的累积概率,可由视频k的用户访问量n和视频评分m根据1/θ与(m,n)的二元函数关系得到视频k的模型参数1/θk,将其带入指数分布,得到相应的累积概率;再根据累积概率公式,即可利用数值分析法快速得到
步骤S3中第二层空间分配优化模型为:
其中,Lk表示视频k的总时长;表示视频k的用户观看时长(Tk)在满足保障概率前提下的最小用户观看时长的最大估计值,由第一层概率选择优化模型得出;表示视频k需要下载的部分所占用的存储空间;为K部视频的下载标示量,表示需要将视频k的部分提前下载到近端服务器,其中ak=1,反之则表示视频k不提前下载,即ak=0;为K部视频的最佳下载分配方案。
请参阅图2,第二层空间分配优化模型转化为0-1背包的计算方法为:
其中,表示每部视频需要提前下载的部分所占存储空间的量化整型量;且根据上述递推公式,可得以i为行以j为列的二维递推表;若则表明若则表明若三者均相等,则和均可;依据上述规则,可对二维递推表通过反向判断方式,最终获得0-1整型规划的全局最优解进而得到此问题的全局最优解
本实施例在实际采集数据的基础上,对每部视频的用户访问时长建立概率模型,并进一步构建总体模型参数与视频评分和用户访问量的二元函数关系,然后,综合考虑近端服务器的存储空间、视频总时长等因素,建立视频分配下载双层优化模型并求解,得到热门视频在近端服务器的缓存空间最佳分配策略。解决了由于由于网络业务量爆炸式增长而引发的网络传输带宽受限、骨干网拥塞、源服务器负载压力过大等问题。
除上述实施例外,本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案,均落在本发明要求的保护范围。
Claims (5)
1.基于CDN的视频空间分配方法,其特征在于,包括如下步骤:
S1、获取视频点播系统中视频的点播数据;
S2、根据点播数据构建每部视频的用户观看时长服从指数分布模型,确立模型参数与视频评分和用户访问量的二元函数关系;指数分布模型的累积概率公式为其中,1/θ为影片用户观看时长的数学期望的倒数,即模型参数,x为观看时长随机变量,是大于0的任意实数;
S3、构建双层视频分配下载模型,根据二元函数关系预估未知视频的用户观看时长服从指数分布模型参数,并将模型参数带入指数分布,获取模型参数的累积概率,将模型参数的累积概率利用数值分析法带入第一层概率选择优化模型,获取未知视频在满足保障概率前提下的最小用户观看时长的最大估计值,结合未知视频的总时长,获取未知视频需要下载部分占用的实际存储空间,以此为约束,执行第二层空间分配优化模型,获取近端服务器的最佳视频下载分配方案;
第一层概率选择优化模型为:
s.t.Prob(Tk≥tk)≥1-ε;
其中,ε为概率保障参数,tk为视频k的用户观看时长Tk的取值参量;Prob(·)为视频k的用户观看时长Tk的累积概率,可由视频k的用户访问量n和视频评分m根据1/θ与(m,n)的二元函数关系得到视频k的模型参数1/θk,将其带入指数分布,得到相应的累积概率;再根据累积概率公式,即可利用数值分析法快速得到
第二层空间分配优化模型为:
2.根据权利要求1所述的基于CDN的视频空间分配方法,其特征在于,所述点播数据包括视频日均用户访问量、视频评分和用户观看时长。
3.根据权利要求1所述的基于CDN的视频空间分配方法,其特征在于,所述步骤S1中获取至少1000部视频的点播数据。
5.根据权利要求1所述的基于CDN的视频空间分配方法,其特征在于,所述第二层空间分配优化模型转化为0-1背包的计算方法为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810071452.7A CN108322768B (zh) | 2018-01-25 | 2018-01-25 | 基于cdn的视频空间分配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810071452.7A CN108322768B (zh) | 2018-01-25 | 2018-01-25 | 基于cdn的视频空间分配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108322768A CN108322768A (zh) | 2018-07-24 |
CN108322768B true CN108322768B (zh) | 2020-12-01 |
Family
ID=62887770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810071452.7A Active CN108322768B (zh) | 2018-01-25 | 2018-01-25 | 基于cdn的视频空间分配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108322768B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110493649B (zh) * | 2019-09-12 | 2021-08-20 | 重庆市群众艺术馆 | 基于群众满意度的文化馆数字资源加工方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101951395A (zh) * | 2010-08-30 | 2011-01-19 | 中国科学院声学研究所 | 一种基于访问预测的P2P VoD系统服务端的数据缓存策略 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040003391A1 (en) * | 2002-06-27 | 2004-01-01 | Koninklijke Philips Electronics N.V. | Method, system and program product for locally analyzing viewing behavior |
CN103856790B (zh) * | 2012-12-05 | 2018-01-23 | 北京四达时代软件技术股份有限公司 | 一种vod系统用户行为分析方法及系统 |
US9661386B2 (en) * | 2015-02-11 | 2017-05-23 | Google Inc. | Methods, systems, and media for presenting a suggestion to watch videos |
CN107609039B (zh) * | 2017-08-15 | 2020-11-17 | 南京邮电大学 | 基于cdn的热门影片在近端缓存服务器的空间分配方法 |
-
2018
- 2018-01-25 CN CN201810071452.7A patent/CN108322768B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101951395A (zh) * | 2010-08-30 | 2011-01-19 | 中国科学院声学研究所 | 一种基于访问预测的P2P VoD系统服务端的数据缓存策略 |
Also Published As
Publication number | Publication date |
---|---|
CN108322768A (zh) | 2018-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11567973B2 (en) | Feedback loop content recommendation | |
CN103686237B (zh) | 推荐视频资源的方法及系统 | |
US20170161644A1 (en) | Media recommendation using internet media stream modeling | |
CN108595461B (zh) | 兴趣探索方法、存储介质、电子设备及系统 | |
CN104053023B (zh) | 一种确定视频相似度的方法及装置 | |
US20140150005A1 (en) | Content recommendation pre-filtering | |
CN105915602B (zh) | 基于社区检测算法p2p网络的调度方法及其系统 | |
CN103106208A (zh) | 一种移动互联网中的流媒体内容推荐方法和系统 | |
CN103260050A (zh) | 基于Google App Engine云平台的视频点播系统 | |
Zhang et al. | Enhancing the crowdsourced live streaming: A deep reinforcement learning approach | |
CN108521586A (zh) | 兼顾时间上下文与隐式反馈的iptv电视节目个性化推荐方法 | |
US20140149326A1 (en) | Post-processed content recommendation | |
CN110134877A (zh) | 线下移动社交网络中挖掘种子用户的方法和装置 | |
CN108322768B (zh) | 基于cdn的视频空间分配方法 | |
CN111569412B (zh) | 一种云游戏资源调度的方法和装置 | |
CN103002329A (zh) | 一种预测网络视频广告的到达频次表数据的装置及方法 | |
US20140074858A1 (en) | Percent-consumed weighted content recommendation | |
CN109543094B (zh) | 一种基于矩阵分解的隐私保护内容推荐方法 | |
CN107609039B (zh) | 基于cdn的热门影片在近端缓存服务器的空间分配方法 | |
CN107562758B (zh) | 一种推送信息的方法、装置及电子设备 | |
Chen et al. | An Implicit Information Based Movie Recommendation Strategy | |
CN113761272A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
Abdollahpouri et al. | On the synthetic dataset generation for IPTV services based on user behavior | |
Chang et al. | A fast SVC-based channel-recommendation system for an IPTV on a cloud and P2P hybrid platform | |
CN106959865B (zh) | 数据获取和信息推送方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |