CN102510529B - 对节目进行点播量预测和存储调度的方法 - Google Patents
对节目进行点播量预测和存储调度的方法 Download PDFInfo
- Publication number
- CN102510529B CN102510529B CN201110310268.1A CN201110310268A CN102510529B CN 102510529 B CN102510529 B CN 102510529B CN 201110310268 A CN201110310268 A CN 201110310268A CN 102510529 B CN102510529 B CN 102510529B
- Authority
- CN
- China
- Prior art keywords
- program
- input
- neural net
- request amount
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供了一种对节目进行点播量预测和存储调度的方法。该方法主要包括:根据指定天之前设定数量天中的各个节目的点播量获取神经网络的输入数据;根据所述输入数据和所述指定天中的各个节目的点播量对预先建立的神经网络进行训练;根据当前天之前设定数量天中的各个节目的点播量获取训练后的神经网络的输入数据并输入到训练后的神经网络,将所述训练后的神经网络通过计算得到的输出数据作为预测出的所述当前天中的各个节目的点播量。本发明实施例通过采用神经网络来预测节目的点播量,进而获取各个节目的热度,由于三层神经网络可以逼近任意布尔函数的特性,从而提高热门节目预测的准确度和预测的效率。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种对节目进行点播量预测和存储调度的方法。
背景技术
随着网络技术的发展,全球宽度用户规模日益增加,而人们在宽带IP网络上获取的信息也越来越多的以图像、声音以及视频等格式出现。数字化技术极大的方便了视频信息的存储、传输和复制,使得数字视频内容的数量飞速增长。以VOD(Video On Demand,视频点播服务)为代表的视频多媒体点播业务因其交互性和即时性,正在迅速成为互联网的重要应用。
IPTV(Internet Protocol,网络电视)是利用宽带IP网络,以家用电视机或电脑作为终端,提供包括数字电视节目在内的多种数字媒体服务。
在IPTV业务中,点播主要集中在热门节目,准确的预测出热门的节目,可以减小IPTV系统中的内容调整代价,提高资源利用率,提升用户体验等。
现有技术中的一种预测IPTV业务中的热门节目的方法主要包括:根据先验知识人工对PTV业务中的各个节目的热度进行分类。
上述现有技术中的预测IPTV业务中的热门节目的方法的缺点为:该方法对热门节目预测的准确度和效率都比较低下。
发明内容
本发明的实施例提供了一种对节目进行点播量预测和存储调度的方法,以提高热门节目预测的准确度,并提供预测效率。
一种对节目进行点播量预测和存储调度的方法,包括:
根据指定天之前设定数量天中的各个节目的点播量获取神经网络的输入数据;
根据所述输入数据和所述指定天中的各个节目的点播量对预先建立的神经网络进行训练;
根据当前天之前设定数量天中的各个节目的点播量获取训练后的神经网络的输入数据并输入到训练后的神经网络,将所述训练后的神经网络通过计算得到的输出数据作为预测出的所述当前天中的各个节目的点播量。
一种对节目进行点播量预测和存储调度的装置,包括:
输入数据获取模块,用于根据指定天之前设定数量天中的各个节目的点播量获取神经网络的输入数据;
训练处理模块,用于根据所述输入数据获取模块所获取的输入数据和所述指定天中的各个节目的点播量对预先建立的神经网络进行训练;
预测处理模块,用于根据当前天之前设定数量天中的各个节目的点播量获取训练后的神经网络的输入数据并输入到训练后的神经网络,将所述训练后的神经网络通过计算得到的输出数据作为预测出的所述当前天中的各个节目的点播量。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例通过采用神经网络来预测节目的点播量,进而获取各个节目的热度,由于三层神经网络可以逼近任意布尔函数的特性,从而提高热门节目预测的准确度和预测的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种基于神经网络的预测节目的点播量的方法的处理流程图;
图2为本发明实施例二提供的一种在多个节点之间对节目进行存储调度的方法的处理流程图;
图3为本发明实施例三提供的一种对节目进行点播量预测和存储调度的装置的具体结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明实施例的限定。
实施例一
神经网络又称为误差反向传播神经网络,它不仅有输入节点、输出节点,还可以有一层以上的隐藏节点,理论上只含一个隐藏层的三层BP就可以逼近实现任意的布尔函数。因为神经网络具有很好的非线性函数逼近能力,训练速度快等优点,因此采用神经网络进行节目的点播量的预测,可以达到很好的效果。
该实施例提供的一种基于神经网络的预测节目的点播量的方法的处理流程如图1所示,包括如下的处理步骤:
步骤11、确定对神经网络进行训练用的输入、输出数据,对输入数据进行预处理。
针对热门节目预测,由于被预测出来的节目只有两种情况,热门或者非热门,所以本发明实施例中的神经网络的输出数据可以简化成一个二元分类模型。
从点播日志历史数据库中选取指定天,以上述指定天的点播日志为基础对上述神经网络进行训练。
考虑到相邻天对节目的点播量的预测的影响最大,本发明实施例分别取上述指定天的前一天、前两天和设定天的数据和作为对神经网络进行训练用的输入数据。这三个输入数据能兼顾临时增加的新节目和历史中热度高的节目,避免采用单一因素造成的误差。在本发明实施例中,上述设定天为7天。
从点播日志历史数据库中取出上述指定天和上述指定天的前7天的点播日志,统计每天中的每节目的点播量。
根据所述指定天的前一天中的各个节目的点播量获取输入向量所述N为节目总数,所述t表示所述指定天;
根据所述指定天的前两天中的各个节目的点播量获取输入向量
根据所述指定天的前7天中的各个节目的点播量之和获取输入向量
将上述Input1、Input2和Input3对神经网络进行训练用的输入数据。
上述公式中的N为IPTV业务中的节目数量,dt-1,1为上述指定天的前一天中的节目1的点播量,dt-2,1为上述指定天的前两天中的节目1的点播量,
为上述指定天的前7天中的节目1的点播量之和;dt-1,N为上述指定天的前一天中的节目N的点播量,dt-2,N为上述指定天的前两天中的节目N的点播量,为上述指定天的前7天中的节目N的点播量之和。
上述Input1、Input2和Input3可以合并成如下的输入数据矩阵:
上述Input为三维矩阵。
神经网络训练后的输出数据为:
Th为热门节目的判定阈值,超过此阈值则为热门节目,用数字1来表示;否则,为非热门节目,用数字0来表示。
由于IPTV业务中的节目的点播量的波动比较大,直接拿上述输入数据Input进行训练效果不好,为提高神经网络的训练效率,本发明实施例可以采用如下两个步骤对上述输入数据Input进行归一化处理。
步骤1、对上述输入数据Input矩阵中的每个数据值加一并取对数
Input[i][j]=log(Input[i][j]+1)
步骤2、除以上述数据值对应的当天的所有数据值的平均值
其中i为输入的维数,j为节目序号,N为节目总数。
上述步骤1是对输入数据进行压缩变换,以减少数据原始值的差值,上述步骤2是使得输入数据的波动范围较小。
比如,对所述Input1中的每个数据值加一并取对数得到每个数据值1,将所述每个数据值1除以所述Input1中的所有数据值的平均值得到每个数据值2,根据所述每个数据值2组成输入向量Input(1);
对所述Input2中的每个数据值加一并取对数得到每个数据值3,将所述每个数据值3除以所述Input2中的所有数据值的平均值得到每个数据值4,根据所述每个数据值4组成输入向量Input(2);
对所述Input3中的每个数据值加一并取对数得到每个数据值5,将所述每个数据值5除以所述Input3中的所有数据值的平均值得到每个数据值6,根据所述每个数据值6组成输入向量Input(3);
将预处理后获取的上述3个输入向量Input(1)、Input(2)和Input(3)作为对神经网络进行训练用的输入数据。
步骤12、建立神经网络的结构,对神经网络进行训练,确定神经网络的参数的最终值。
本发明实施例采用Matlab R2010b神经网络工具箱建立神经网络。根据多次实验及经验知识,取网络结构为输入层3个节点,隐藏层6个节点,输出层1个节点。输入层的3个节点对应上述Input[1]、Input[2]和Input[3]3个输入向量,输出层1个节点对应1个输出向量。通过以下matlab代码建立神经网络。
hiddenLayerSize=6;
net=patternnet(hiddenLayerSize);
net=trainbfg(net,inputs,targets);
其中hiddenLayerSize为隐藏层节点数,net为构建好的神经网络。inputs为神经网络的输入向量,targets为神经网络的输出向量。在上述神经网络的输入层、隐藏层和输出层之间设置有24个参数,按照已有的经验值设置上述神经网络参数的初始值。上述神经网络工具箱在训练的时候会自动对输入向量进行分析以及设置各个参数的初始值,所以如果一次训练的效果不好,可以采用多次训练的方法来改变各个参数的初始值,然后取训练效果最好的一次。
神经网络的训练中采用trainbfg准牛顿BP算法。通过对上述建立的神经网络进行训练,确定上述神经网络的各个参数的值。神经网络的训练过程如下:
将上述没有经过预处理的3个输入向量Input1、Input2和Input3或者上述预处理后获取的3个输入向量Input(1)、Input(2)和Input(3)输入到上述神经网络,采用trainbfg准牛顿BP算法利用上述神经网络的参数的初始值对上述神经网络进行训练,得到神经网络的输出向量Target,该Target中包括预测出的上述指定天中的每个节目的点播量。将上述输出向量Target和从点播日志历史数据库中取出的上述指定天的点播日志进行比较,根据比较结果对上述神经网络的参数的值进行调整。
然后,再次将上述Input1、Input2和Input3或者Input(1)、Input(2)和Input(3)输入到上述神经网络,采用trainbfg准牛顿BP算法利用调整后的上述神经网络的参数的值对上述神经网络进行训练,得到神经网络的输出向量Target。再次将上述输出向量Target和上述指定天的点播日志进行比较,并根据比较结果对上述神经网络的参数的值再次进行调整。多次重复上述处理过程,直到输出向量Target和上述指定天的点播日志之间的差别小于预定的阈值,则确定上述神经网络的训练过程结束,将最后一次训练过程中用到的上述神经网络的参数的值确定为上述神经网络的参数的最终值。
步骤13:根据上述训练好的神经网络,预测当前天的各个节目的点播数据。
在训练好上述神经网络之后,根据上述训练好的神经网络,预测当前天的各个节目的点播数据。具体预测过程如下:
从点播日志历史数据库中取出当前天和该当前天的前7天的点播日志。
根据所述当前天的前一天中的各个节目的点播量获取输入向量所述N为节目总数,所述t表示所述当前天;
根据所述当前天的前两天中的各个节目的点播量获取输入向量
根据所述当前天的前7天中的各个节目的点播量之和获取输入向量
将所述Input1′、Input2′和Input3′或者通过对所述Input1′、Input2′和Input3′进行预处理得到的Input(1′)、Input(2′)和Input(3′)作为输入数据输入到训练后的神经网络,经过训练后的神经网络的计算得到预测结果outputs,该outputs中包括预测出的当前天中的每个节目的点播量。
根据上述每个节目的点播量可以获取每个节目的热度,设Th为热门节目的判定阈值,点播量超过此阈值的节目为热门节目;否则,为非热门节目。
实施例二
基于上述预测出的当前天中的每个节目的点播量,该实施例提供的一种在多个节点之间对节目进行存储调度的方法的处理流程如图2所示,包括如下的步骤:
步骤21、将选取的节目按照节目的点播量进行分层,按照预定的存储策略将各个层的节目在中心节点和各个边缘节点上进行差异化存储。
将所有的节目按照点播量由高到低进行排序,根据需要选取点播量排名前列的N个节目,将该N个节目按照点播量分为L层,每层阈值为:T1>T2>T3>...>TL,每层存储的节目数对应为:H1,H2,H3,...HL。当上述阈值T1,T2,T3,TL选取不同的值时,H1,H2,H3,...HL的值也相应的不同。
在本发明实施例中,通过一个中心节点和多个边缘节点来存储上述节目,上述多个边缘节点的地理位置比较分散,在每个地区范围内的边缘节点之间、在中心节点附近的边缘节点和中心节点之间通过局域网进行通信,不同地区范围内的边缘节点之间、距离比较远的边缘节点和中心节点之间通过骨干网进行通信。比如,针对一个城市,设置一个中心节点,在上述城市的每个区都设置10个边缘节点,每个区内的边缘节点之间、距离比较近的边缘节点和中心节点之间通过局域网来传输节目数据和通信,不同区的边缘节点之间、距离比较远的边缘节点和中心节点之间通过骨干网来传输节目数据和通信。
先根据需要设定节目的存储策略,按照上述存储策略将各个层的节目在中心节点和各个边缘节点上进行差异化存储。比如,上述存储策略可以为:将阈值比较大的一个或者多个层中的节目在每个边缘节点中都存储,将阈值比较小的一个或者多个层中的节目在部分边缘节点中存储,将阈值最小的一个或者多个层中的节目只在中心节点中存储。在中心节点上存储所有的节目信息。
比如,上述L取4层,即将N个节目按照点播量分为L1、L2、L3和L4层,每层存储的节目数对应为:H1,H2,H3,H4,将L1层中的节目在每个边缘节点都存储,将L2层中的节目在随机选取的1/2的边缘节点中存储,将L3层中的节目在随机选取的1/3的边缘节点中存储,将L4层中的节目只在中心节点中存储,当边缘节点需要L4层中的节目时,可以向中心节点请求该节目,由中心节点通过骨干网将该节目的数据传输给边缘节点。同时在中心节点上存储所有的节目信息。
步骤22、将所有节目的总的存储代价和传输代价相加得到所有节目对应的总代价。
将中心节点和每个边缘节点上存储的节目数相加,得到中心节点和每个边缘节点上存储的节目总数M。设每个节目在中心节点和每个边缘节点上存储的代价为Cs,则所有节目的总的存储代价为M×Cs。
根据中心节点和每个边缘节点上存储的节目情况,以及上述估计出的每个节目的点播量和以前的各个节目点播日志,估计出不同节点之间通过局域网传输节目数据的总代价CLan,不同节点之间通过骨干网传输节目数据的总代价为Cwan。上述当前天对应的CLan和Cwan可以根据当前天之前的设定数量天对应的CLan和Cwan通过估算得到,当前天之前的某天对应的CLan和Cwan的计算方法如下:
提取上述某天的实际点播日志,按照每个节目的点播记录的时间戳排序进行遍历。当某边缘节点上点播了某节目,如果此边缘节点存储了此节目,则这两部分代价为零;如果此边缘节点没有存储此节目,但是和上述某边缘节点位于同一局域网之内的本地其它节点存储了此节目,则局域网传输代价CLan增加;如果和上述某边缘节点位于同一局域网之内的所有本地其它节点都没有存储此节目,则骨干网传输代价Cwan增加;最后,在遍历完成之后,则可得到上述某天对应的CLan和Cwan。
步骤23、多次改变上述节目的分层情况和/或改变上述节目的存储策略,多次计算出所有节目对应的总代价,将最小的总代价对应的节目的分层情况和节目的存储策略确定为节目的最终的分层情况和上述节目的最终的存储策略。
改变上述节目的分层情况和/或改变上述节目的存储策略,比如改变每层的阈值T1,T2,T3,TL,从而改变了每个边缘节点上存储的节目数。重新计算出所有节目对应的总代价:M×Cs+CLan+Cwan。
多次改变上述节目的分层状况和/或改变上述节目的存储策略,并多次计算出所有节目对应的总代价。将最小的总代价对应的节目的分层情况和节目的存储策略确定为节目的最终的分层情况和上述节目的最终存储策略,并按照上述节目的最终的分层情况和上述节目的最终存储策略将各个节目在中心节点和边缘节点上存储。
实施例三
该实施例提供了一种对节目进行点播量预测和存储调度的装置,其具体结构如图3所示,包括:
输入数据获取模块31,用于根据指定天的前设定数量天中的各个节目的点播量获取神经网络的输入数据;
训练处理模块32,用于根据所述输入数据获取模块所获取的输入数据和所述指定天中的各个节目的点播量对预先建立的神经网络进行训练;
预测处理模块33,用于将当前天的前设定数量天中的各个节目的点播量作为输入数据输入到训练后的神经网络,将所述训练后的神经网络通过计算得到的输出数据作为预测出的所述当前天中的各个节目的点播量,进而得到各个节目的热度。
具体的,所述的输入数据获取模块31,还用于根据所述指定天的前一天
中的各个节目的点播量获取输入向量所述N为节目总数,所述
t表示所述指定天;根据所述指定天的前两天中的各个节目的点播量获取输入
向量根据所述指定天的前一周中的各个节目的点播量之和获
取输入向量将所述Input1、Input2和Input3作为对神经网络
进行训练用的输入数据;
或者,
对所述Input1、Input2和Input3进行预处理,该预处理包括:
对所述Input1中的每个数据值加一并取对数得到每个数据值1,将所述每个数据值1除以所述Input1中的所有数据值的平均值得到每个数据值2,根据所述每个数据值2组成输入向量Input(1);
对所述Input2中的每个数据值加一并取对数得到每个数据值3,将所述每个数据值3除以所述Input2中的所有数据值的平均值得到每个数据值4,根据所述每个数据值4组成输入向量Input(2);
对所述Input3中的每个数据值加一并取对数得到每个数据值5,将所述每个数据值5除以所述Input3中的所有数据值的平均值得到每个数据值6,根据所述每个数据值6组成输入向量Input(3);
将所述Input(1)、Input(2)和Input(3)作为对神经网络进行训练用的输入数据。
具体的,所述的训练处理模块32,还用于取神经网络的网络结构为输入层3个节点,隐藏层6个节点,输出层1个节点,输入层的3个节点对应神经网络的3个输入向量,输出层1个节点对应神经网络的1个输出向量,使用神经网络工具箱建立神经网络并设置神经网络的参数的初始值。
将所述对神经网络进行训练用的输入数据输入到所述神经网络,将训练得到的所述神经网络的输出数据和所述指定天中的各个节目的点播量进行比较,根据比较结果对所述神经网络的参数的值进行调整,将所述对神经网络进行训练用的输入数据输入到调整后的神经网络,直到训练得到的所述神经网络的输出数据和所述指定天中的各个节目的点播量之间的差别小于预定的阈值,则确定上述神经网络的训练过程结束。
具体的,所述的预测处理模块33,还用于根据所述当前天的前一天中的
各个节目的点播量获取输入向量所述N为节目总数,所述t表
示所述当前天;
根据所述当前天的前两天中的各个节目的点播量获取输入向量
根据所述当前天的前7天中的各个节目的点播量之和获取输入向量
将所述Input1′、Input2′和Input3′或者通过对所述Input1′、Input2′和Input3′进行预处理得到的Input(1′)、Input(2′)和Input(3′)作为输入数据输入到训练后的神经网络,将所述训练后的神经网络通过计算得到的输出数据作为预测出的所述当前天中的各个节目的点播量。
进一步地,所述的装置还可以包括:
节目存储调度处理模块34,根据所述预测出的所述当前天中的所有节目的点播量将所有节目按照点播量进行分层,按照预定的节目的存储策略将各个层的节目在中心节点和各个边缘节点上进行差异化存储;
将中心节点和每个边缘节点上存储的所有节目的总的存储代价和传输代价相加得到所有节目对应的总代价;
多次改变所述所有节目的分层情况和/或改变所述节目的存储策略,多次计算出所有节目对应的总代价,将最小的总代价对应的所有节目的分层情况和节目的存储策略确定为所有节目的最终的分层情况和节目的最终存储策略。
应用本发明实施例所述的装置进行节目的点播量预测和节目的存储调度的处理过程和上述实施例一、实施例二所述的方法的处理过程相同,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
综上所述,本发明实施例通过采用神经网络来预测节目的点播量,进而获取各个节目的热度,由于三层神经网络可以逼近任意布尔函数的特性,从而提高热门节目预测的准确度和预测的效率。
针对IPTV的应用场景下,本发明实施例分别取上述指定天的前一天、前两天和设定天的数据和作为对神经网络进行训练用的输入数据。这三个输入数据能兼顾临时增加的新节目和历史中热度高的节目,避免采用单一因素造成的误差,使得预测结果更加可靠,精度更高。由于只需要历史数据作为输入,所以神经网络的训练速度快,实用性更强。
在预测节目的点播量和热度的基础上,本发明实施例采取将节目按照点播量分层和存储策略相结合的方案,根据所有节目对应的总代价最小来获取一个最优的节目存储调度方案,达到局域网边缘节点间流量、骨干网流量及磁盘存储等各个部分代价的一个平衡,使节目数据调整的代价最小。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种对节目进行点播量预测和存储调度的方法,其特征在于,包括:
根据指定天之前设定数量天中的各个节目的点播量获取神经网络的输入
数据;具体的:根据所述指定天的前一天中的各个节目的点播量获取输入向
量所述N为节目总数,所述t表示所述指定天;根据所述指定
天的前两天中的各个节目的点播量获取输入向量根据所述指
定天的前一周中的各个节目的点播量之和获取输入向量将
所述Input1、Input2和Input3作为对神经网络进行训练用的输入数据;或者,对
所述Input1、Input2和Input3进行预处理,该预处理包括:对所述Input1中的每
个数据值加一并取对数得到每个数据值1,将所述每个数据值1除以所述Input1
中的所有数据值的平均值得到每个数据值2,根据所述每个数据值2组成输入
向量Input(1);对所述Input2中的每个数据值加一并取对数得到每个数据值3,
将所述每个数据值3除以所述Input2中的所有数据值的平均值得到每个数据值
4,根据所述每个数据值4组成输入向量Input(2);对所述Input3中的每个数据
值加一并取对数得到每个数据值5,将所述每个数据值5除以所述Input3中的所
有数据值的平均值得到每个数据值6,根据所述每个数据值6组成输入向量
Input(3);将所述Input(1)、Input(2)和Input(3)作为对神经网络进行训练用的输入
数据;
根据所述输入数据和所述指定天中的各个节目的点播量对预先建立的神经网络进行训练;
根据当前天之前设定数量天中的各个节目的点播量获取训练后的神经网络的输入数据并输入到训练后的神经网络,将所述训练后的神经网络通过计算得到的输出数据作为预测出的所述当前天中的各个节目的点播量。
2.根据权利要求1所述的方法,其特征在于,所述的根据所述输入数据和所述指定天中的各个节目的点播量对预先建立的神经网络进行训练;
取神经网络的网络结构为输入层3个节点,隐藏层6个节点,输出层1个节点,输入层的3个节点对应神经网络的3个输入向量,输出层1个节点对应神经网络的1个输出向量,使用神经网络工具箱建立神经网络并设置神经网络的参数的初始值;
将所述对神经网络进行训练用的输入数据输入到所述神经网络,将训练得到的所述神经网络的输出数据和所述指定天中的各个节目的点播量进行比较,根据比较结果对所述神经网络的参数的值进行调整,将所述对神经网络进行训练用的输入数据输入到调整后的神经网络,直到训练得到的所述神经网络的输出数据和所述指定天中的各个节目的点播量之间的差别小于预定的阈值,则确定上述神经网络的训练过程结束。
3.根据权利要求2所述的方法,其特征在于,所述的根据当前天之前设定数量天中的各个节目的点播量获取训练后的神经网络的输入数据并输入到训练后的神经网络,将所述训练后的神经网络通过计算得到的输出数据作为预测出的所述当前天中的各个节目的点播量,包括:
根据所述当前天的前一天中的各个节目的点播量获取输入向量所述N为节目总数,所述t表示所述当前天;
根据所述当前天的前两天中的各个节目的点播量获取输入向量
根据所述当前天的前7天中的各个节目的点播量之和获取输入向量
将所述Input1'、Input2'和Input3'或者通过对所述Input1'、Input2'和Input3'进行预处理得到的Input(1')、Input(2')和Input(3')作为输入数据输入到训练后的神经网络,将所述训练后的神经网络通过计算得到的输出数据作为预测出的所述当前天中的各个节目的点播量。
4.根据权利要求1所述的方法,其特征在于,所述的方法还包括:
根据所述预测出的所述当前天中的所有节目的点播量将所有节目按照点播量进行分层,按照预定的存储策略将各个层的节目在中心节点和各个边缘节点上进行差异化存储;
将中心节点和每个边缘节点上存储的所有节目的总的存储代价和传输代价相加得到所有节目对应的总代价;
多次改变所述所有节目的分层情况和/或改变存储策略,多次计算出所有节目对应的总代价,将最小的总代价对应的所有节目的分层情况和存储策略确定为所有节目的最终的分层情况和最终存储策略。
5.一种对节目进行点播量预测和存储调度的装置,其特征在于,包括:
输入数据获取模块,用于根据指定天之前设定数量天中的各个节目的点播量获取神经网络的输入数据;
所述的输入数据获取模块,还用于根据所述指定天的前一天中的各个节
目的点播量获取输入向量所述N为节目总数,所述t表示所述
指定天;根据所述指定天的前两天中的各个节目的点播量获取输入向量根据所述指定天的前一周中的各个节目的点播量之和获取输
入向量将所述Input1、Input2和Input3作为对神经网络进行
训练用的输入数据;或者,对所述Input1、Input2和Input3进行预处理,该预处
理包括:对所述Input1中的每个数据值加一并取对数得到每个数据值1,将所
述每个数据值1除以所述Input1中的所有数据值的平均值得到每个数据值2,根
据所述每个数据值2组成输入向量Input(1);对所述Input2中的每个数据值加一
并取对数得到每个数据值3,将所述每个数据值3除以所述Input2中的所有数据
值的平均值得到每个数据值4,根据所述每个数据值4组成输入向量Input(2);
对所述Input3中的每个数据值加一并取对数得到每个数据值5,将所述每个数
据值5除以所述Input3中的所有数据值的平均值得到每个数据值6,根据所述每
个数据值6组成输入向量Input(3);将所述Input(1)、Input(2)和Input(3)作为对神
经网络进行训练用的输入数据;
训练处理模块,用于根据所述输入数据获取模块所获取的输入数据和所述指定天中的各个节目的点播量对预先建立的神经网络进行训练;
预测处理模块,用于根据当前天之前设定数量天中的各个节目的点播量获取训练后的神经网络的输入数据并输入到训练后的神经网络,将所述训练后的神经网络通过计算得到的输出数据作为预测出的所述当前天中的各个节目的点播量。
6.根据权利要求5所述的对节目进行点播量预测和存储调度的装置,其特征在于:
所述的训练处理模块,还用于取神经网络的网络结构为输入层3个节点,隐藏层6个节点,输出层1个节点,输入层的3个节点对应神经网络的3个输入向量,输出层1个节点对应神经网络的1个输出向量,使用神经网络工具箱建立神经网络并设置神经网络的参数的初始值;
将所述对神经网络进行训练用的输入数据输入到所述神经网络,将训练得到的所述神经网络的输出数据和所述指定天中的各个节目的点播量进行比较,根据比较结果对所述神经网络的参数的值进行调整,将所述对神经网络进行训练用的输入数据输入到调整后的神经网络,直到训练得到的所述神经网络的输出数据和所述指定天中的各个节目的点播量之间的差别小于预定的阈值,则确定上述神经网络的训练过程结束。
7.根据权利要求5或6所述的对节目进行点播量预测和存储调度的装置,其特征在于:
所述的预测处理模块,还用于根据所述当前天的前一天中的各个节目的
点播量获取输入向量所述N为节目总数,所述t表示所述当前
天;
根据所述当前天的前两天中的各个节目的点播量获取输入向量
根据所述当前天的前7天中的各个节目的点播量之和获取输入向量
将所述Input1'、Input2'和Input3'或者通过对所述Input1'、Input2'和Input3'进行预处理得到的Input(1')、Input(2')和Input(3')作为输入数据输入到训练后的神经网络,将所述训练后的神经网络通过计算得到的输出数据作为预测出的所述当前天中的各个节目的点播量。
8.根据权利要求5所述的对节目进行点播量预测和存储调度的装置,其特征在于,所述的装置还包括:
节目存储调度处理模块,根据所述预测出的所述当前天中的所有节目的点播量将所有节目按照点播量进行分层,按照预定的存储策略将各个层的节目在中心节点和各个边缘节点上进行差异化存储;
将中心节点和每个边缘节点上存储的所有节目的总的存储代价和传输代价相加得到所有节目对应的总代价;
多次改变所述所有节目的分层情况和/或改变所述存储策略,多次计算出所有节目对应的总代价,将最小的总代价对应的所有节目的分层情况和节目的存储策略确定为所有节目的最终的分层情况和最终存储策略。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110310268.1A CN102510529B (zh) | 2011-09-22 | 2011-10-13 | 对节目进行点播量预测和存储调度的方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110284070.0 | 2011-09-22 | ||
CN201110284070 | 2011-09-22 | ||
CN201110310268.1A CN102510529B (zh) | 2011-09-22 | 2011-10-13 | 对节目进行点播量预测和存储调度的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102510529A CN102510529A (zh) | 2012-06-20 |
CN102510529B true CN102510529B (zh) | 2014-11-05 |
Family
ID=46222576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110310268.1A Expired - Fee Related CN102510529B (zh) | 2011-09-22 | 2011-10-13 | 对节目进行点播量预测和存储调度的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102510529B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104581215A (zh) * | 2013-10-24 | 2015-04-29 | 中兴通讯股份有限公司 | 一种交互式网络电视内容调度方法及系统 |
CN104053024B (zh) * | 2014-06-19 | 2017-02-01 | 华东师范大学 | 一种基于少量数据的短期视频点播量预测系统 |
CN105095414A (zh) * | 2015-07-10 | 2015-11-25 | 百度在线网络技术(北京)有限公司 | 用于预测网络搜索量的方法和装置 |
CN105635762B (zh) * | 2016-01-15 | 2018-11-27 | 深圳大学 | 一种基于深度信念网络的视频热度预测方法及其系统 |
CN106971310A (zh) * | 2017-03-16 | 2017-07-21 | 国家电网公司 | 一种客户投诉数量预测方法及装置 |
CN107066565A (zh) * | 2017-04-01 | 2017-08-18 | 上海诺悦智能科技有限公司 | 一种旅游热点预测系统 |
CN109688466B (zh) * | 2017-10-18 | 2021-04-27 | 中国电信股份有限公司 | 内容热度预测方法、装置和内容分发网络 |
CN108052382B (zh) * | 2017-12-26 | 2020-12-15 | 银川华信智信息技术有限公司 | 一种i/o调度方法、终端及可读存储介质 |
CN108347652B (zh) * | 2018-02-24 | 2020-01-14 | 华南理工大学 | 一种利用人工神经网络推荐iptv直播频道的方法及系统 |
CN109327710B (zh) * | 2018-12-10 | 2021-08-03 | 网宿科技股份有限公司 | 一种直播系统的视频流的冷热情况确定的方法及装置 |
CN111629217B (zh) * | 2020-04-20 | 2021-11-26 | 南京邮电大学 | 边缘网络环境下基于XGBoost算法的VOD业务缓存优化方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1867190A (zh) * | 2006-06-12 | 2006-11-22 | 北京交通大学 | 基于资源再分配原则的分布智能呼叫接纳控制方法及装置 |
CN101483531A (zh) * | 2008-10-16 | 2009-07-15 | 北京四达时代软件技术股份有限公司 | 一种预测式余额告警的方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05227338A (ja) * | 1992-02-12 | 1993-09-03 | Ricoh Co Ltd | 学習機能を備えた画像形成装置 |
US6947378B2 (en) * | 2001-02-28 | 2005-09-20 | Mitsubishi Electric Research Labs, Inc. | Dynamic network resource allocation using multimedia content features and traffic features |
-
2011
- 2011-10-13 CN CN201110310268.1A patent/CN102510529B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1867190A (zh) * | 2006-06-12 | 2006-11-22 | 北京交通大学 | 基于资源再分配原则的分布智能呼叫接纳控制方法及装置 |
CN101483531A (zh) * | 2008-10-16 | 2009-07-15 | 北京四达时代软件技术股份有限公司 | 一种预测式余额告警的方法及系统 |
Non-Patent Citations (6)
Title |
---|
BP-神经网络算法在分布式VOD系统流量预测中的应用;高鸿斌 等;《河北科技大学学报》;20110630;第32卷(第3期);第269-272页 * |
Jong Ho Park1, et all.Neural Network Hot Spot Prediction Algorithm for Shared Web Caching System.《APWeb 2005》.2005, * |
JP特开平5-227338A 1993.09.03 * |
Neural Network Hot Spot Prediction Algorithm for Shared Web Caching System;Jong Ho Park1, et all;《APWeb 2005》;20051231;第795-806页 * |
李艳 等.基于BP神经网络的课件点播学习质量评价模型.《科技信息(学术版)》.2007,(第24期), * |
高鸿斌 等.BP-神经网络算法在分布式VOD系统流量预测中的应用.《河北科技大学学报》.2011,第32卷(第3期), * |
Also Published As
Publication number | Publication date |
---|---|
CN102510529A (zh) | 2012-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102510529B (zh) | 对节目进行点播量预测和存储调度的方法 | |
Mediwaththe et al. | Game-theoretic electric vehicle charging management resilient to non-ideal user behavior | |
CN112329940A (zh) | 一种结合联邦学习与用户画像的个性化模型训练方法及系统 | |
CN104008028B (zh) | 基于多云存储的智能移动终端数据存储备份方法与系统 | |
CN103974097A (zh) | 基于流行度和社交网络的个性化用户原创视频预取方法及系统 | |
CN107749996A (zh) | 一种用于向用户推送主播信息的方法与设备 | |
CN111314862B (zh) | 雾无线接入网中深度强化学习下带有推荐的缓存方法 | |
CN103973780B (zh) | 一种云视频的资源分配和开销优化方法 | |
Li et al. | Human in the loop: distributed deep model for mobile crowdsensing | |
CN116562399A (zh) | 端边云协同的模型训练方法及装置 | |
CN114039871B (zh) | 一种蜂窝流量预测的方法、系统、装置及介质 | |
CN104581215A (zh) | 一种交互式网络电视内容调度方法及系统 | |
CN111770152B (zh) | 一种边缘数据管理方法、介质、边缘服务器和系统 | |
Shi et al. | CoLEAP: Cooperative learning-based edge scheme with caching and prefetching for DASH video delivery | |
CN113962417A (zh) | 一种视频处理方法、装置、电子设备和存储介质 | |
CN114969547B (zh) | 一种基于多视角增强图注意神经网络的音乐推荐方法 | |
CN105706412B (zh) | 自校正内容递送网络中的带宽策略管理 | |
CN106657238A (zh) | 一种面向交互式工作负载的数据中心粗粒度动态服务器预留算法 | |
Yu et al. | When Connected and Automated Vehicles Meet Mobile Crowdsensing: A Perception and Transmission Framework in the Metaverse | |
Chen et al. | Smart futures based resource trading and coalition formation for real-time mobile data processing | |
CN105554149A (zh) | 一种基于视频排名的视频云存储负载均衡方法及系统 | |
CN109327494A (zh) | 一种面向多任务合作应用的服务质量自适应激励方法 | |
CN103458315B (zh) | 一种基于流行度的p2p流媒体复制方法 | |
US11838600B2 (en) | System and method for modelling access requests to multi-channel content sharing platforms | |
CN107609039B (zh) | 基于cdn的热门影片在近端缓存服务器的空间分配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141105 Termination date: 20201013 |
|
CF01 | Termination of patent right due to non-payment of annual fee |