CN102868936B - 存储视频日志的方法和系统 - Google Patents
存储视频日志的方法和系统 Download PDFInfo
- Publication number
- CN102868936B CN102868936B CN201210328433.0A CN201210328433A CN102868936B CN 102868936 B CN102868936 B CN 102868936B CN 201210328433 A CN201210328433 A CN 201210328433A CN 102868936 B CN102868936 B CN 102868936B
- Authority
- CN
- China
- Prior art keywords
- node
- video
- last
- time series
- daily record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000001932 seasonal effect Effects 0.000 claims description 79
- 238000000605 extraction Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 abstract description 5
- 238000004891 communication Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 15
- 239000012634 fragment Substances 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000013256 coordination polymer Substances 0.000 description 5
- 230000009191 jumping Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种存储视频日志的方法和系统,属于通信领域。所述方法包括:在分布式哈希表DHT网络中,第一强节点接收普通节点上传的视频日志,所述第一强节点根据所述视频日志的标识,使用散列规则查找存储所述视频日志的第二强节点,并将所述视频日志发送给所述第二强节点,所述第二强节点从所述视频日志中提取时间序列,并根据自身存储的所述视频日志对应的时间序列以及所述提取的时间序列的集合,确定自身存储的所述视频日志对应的新的时间序列的集合,根据所述新的时间序列的集合确定所述视频日志对应的视频热度信息。本技术方案使得视频日志能分布式存储,合并相似的视频日志,减小了存储压力,便于视频操作下,视频的流畅观看。
Description
技术领域
本发明涉及通信领域,特别涉及一种存储视频日志的方法和系统。
背景技术
随着移动通信技术的普及,移动带宽的逐渐增大,移动环境下大规模的视频点播(Videoon Demand,VoD)服务正在成为移动互联网快速发展的业务,当前的VoD系统主要采用客户端/服务器(Client/Server,C/S)结构从服务器上存储视频或采用MP2P(Mobile Peer-to-PeerNetwork,移动点对点)无线分布式网络来存储视频。获取视频时,除了顺次播放视频以外,很大部分的用户还进行视频操作,该操作包括播放、暂停、快进和随机跳转等行为;其中,一部分操作需要对视频数据进行跳跃式的访问获取,带来了播放延时高等问题,严重影响了用户的体验效果。这就需要存储视频的同时存储对应该视频用户操作的视频日志以降低上述不利因素。
现有技术通过在C/S结构存储视频日志的方法中,存在一种基于中心化的C/S结构日志服务器模型,其特点是服务器收集用户的视频操作得到视频日志,再基于积累的视频日志分析,评估视频热度信息,从而实现对点播率高的视频内容的优先获取。即服务器收集大批量用户的视频操作轨迹,根据积累的这些操作轨迹,评估出用户最可能跳转的视频内容,进而在移动终端开始通过服务器获取整个视频后,获取视频内容的顺序上,优先对评估出的用户最可能跳转的视频内容进行获取。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
在尝试解决用户视频操作带来的播放时延高问题中,基于中心化的C/S结构则导致了服务器的负载过大而成为系统扩展性及健壮性的瓶颈。对用户视频日志积累的操作轨迹进行简单的收集与存储不仅提高了视频日志分析模型的复杂度,而且也造成了存储空间的浪费。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种存储视频日志的的方法和装置。所述技术方案如下:
一方面,提供了一种存储视频日志的方法,所述方法包括:
在分布式哈希表DHT网络中,第一强节点接收普通节点上传的视频日志;
所述第一强节点根据所述视频日志的标识,使用散列规则查找存储所述视频日志的第二强节点,并将所述视频日志发送给所述第二强节点;
所述第二强节点从所述视频日志中提取时间序列,并根据自身存储的所述视频日志对应的时间序列以及所述提取的时间序列的集合,确定自身存储的所述视频日志对应的新的时间序列的集合;
根据所述新的时间序列的集合确定所述视频日志对应的视频热度信息;
其中,所述第二强节点从所述视频日志中提取时间序列,并根据自身存储的所述视频日志对应的时间序列以及所述提取的时间序列的集合,确定自身存储的所述视频日志对应的新的时间序列的集合,具体包括:
所述第二强节点提取新增加的视频日志中连续的时间序列以及其对应的播放频率;
将新增加的所述时间序列与所述第二强节点存储的所述视频日志对应的时间序列的集合的所有时间序列分别进行差异度计算;
当新增加的所述时间序列与所述时间序列的集合内的任意时间序列计算结果小于阈值时,根据新增加的所述时间序列以及其对应的播放频率与所述任意时间序列以及其对应的播放频率,以预设算法合并得到新的时间序列;
其中,所述新的时间序列对应的播放频率为新增加的所述时间序列播放频率和所述任意时间序列播放频率之和;
根据所述新的时间序列以及其对应的播放频率,和所述第二强节点存储的所述视频日志对应的时间序列的集合中未合并的时间序列以及其对应的播放频率确定新的时间序列的集合。
优选地,所述第一强节点根据所述视频日志的标识,使用散列规则查找存储所述视频日志的第二强节点,并将所述视频日志发送给所述第二强节点,具体包括:
所述第一强节点根据所述视频日志的标识,通过哈希函数计算得到存储所述视频日志的第二强节点的标识;
根据所述第二强节点的标识将所述视频日志发送给所述第二强节点。
优选地,所述根据所述新的时间序列确定所述视频日志对应的视频热度信息,具体包括:
通过所述新的时间序列的集合的各时间序列以及所述各时间序列对应的播放频率,确定所述视频日志对应的视频热度信息。
优选地,所述根据所述新的时间序列确定所述视频日志对应的视频热度信息之后,还包括:
所述第一强节点收到所述普通节点的获取视频热度信息请求时,使用散列规则查询存储所述视频热度信息的第二强节点的标识;
所述第一强节点根据所述第二强节点的标识向所述第二强节点转发所述请求;
当所述第一强节点收到所述视频热度信息后,所述第一强节点将所述视频热度信息返回给所述普通节点,使所述普通节点根据所述视频热度信息优先获得权重高的视频片段。
另一方面,提供了一种获取视频日志的系统,所述系统包括:第一强节点,第二强节点;
所述第一强节点包括:接收模块,发送模块;
接收模块,用于在分布式哈希表DHT网络中,接收普通节点上传的视频日志,使用散列规则查找存储所述视频日志的第二强节点,并将所述视频日志发送给所述第二强节点;
发送模块,用于根据所述视频日志的标识,使用散列规则查找存储所述视频日志的第二强节点,并将所述视频日志发送给所述第二强节点;
所述第二强节点包括:处理模块,确定模块;
处理模块,用于从所述视频日志中提取时间序列,并根据自身存储的所述视频日志对应的时间序列以及所述提取的时间序列的集合,确定自身存储的所述视频日志对应的新的时间序列的集合;
确定模块,用于根据所述新的时间序列的集合确定所述视频日志对应的视频热度信息;
其中,所述处理模块,具体包括:
提取单元,用于提取新增加的视频日志中连续的时间序列以及其对应的播放频率;
第二计算单元,用于将新增加的所述时间序列与所述第二强节点存储的所述视频日志对应的时间序列的集合的所有时间序列分别进行差异度计算;
合并单元,用于当新增加的所述时间序列与所述时间序列的集合内的任意时间序列计算结果小于阈值时,根据新增加的所述时间序列以及其对应的播放频率与所述任意时间序列以及其对应的播放频率,以预设算法合并得到新的时间序列;
其中,所述新的时间序列对应的播放频率为新增加的所述时间序列播放频率和所述任意时间序列播放频率之和;
处理单元,用于根据所述新的时间序列以及其对应的播放频率,和所述第二强节点存储的所述视频日志对应的时间序列的集合中未合并的时间序列以及其对应的播放频率确定新的时间序列的集合。
优选地,所述发送模块,具体包括:
第一计算单元,用于根据所述视频日志的标识,通过哈希函数计算得到存储所述视频日志的第二强节点的标识;
发送单元,用于根据所述第二强节点的标识将所述视频日志发送给所述第二强节点。
优选地,所述确定模块,具体用于:
通过所述新的时间序列的集合的各时间序列以及所述各时间序列对应的播放频率,确定所述视频日志对应的视频热度信息。
优选地,所述第一强节点,还包括:
查询模块,用于所述第一强节点收到所述普通节点的获取视频热度信息请求时,使用散列规则查询存储所述视频热度信息的第二强节点的标识;
转发模块,用于所述第一强节点根据所述第二强节点的标识向所述第二强节点转发所述请求;
返回模块,用于当所述第一强节点收到所述视频热度信息后,所述第一强节点将所述视频热度信息返回给所述普通节点,使所述普通节点根据所述视频热度信息优先获得权重高的视频片段。
本发明实施例提供的技术方案带来的有益效果是:
本实施例通过分布式哈希表DHT网络中,第一强节点接收普通节点上传的视频日志,根据该视频日志的标识以散列规则查找存储视频日志的第二强节点,将该视频日志发送给该第二强节点存储,该第二强节点从该视频日志提取时间序列,并根据自身存储的该视频日志对应的时间序列以及该提取的时间序列的集合,确定该第二强节点存储的该视频日志对应的新的时间序列的集合,根据该新的视频日志集合确定该视频日志对应的视频信息,使得视频日志能够分布式存储,合并相似的视频日志,减小了存储视频日志的压力,从中效率地确定视频热度信息,便于视频操作下,视频的流畅观看。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种存储视频日志的方法流程图;
图2是本发明实施例二提供的一种存储视频日志的系统架构图;
图3是本发明实施例二提供的一种存储视频日志的方法流程图;
图4是本发明实施例二提供的一种接收视频日志的实例图;
图5是本发明实施例二提供的一种查找用于存储上传视频日志的第二强节点的实例图;
图6是本发明实施例二提供的一种查找用于存储上传视频日志的第二强节点的示意图;
图7是本发明实施例二提供的一种创建或添加接收到的视频日志记录到视频热度信息表的实例图;
图8是本发明实施例三提供的一种存储视频日志的系统结构示意图;
图9是本发明实施例三提供的一种发送模块的结构示意图;
图10是本发明实施例三提供的一种处理模块的结构示意图;
图11是本发明实施例三提供的另一种存储视频日志的系统结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
参见图1,本实施例提供了一种存储视频日志的方法,具体如下:
步骤110:在分布式哈希表DHT网络中,第一强节点接收普通节点上传的视频日志;
步骤120:该第一强节点根据该视频日志的标识,使用散列规则查找存储该视频日志的第二强节点,并将该视频日志发送给该第二强节点;
步骤130:该第二强节点从该视频日志中提取时间序列,并根据自身存储的该视频日志对应的时间序列以及该提取的时间序列的集合,确定该第二强节点存储的该视频日志对应的新的时间序列的集合;
步骤140:根据该新的时间序列的集合确定该视频日志对应的视频热度信息。
本实施例提供的技术方案带来的有益效果是:
本实施例通过分布式哈希表DHT网络中,第一强节点接收普通节点上传的视频日志,根据该视频日志的标识以散列规则查找存储视频日志的第二强节点,将该视频日志发送给该第二强节点存储,该第二强节点从该视频日志提取时间序列,并根据自身存储的该视频日志对应的时间序列以及该提取的时间序列的集合,确定该第二强节点存储的该视频日志对应的新的时间序列的集合,根据该新的视频日志集合确定该视频日志对应的视频信息,使得视频日志能够分布式存储,合并相似的视频日志,减小了存储视频日志的压力,从中效率地确定视频热度信息,便于视频操作下,视频的流畅观看。
实施例二:
图2是本发明实施例所对应的一种存储视频的系统架构:
移动网络中相对有较高性能和稳定性的强节点组成的基于Chord(一种规整化的p2p网络协议)结构的DHT(Distributed Hash Table,分布式哈希表)网络:
具体地,本实施例的强节点可以是不限地域的服务器、基站、移动终端等覆盖范围比较广,较稳定的节点,而强节点的主要作用是确定视频热度信息、搜索视频热度信息、保存视频日志以及向普通节点发送视频热度信息,同时为普通节点提供接入服务、接收连接它的普通节点发送的视频日志、周期性地分析视频日志以及评估视频热度信息、发布视频日志分析结果给其他处于该DHT网络中的强节点,其中视频日志指视频操作记录。
另外,Chord结构是在文件查询时,每个文件索引表示为一个(K、V),K称为关键字,可以是文件名或者文件属性的哈希值,V表示实际存储的资源。Chord中每个关键字和节点都分别拥有一个m比特的标识。关键字标识K通过将文件名进行哈希函数计算得到,而节点标识N则通过哈希节点的IP地址得到。哈希函数可以选用SHA-1。所有节点按照其节点标识符从小到大(取模2m后)沿着顺时针方向排列在一个逻辑的标识圆环上(称为Chord环)。Chord的映射规则是:关键字标识为K的(K,V)对存储在这样的节点上,该节点的节点标识等于K标识或者在Chord环上序列紧跟在K之后的下一个标识,这个节点被称为K的后继节点,表示为successor(K)。因为标识符采用m位二进制数表示,并且从0到2m-1顺序排列成一个圆圈,succesor(K)就是从K开始顺时针方向距离K最近的节点。
另一方面,网络中的其他移动节点为普通节点——例如用户持有的移动终端,构成下层网络,下层网络中的普通节点检测并分别随机接入该DHT网络中的某个强节点,主要作用是周期性地上传视频日志、发送视频热度信息请求、从强节点下载视频热度信息、最后对应整个视频各个部分不同的权重值,根据权重值从高到低对视频片段进行逐个获取,而不是顺序获取视频片段,具体获取的调度如图2。整个上传视频日志存储到获取视频热度信息的循环的系统架构最终使得预取缓冲区根据权重值从高到低对视频片段进行逐个获取,播放缓冲区按顺序组织获取的各个视频片段。
其中,被当前普通节点接入的强节点视为第一强节点。
在此系统架构的基础上,参见图3,本实施例提供了一种存储视频的方法,方法如下:
步骤210:在分布式哈希表DHT网络中,第一强节点接收普通节点上传的视频日志。
其中,对应步骤210算法流程如下:
步骤211:普通节点随机检查并连接DHT网络中的一个强节点,作为第一强节点;
步骤212:普通节点首先周期性地检查本地是否有视频日志,如果到达周期时本地有视频正在播放,则顺延到播放结束,若本地有视频日志,则执行步骤213流程,反之,则结束;
步骤213:普通节点取得本地所有的视频日志,上传至与其连接的第一强节点;
步骤214:第一强节点接收普通节点上传的所有视频日志到本地。
结合一个抽象实例,对应步骤210,进一步说明第一强节点接收普通节点上传的视频日志的过程,主要包括:
SP(r)表示第r个第一强节点;CP(i)表示第i个普通节点。
假设CP(i)进入到系统并与SP(r)相连,到达播放周期,当CP(i)观看videos时,顺延到videos结束,它将相关的视频记录上传至SP(r)。
如图4所示,假定CP(i)根据以下所示顺序观看视频,则视频日志上传将以如下流程实现:
a)观看VideoID(x)并且执行两次视频操作:视频日志(a)和视频日志(b);
b)观看VideoID(y)并且执行一次视频操作:视频日志(c);
c)观看VideoID(z)并且执行两次视频操作:视频日志(d)和视频日志(e);
d)CP(i)向SP(r)上传视频日志(a)、视频日志(b)、视频日志(c)、视频日志(d)和视频日志(e);
e)SP(r)接收视频日志(a)、视频日志(b)、视频日志(c)、视频日志(d)和视频日志(e)。
其中,VideoID(i)表示第i个普通节点正在播放的视频ID。
视频日志包括四个组成部分:VideoID、Start Position、Duration和Jump Position。分别表示为:视频ID(用来唯一标识网络中的视频资源)、视频的起始位置、视频持续时间和用户跳跃至下一个片段的位置。此划分方法仅供举例,其他划分不再赘述。
步骤220:该第一强节点根据该视频日志的标识,使用散列规则查找存储该视频日志的第二强节点,并将该视频日志发送给该第二强节点。
其中,对应步骤220算法流程如下:
步骤221:第一强节点根据视频日志的标识,通过哈希函数计算得到存储该视频日志的第二强节点的标识。
具体地,第一强节点将收集至本地的视频日志,根据该视频日志的标识,通过哈希函数计算进行分类,得到存储该视频日志的第二强节点的标识。
步骤222:根据该第二强节点的标识将该视频日志发送给该第二强节点。
具体地,第一强节点将所有分好类别的视频日志分发到Chord环上对应的第二强节点。
其中,第一强节点以视频ID为标识进行哈希函数计算,将计算后得到的标识在Chord环结构的DHT网络中查找后继节点标识,该后继节点标识为第二强节点的标识,第二强节点是对应该第二强节点标识的用于存储视频日志的强节点。如果视频ID经过哈希函数计算得到的后继节点就是第一强节点本身,那么第一强节点和第二强节点是相同的。此时第一强节点收到视频日志后不用转发,直接在该强节点本地存储。
继续上例,如图5,对应该步骤,进一步说明第一强节点查找存储该视频日志的第二强节点,并将该视频日志发送给该第二强节点的过程,主要顺序如下:
a)SP(r)把接收到的视频记录根据VideoID(x)、VideoID(y)和VideoID(z)进行分类。
b)SP(r)将分类的视频记录按散列规则传送给Chord环上的对应第二强节点。例如,SPID(s)或SPID(t)与Successor(VideoID(j))相匹配,则SP(r)将Video(j)(j∈{x,y,z})的视频操作记录传送到SPID(s)或SPID(t)。Successor(VideoID(j))表示为关键字VideoID(j)的后继节点。
更具体地,单举一种情况如图6所示,假设Chord结构中有3个SP强节点,他们的标识为0、1、3;某普通节点随机连接SP(1),检查有上述3个视频VideoID(x),VideoID(y),VideoID(z)日志资源集合需要上传,强节点SP(1),按照他们的ID作为标识通过哈希函数计算后得到对应的标识1、2、6。再将他们根据散列规则分别存储在作为后继节点的第二强节点上,即强节点SP(1)对应的标识为1,得到的对应的标识为1的VideoID(x)的视频日志(a)和视频日志(b)发送给标识为1的强节点SP(1),得到的对应的标识为2的VideoID(y)的视频日志(c)发送给其后继节点,即对应的标识为3强节点SP(3)上,得到的对应的标识为6的VideoID(z)的视频日志(d)和视频日志(e)发送给其后继节点,即对应的标识为0的强节点SP(0)上。
步骤230:该第二强节点从该视频日志中提取时间序列,并根据自身存储的该视频日志对应的时间序列以及该提取的时间序列的集合,确定该第二强节点存储的该视频日志对应的新的时间序列的集合。
在本步骤前,收到步骤220日志分发的第二强节点通过日志中的视频ID在本地进行匹配查找;若查找得到本地已经有该视频的视频日志信息表,则在该表中直接添加新的视频日志信息;若本地没有该视频的视频日志信息表,则先创建关于该视频的视频日志信息表,后添加被上传的视频日志。
该视频热度信息表包括三个组成部分:VideoID、视频List和Popularity。分别表示为视频ID,视频列表(用来存储所有用户视频操作记录即视频日志)和视频块热度信息(用来保存热度信息分析结果,并作为对视频块预取的依据)。
继续上例,如图7所示,第二强节点创建或添加接收到的视频日志记录到视频热度信息表,流程如下:
a)SP(s)增加一条记录(VideoID(x),视频日志(a),视频日志(b),Popularity)到它的表格。
b)SP(t)增加两条记录,(VideoID(y),视频日志(c),Popularity)和(VideoID(z),视频日志(d),视频日志(e),Popularity)到它的表格。
c)假设有另外一个普通节点观看VideoID(z)并执行了视频的两次操作(视频(f),视频(g))。因为VideoID(z)的视频列表已经在SP(t)中存在,SP(t)只需按照先后顺序将视频(f)和视频(g)插入到视频列表中。
第二强节点创建或添加接收到的视频日志记录到视频热度信息表之后,对应步骤230算法流程如下:
根据该新的时间序列以及其对应的播放频率,和该第二强节点存储的该视频日志对应的时间序列的集合中未合并的时间序列以及其对应的播放频率确定新的时间序列的集合。
步骤231:第二强节点提取新增加的视频日志中连续的时间序列以及其对应的播放频率。
具体地,定义用户收看的视频日志为{S1,S2,S3,…,Sk,…,Sn},其中,Sk表示用户收看了视频的第Sk秒。例如,用户收看的视频日志为{1,2,3,51,52,53,54,7,8,9}则表示用户观看了视频的第1秒到第3秒。然后跳转到第51秒观看,当观看到第54秒时,又跳回到第7秒,当收看到第9秒后结束观看。基于改进的时间序列挖掘算法PrefixSpan从大数据量用户收看日志中提取连续的时间序列。例如,如果一个原始用户收看日志为{1,7,8,9,22},那么该算法将会提取时间序列<7,8,9>。而由于上述视频日志信息表包括四个组成部分:VideoID、StartPosition、Duration和Jump Position,所以依据本实施例的记录方法得到的序列方式将类似{5,6,7,14}的形式,那么经过该算法将会提取类似<5,6,7>形式的时间序列。另外,由于是周期性分析,以上新增加的时间序列可能不唯一。
步骤232:第二强节点将新增加的该时间序列与该第二强节点存储的该视频日志对应的时间序列的集合的所有时间序列分别进行差异度计算。
即便用户做相同的操作,观看序列并不会完全相同。例如一个相同的视频,内容都是在视频后半部某个片段比较精彩,同样都想直接跳到这一片段,甲用户手动快进,跳到附近观看了时间序列<a1,b1,c1,d1>,用户乙同样手动快进,跳到附近观看了时间序列<a2,b2,c2,d2>,这两种具有微小差别的视频操作本质上是可以合并的。
所以将新增加的时间序列与该第二强节点存储的该视频日志对应的时间序列集合内所有时间序列分别进行差异度计算,以找到所有可与该新增加的时间序列合并的相似时间序列。因此,定义d(Pi,Pj)为两个模式Pi和Pj之间的差异程度,分别进行两两判断,如下差异度计算公式:
d(Pi,Pj)=[(Pi·b-Pj·b)α+(Pi.e-Pj.e)α]1/α α>1 (1)
在上述公式(1)中,(Pi,Pj)是任意两个时间序列,b是任意时间序列的开始片段值,e是任意时间序列的结束片段值,α是一个平衡参数。Pi.b,Pi.e分别表示时间序列Pi的开始片段值和结束片段值,Pj.b,Pj.e分别表示时间序列Pj的开始片段值和结束片段值,例如,对于时间序列<7,8,9,10>,P.b=7,P.e=10。
步骤233:当新增加的该时间序列与该时间序列的集合内的任意时间序列计算结果小于阈值时,根据新增加的该时间序列以及其对应的播放频率与该任意时间序列以及其对应的播放频率,以预设算法合并得到新的时间序列。
具体地,为步骤232中的d(Pi,Pj)设置一个最大值作为阈值以决定当前任意时间序列是否是新增加的时间序列的相似时间序列,若计算结果大于该阈值,则直接进入步骤234。
若计算结果小于该阈值,则将该任意时间序列视为新增加的时间序列的相似时间序列。时间序列的集合内的时间序列和新增加的时间序列以该阈值全部判断完成后,第二强节点分别获取这些相似时间序列以及这些时间序列在视频日志中出现的频率,结合新增加的该时间序列以及其对应的播放频率,以下列方法合并计算得到新的时间序列:
定义S(i)是对应新增加的时间序列i和对应该时间序列i的相似时间序列的集合。定义N为S(i)中元素Pij(j=1,2,…,)在用户观看日志该时间序列里出现的频率。因为每个元素频率N(Pij)并不相等,因此,为每个子集元素Pij增加一个量值Rij计算每个元素频率N(Pij)在整个集合频率中所占得比重,如下公式所示:
因此,新合并的时间序列可以使用以下公式计算得出:
其中,S(i).b为新合并的时间序列的开始片段值,S(i).b为新合并的时间序列的结束片段值。
例如,现在V集合存在相似子集S(1)包括新增加的提取的时间序列<6,7,8,9>5次,存储的相似时间序列<7,8,9,10>10次;S(2)包括新增加提取的时间序列<21,22,23,24>4次,存储的相似时间序列<20,22,23>7次,存储的相似时间序列<19,20,23>2次。
以相似子集S(1)为例:
根据公式(2)计算R11=5÷(5+10)=1/3,R12=10÷(5+10)=2/3带入公式(3)、(4);
S(1).b=1/3×6+2/3×7≈6.66,S(1).e=1/3×9+2/3×10≈9.66。
所以合并得到从6.66到9.66连续的时间序列,次数是合并前子集时间序列次数的和,即该新的时间序列对应的播放频率为新增加的该时间序列播放频率和该任意时间序列播放频率之和,这里是15次。
步骤234、确定新的时间序列的集合。
经过步骤233的合并后,根据该新的时间序列以及其对应的播放频率,和该第二强节点存储的该视频日志对应的时间序列的集合中未合并的时间序列以及其对应的播放频率确定新的时间序列的集合。
另外,如果提取的当前新增加的时间序列不唯一,则处理当前新增加的时间序列时,以上一个新增加的时间序列确定的新的时间序列的集合作为当前第二强节点储存的该视频日志对应的时间序列的集合,依次重复步骤232至步骤234,直到顺次执行完所有步骤231种新增加的时间序列为止,得到最终该视频日志对应的新的时间序列集合,具体过程不再赘述。
而如果经过差异度计算后新增加的时间序列判断无需进行合并,则将新增加的该时间序列以及其对应的播放频率和自身存储的该视频日志对应的时间序列的集合直接确定为对应该视频的新的时间序列的集合。
步骤240:该根据该新的时间序列确定该视频日志对应的视频热度信息。
通过该新的时间序列的集合的各时间序列以及该各时间序列对应的播放频率,确定该视频日志对应的视频热度信息。
具体地第二强节点计算新的时间序列的集合的各时间序列的热度信息并存储,合并相似模式后,可以利用强化学习算法(Reinforcement Learning Algorithm)来学习日志内容的变化过程,并对日志变化程度进行有效地分析,确定该视频日志对应的视频热度信息,从而为用户预测热度较高的视频块内容。
日志分析完成后,第二强节点可以将以该视频热度信息表的格式把对应该视频的视频热度信息添加到视频热度信息数据库中。
另一方面,当根据该新的时间序列的集合确定该视频日志对应的视频热度信息之后,普通节点观看视频,请求下载该视频的视频热度信息时,第二强节点是对应该第二强节点标识的存储有该视频热度信息的强节点。具体步骤如下:
步骤250:该第一强节点收到该普通节点的获取视频热度信息请求时,使用散列规则查询存储该视频热度信息的第二强节点的标识。
其中,对应步骤250算法流程如下:
步骤251:普通节点随机检查并连接DHT网络中的一个第一强节点;
步骤252:普通节点收看视频资源,并将向其连接的第一强节点发送该视频热度信息下载请求;
步骤253:第一强节点收到该视频热度信息下载请求,根据请求信息中的视频ID计算哈希函数得到对应的标识,以该标识在finger表中查找持有该视频日志信息的对应的第二强节点的标识。
步骤260:该第一强节点根据该第二强节点的标识向该第二强节点转发该请求。
其中,对应步骤260算法流程如下:
步骤261:第一强节点根据查找到的第二强节点的标识向持有视频日志信息的对应的第二强节点转发视频热度信息下载请求;
步骤262;收到转发请求的第二强节点根据视频ID在本地视频热度信息数据库中匹配查找对应该视频的视频热度信息;
步骤263:收到转发请求的第二强节点把查询结果返回给向其转发热度信息请求的第一强节点。
步骤270:当该第一强节点收到该视频热度信息后,该第一强节点将该视频热度信息返回给该普通节点,使该普通节点根据该视频热度信息优先获得权重高的视频片段。
具体地,当该第一强节点收到该视频热度信息后,该第一强节点将该视频热度信息返回给该普通节点,使该普通节点根据该视频热度信息优先顺次获取观众最常观看的视频片段。
本实施例的有益效果是,通过移动网络中,Chord结构的DHT网络的分布式多强节点的系统架构,使得传输交流视频相关的日志和热度信息时,视频获取用户始终可以搜索到相应的接入点,实现快速稳定的信息传输;系统架构内该第一强节点根据该视频日志的标识,使用散列规则查找存储该视频日志的第二强节点,并将该视频日志发送给该第二强节点,通过将标识经过哈希函数计算多节点分散存储,提升了系统的稳定度以及容量,利于视频日志的存储;第二强节点周期性地根据存储的视频日志提取新增加的时间序列,与自身存储的时间序列的集合中的相似时间序列合并,确定新的时间序列的集合,确定模块根据新的时间序列的集合得到视频热度信息,进一步有效地降低了日志的存储压力及日志分析模型的复杂度,进而提高了对热度视频块的预测精度;当普通节点获取视频时,该第一强节点收到该普通节点的获取视频热度信息请求,使用散列规则查询存储该视频热度信息的第二强节点的标识,转发下载请求给该第二强节点,从该第二强节点得到视频热度信息返回该普通节点,使其优先获得权重高的视频片断。使得用户在稳定、精简的chord结构的DHT网络的分布式多强节点的存储视频日志的系统构架下,合并相似的视频日志,减少存储视频日志的压力,进而得到视频热度信息,根据该视频热度信息先后获取视频的热度片段,便于视频操作下,视频的流畅观看。
实施例三
图8所示,本实施例提供了一种存储视频日志的系统,该系统用于执行上述实施例一和实施例二所提供的存储视频日志的方法。该存储视频日志的系统具体包括:第一强节点310,第二强节点320;
所述第一强节点310包括:接收模块311,发送模块312;
接收模块311,用于在分布式哈希表DHT网络中,接收普通节点上传的视频日志,使用散列规则查找存储所述视频日志的第二强节点,并将所述视频日志发送给所述第二强节点;
发送模块312,用于根据所述视频日志的标识,使用散列规则查找存储所述视频日志的第二强节点,并将所述视频日志发送给所述第二强节点;
所述第二强节320点包括:处理模块321,确定模块322;
处理模块321,用于从所述视频日志中提取时间序列,并根据自身存储的所述视频日志对应的时间序列以及所述提取的时间序列的集合,确定自身存储的所述视频日志对应的新的时间序列的集合;
确定模块322,用于根据所述新的时间序列的集合确定所述视频日志对应的视频热度信息。
进一步,如图9,所述发送模块312,具体包括:
第一计算单元3121,用于根据所述视频日志的标识,通过哈希函数计算得到存储所述视频日志的第二强节点的标识;
发送单元3122,用于根据所述第二强节点的标识将所述视频日志发送给所述第二强节点。
进一步,如图10,所述处理模块321,具体包括:
提取单元3211,用于提取新增加的视频日志中连续的时间序列以及其对应的播放频率;
第二计算单元3212,用于将新增加的所述时间序列与所述第二强节点存储的所述视频日志对应的时间序列的集合的所有时间序列分别进行差异度计算;
合并单元3213,用于当新增加的所述时间序列与所述时间序列的集合内的任意时间序列计算结果小于阈值时,根据新增加的所述时间序列以及其对应的播放频率与所述任意时间序列以及其对应的播放频率,以预设算法合并得到新的时间序列;
其中,所述新的时间序列对应的播放频率为新增加的所述时间序列播放频率和所述任意时间序列播放频率之和;
处理单元3214,用于根据所述新的时间序列以及其对应的播放频率,和所述第二强节点存储的所述视频日志对应的时间序列的集合中未合并的时间序列以及其对应的播放频率确定新的时间序列的集合。
进一步,所述确定模块322,具体用于:
通过所述新的时间序列的集合的各时间序列以及所述各时间序列对应的播放频率,确定所述视频日志对应的视频热度信息。
进一步,如图11,所述第一强节点310,还包括:
查询模块313,用于所述第一强节点收到所述普通节点的获取视频热度信息请求时,使用散列规则查询存储所述视频热度信息的第二强节点的标识;
转发模块314,用于所述第一强节点根据所述第二强节点的标识向所述第二强节点转发所述请求;
返回模块315,用于当所述第一强节点收到所述视频热度信息后,所述第一强节点将所述视频热度信息返回给所述普通节点,使所述普通节点根据所述视频热度信息优先获得权重高的视频片段。
本实施例的有益效果是,通过移动网络中,Chord结构的DHT网络的分布式多强节点的系统架构,使得传输交流视频相关的日志和热度信息时,视频获取用户始终可以搜索到相应的接入点,实现快速稳定的信息传输;系统架构内该第一强节点310的发送模块312根据该视频日志的标识,使用散列规则查找存储该视频日志的第二强节点320,并将该视频日志发送给该第二强节点,通过将标识经过哈希函数计算多节点分散存储,提升了系统的稳定度以及容量,利于视频日志的存储;第二强节点320的处理模块321周期性地根据存储的视频日志提取新增加的时间序列,与自身存储的时间序列的集合中的相似时间序列合并,确定新的时间序列的集合,确定模块322根据新的时间序列的集合得到视频热度信息,进一步有效地降低了日志的存储压力及日志分析模型的复杂度,进而提高了对热度视频块的预测精度;当普通节点获取视频时,该第一强节点310通过查询模块313收到该普通节点的获取视频热度信息请求,使用散列规则查询存储该视频热度信息的第二强节点的标识,通过转发模块314转发下载请求给该第二强节点,通过返回模块315从该第二强节点得到视频热度信息返回该普通节点,使其优先获得权重高的视频片断。使得用户在稳定、精简的chord结构的DHT网络的分布式多强节点的存储视频日志的系统构架下,合并相似的视频日志,减少存储视频日志的压力,进而得到视频热度信息,根据该视频热度信息先后获取视频的热度片段,便于视频操作下,视频的流畅观看。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种存储视频日志的方法,其特征在于,所述方法包括:
在分布式哈希表DHT网络中,第一强节点接收普通节点上传的视频日志;
所述第一强节点根据所述视频日志的标识,使用散列规则查找存储所述视频日志的第二强节点,并将所述视频日志发送给所述第二强节点;
所述第二强节点从所述视频日志中提取时间序列,并根据自身存储的所述视频日志对应的时间序列以及所述提取的时间序列的集合,确定自身存储的所述视频日志对应的新的时间序列的集合;
根据所述新的时间序列的集合确定所述视频日志对应的视频热度信息;
其中,所述第二强节点从所述视频日志中提取时间序列,并根据自身存储的所述视频日志对应的时间序列以及所述提取的时间序列的集合,确定自身存储的所述视频日志对应的新的时间序列的集合,具体包括:
所述第二强节点提取新增加的视频日志中连续的时间序列以及其对应的播放频率;
将新增加的所述时间序列与所述第二强节点存储的所述视频日志对应的时间序列的集合的所有时间序列分别进行差异度计算;
当新增加的所述时间序列与所述时间序列的集合内的任意时间序列计算结果小于阈值时,根据新增加的所述时间序列以及其对应的播放频率与所述任意时间序列以及其对应的播放频率,以预设算法合并得到新的时间序列;
其中,所述新的时间序列对应的播放频率为新增加的所述时间序列播放频率和所述任意时间序列播放频率之和;
根据所述新的时间序列以及其对应的播放频率,和所述第二强节点存储的所述视频日志对应的时间序列的集合中未合并的时间序列以及其对应的播放频率确定新的时间序列的集合。
2.根据权利要求1所述的方法,其特征在于,所述第一强节点根据所述视频日志的标识,使用散列规则查找存储所述视频日志的第二强节点,并将所述视频日志发送给所述第二强节点,具体包括:
所述第一强节点根据所述视频日志的标识,通过哈希函数计算得到存储所述视频日志的第二强节点的标识;
根据所述第二强节点的标识将所述视频日志发送给所述第二强节点。
3.根据权利要求1所述的方法,其特征在于,所述根据所述新的时间序列确定所述视频日志对应的视频热度信息,具体包括:
通过所述新的时间序列的集合的各时间序列以及所述各时间序列对应的播放频率,确定所述视频日志对应的视频热度信息。
4.根据权利要求1所述的方法,其特征在于,所述根据所述新的时间序列确定所述视频日志对应的视频热度信息之后,还包括:
所述第一强节点收到所述普通节点的获取视频热度信息请求时,使用散列规则查询存储所述视频热度信息的第二强节点的标识;
所述第一强节点根据所述第二强节点的标识向所述第二强节点转发所述请求;
当所述第一强节点收到所述视频热度信息后,所述第一强节点将所述视频热度信息返回给所述普通节点,使所述普通节点根据所述视频热度信息优先获得权重高的视频片段。
5.一种存储视频日志的系统,其特征在于,所述系统包括:第一强节点,第二强节点;
所述第一强节点包括:接收模块,发送模块;
接收模块,用于在分布式哈希表DHT网络中,接收普通节点上传的视频日志,使用散列规则查找存储所述视频日志的第二强节点,并将所述视频日志发送给所述第二强节点;
发送模块,用于根据所述视频日志的标识,使用散列规则查找存储所述视频日志的第二强节点,并将所述视频日志发送给所述第二强节点;
所述第二强节点包括:处理模块,确定模块;
处理模块,用于从所述视频日志中提取时间序列,并根据自身存储的所述视频日志对应的时间序列以及所述提取的时间序列的集合,确定自身存储的所述视频日志对应的新的时间序列的集合;
确定模块,用于根据所述新的时间序列的集合确定所述视频日志对应的视频热度信息;
其中,所述处理模块,具体包括:
提取单元,用于提取新增加的视频日志中连续的时间序列以及其对应的播放频率;
第二计算单元,用于将新增加的所述时间序列与所述第二强节点存储的所述视频日志对应的时间序列的集合的所有时间序列分别进行差异度计算;
合并单元,用于当新增加的所述时间序列与所述时间序列的集合内的任意时间序列计算结果小于阈值时,根据新增加的所述时间序列以及其对应的播放频率与所述任意时间序列以及其对应的播放频率,以预设算法合并得到新的时间序列;
其中,所述新的时间序列对应的播放频率为新增加的所述时间序列播放频率和所述任意时间序列播放频率之和;
处理单元,用于根据所述新的时间序列以及其对应的播放频率,和所述第二强节点存储的所述视频日志对应的时间序列的集合中未合并的时间序列以及其对应的播放频率确定新的时间序列的集合。
6.根据权利要求5所述的系统,其特征在于,所述发送模块,具体包括:
第一计算单元,用于根据所述视频日志的标识,通过哈希函数计算得到存储所述视频日志的第二强节点的标识;
发送单元,用于根据所述第二强节点的标识将所述视频日志发送给所述第二强节点。
7.根据权利要求5所述的系统,其特征在于,所述确定模块,具体用于:
通过所述新的时间序列的集合的各时间序列以及所述各时间序列对应的播放频率,确定所述视频日志对应的视频热度信息。
8.根据权利要求6所述的系统,其特征在于,所述第一强节点,还包括:
查询模块,用于所述第一强节点收到所述普通节点的获取视频热度信息请求时,使用散列规则查询存储所述视频热度信息的第二强节点的标识;
转发模块,用于所述第一强节点根据所述第二强节点的标识向所述第二强节点转发所述请求;
返回模块,用于当所述第一强节点收到所述视频热度信息后,所述第一强节点将所述视频热度信息返回给所述普通节点,使所述普通节点根据所述视频热度信息优先获得权重高的视频片段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210328433.0A CN102868936B (zh) | 2012-09-06 | 2012-09-06 | 存储视频日志的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210328433.0A CN102868936B (zh) | 2012-09-06 | 2012-09-06 | 存储视频日志的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102868936A CN102868936A (zh) | 2013-01-09 |
CN102868936B true CN102868936B (zh) | 2015-06-10 |
Family
ID=47447493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210328433.0A Expired - Fee Related CN102868936B (zh) | 2012-09-06 | 2012-09-06 | 存储视频日志的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102868936B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485461B (zh) * | 2016-09-08 | 2020-02-04 | 东软集团股份有限公司 | 记录流程日志的方法和装置 |
CN109558305B (zh) * | 2017-09-27 | 2022-05-27 | 北京国双科技有限公司 | 日志数据排序方法及装置 |
CN107992538B (zh) * | 2017-11-24 | 2021-10-01 | 银联商务股份有限公司 | 报文日志生成方法、装置、查询方法及信息处理系统 |
CN108111844B (zh) * | 2017-12-27 | 2019-11-15 | 北京奇艺世纪科技有限公司 | 一种视频服务质量的监测方法、装置及系统 |
CN108509979B (zh) * | 2018-02-28 | 2022-03-11 | 努比亚技术有限公司 | 一种异常检测方法、服务器及计算机可读存储介质 |
CN108966041B (zh) * | 2018-07-18 | 2020-10-20 | 创新先进技术有限公司 | 一种音视频播放埋点方法、装置、设备、计算机可读存储介质 |
CN109670593B (zh) * | 2018-12-21 | 2021-03-23 | 深圳致星科技有限公司 | 一种评估、以及预测深度学习模型中层计算时间的方法 |
CN110971976B (zh) * | 2019-11-22 | 2021-08-27 | 中国联合网络通信集团有限公司 | 一种音视频文件分析方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1829321A (zh) * | 2005-02-28 | 2006-09-06 | 索尼株式会社 | 信息处理的方法和装置 |
EP1750212A1 (en) * | 2005-08-01 | 2007-02-07 | Sony Corporation | Information-processing apparatus, reproduction apparatus, communication method and computer program |
CN101060453A (zh) * | 2006-04-20 | 2007-10-24 | 索尼株式会社 | 电子设备以及日志输出方法 |
CN101496005A (zh) * | 2005-12-29 | 2009-07-29 | 亚马逊科技公司 | 具有网络服务客户接口的分布式存储系统 |
CN102314474A (zh) * | 2010-06-24 | 2012-01-11 | 索尼公司 | 信息处理装置、信息处理系统、信息处理方法和程序 |
CN102523500A (zh) * | 2011-12-21 | 2012-06-27 | Tcl王牌电器(惠州)有限公司 | 基于云计算的广告过滤方法、系统及其数字电视装置 |
-
2012
- 2012-09-06 CN CN201210328433.0A patent/CN102868936B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1829321A (zh) * | 2005-02-28 | 2006-09-06 | 索尼株式会社 | 信息处理的方法和装置 |
EP1750212A1 (en) * | 2005-08-01 | 2007-02-07 | Sony Corporation | Information-processing apparatus, reproduction apparatus, communication method and computer program |
CN101496005A (zh) * | 2005-12-29 | 2009-07-29 | 亚马逊科技公司 | 具有网络服务客户接口的分布式存储系统 |
CN101060453A (zh) * | 2006-04-20 | 2007-10-24 | 索尼株式会社 | 电子设备以及日志输出方法 |
CN102314474A (zh) * | 2010-06-24 | 2012-01-11 | 索尼公司 | 信息处理装置、信息处理系统、信息处理方法和程序 |
CN102523500A (zh) * | 2011-12-21 | 2012-06-27 | Tcl王牌电器(惠州)有限公司 | 基于云计算的广告过滤方法、系统及其数字电视装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102868936A (zh) | 2013-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102868936B (zh) | 存储视频日志的方法和系统 | |
Tang et al. | Location-aware collaborative filtering for QoS-based service recommendation | |
CN101409706B (zh) | 一种边缘网络中的数据分发方法、数据分发系统及相关设备 | |
CN106028071A (zh) | 一种视频推荐方法及系统 | |
Xu et al. | Ant-inspired mini-community-based solution for video-on-demand services in wireless mobile networks | |
CN105631707A (zh) | 基于决策树的广告点击率预估方法与应用推荐方法及装置 | |
US20080097994A1 (en) | Method of extracting community and system for the same | |
CN103379158A (zh) | 一种社交网络中推荐好友信息的方法及系统 | |
CN103618787B (zh) | 一种网页展现系统和方法 | |
CN104348859B (zh) | 文件同步方法、装置、服务器、终端及系统 | |
CN102571839A (zh) | 基于用户社会属性的p2p内容分发方法及系统 | |
CN103685476B (zh) | 利用网页模板实现网页展现的方法和网页模板服务器 | |
CN101729593A (zh) | 一种上传和接收文件的方法、系统及装置 | |
CN104426979A (zh) | 一种基于社交关系的分布式缓存调度系统与方法 | |
CN105915602A (zh) | 基于社区检测算法p2p网络的调度方法及其系统 | |
CN102438004A (zh) | 获取媒体文件的元数据信息的方法、系统及多媒体播放器 | |
He et al. | Optimal prefetching scheme in P2P VoD applications with guided seeks | |
CN115017159A (zh) | 数据处理方法及装置、存储介质及电子设备 | |
CN101540785A (zh) | 基于iptv系统的网页访问方法、终端和服务平台 | |
CN101287102B (zh) | 一种基于弹性重叠网络的存储流媒体数据下载方法 | |
CN100561477C (zh) | 基于关键字和分类共享的搜索方法和系统 | |
CN111552831B (zh) | 一种音乐推荐的方法及服务器 | |
CN102025645A (zh) | 一种用于在对等网络中进行数据调度的方法 | |
CN103457976A (zh) | 数据下载方法和系统 | |
CN100473041C (zh) | 一种p2p系统中查找种子的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150610 |