CN105721883B - 一种云存储系统中基于溯源信息的视频共享方法与系统 - Google Patents

一种云存储系统中基于溯源信息的视频共享方法与系统 Download PDF

Info

Publication number
CN105721883B
CN105721883B CN201410734130.8A CN201410734130A CN105721883B CN 105721883 B CN105721883 B CN 105721883B CN 201410734130 A CN201410734130 A CN 201410734130A CN 105721883 B CN105721883 B CN 105721883B
Authority
CN
China
Prior art keywords
video
source
request
traces
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410734130.8A
Other languages
English (en)
Other versions
CN105721883A (zh
Inventor
华宇
彭斌
冯丹
刘进军
左鹏飞
孙园园
吴林谦
冯周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201410734130.8A priority Critical patent/CN105721883B/zh
Publication of CN105721883A publication Critical patent/CN105721883A/zh
Application granted granted Critical
Publication of CN105721883B publication Critical patent/CN105721883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了云存储系统中基于溯源信息的视频共享方法。系统客户端收集视频溯源信息,客户端上传共享的视频及相关视频溯源信息,服务器根据客户端上传的视频溯源信息建立溯源图。云存储系统服务器接收到视频下载请求后,在溯源图中查找所述请求下载视频的起始视频,若查找到起始视频存在于云存储系统中,则根据BFS(广度优先遍历)算法选择一条从所述起始视频到所述请求下载视频的代价最小的路径,依照该路径重新生成所述请求下载的视频并发送给客户端。云存储系统以视频的访问热度值、存储代价和重新生成代价作为视频压缩的依据。本发明能够充分利用云的计算能力来减少视频存储的空间开销。

Description

一种云存储系统中基于溯源信息的视频共享方法与系统
技术领域
本发明属于计算机数据存储技术领域,更具体地,涉及一种云存储系统中基于溯源信息的视频共享方法与系统。
背景技术
2011年,IDC发布报告显示2011年全球数据总量为1.8ZB,预测到2020年,总量会达到35ZB,“大数据”时代已经到来。随着视频编辑软件以及数码相机和智能手机的广泛使用,同时用户可以方便地通过网络上传或下载视频,视频共享平台中的近似视频数据急剧增加。现有的视频共享平台多以云存储系统来存储和管理视频,因为云存储系统可以基于系统或者应用而提供不同服务管理策略,并且云存储系统支持根据业务使用情况自动的增加和缩减存储空间,同时利用重复数据删除技术,提升存储资源的利用率。视频共享系统中的视频的被访问频度分布大致符合Zipf规则,随着时间推移,大部分视频被访问的次数越来越少。随着计算机技术的发展,处理器的计算能力也越来越强,在很多某些存储空间很大的应用场景下都可以以计算换取存储空间。视频共享系统中大量重复的视频不仅浪费了存储空间,也给视频的有效管理带来不便,同时用户在网络上查找感兴趣的视频时返回过多的重复结果也会影响共享系统中的用户体验。因此为了减少视频的存储空间,提升用户体验,更有效的视频去重技术就很有必要。
现有的视频共享方法主要存在以下问题,近似视频的数量多,存储开 销大,而现有的块级数据去重技术并不适合近似视频,视频的转码操作和部分编辑操作没有改变视频的语义,却使其视频的数据流完全变化,这导致块级的视频去重技术不能有效的压缩此类近似视频,降低了云存储系统的存储空间利用率。
发明内容
针对现有技术的缺陷,本发明的目的在于提供一种基于溯源信息的视频共享服务方法,旨在解决现有的视频共享系统中无法实现的对内容相似的重复视频进行压缩的问题,其能充分利用近似视频之间的溯源关系实现视频的压缩,减少存储空间,并具有良好的可扩展性。
为了实现上述目的,按照本发明的一个方面,提供了一种云存储系统中基于溯源信息的视频共享方法,包括如下步骤:
(1)云存储系统客户端收集视频的编辑操作,根据这些编辑操作生成视频溯源信息,视频溯源信息包括视频编辑操作信息、视频大小、最后一次访问时间、视频访问热度值和视频编辑操作执行时间;云存储系统服务器端接收云存储系统客户端上传的视频溯源信息,并根据视频溯源信息,生成2个溯源图,其中溯源图T1用于记录视频之间的生成关系,溯源图T2用于记录视频之间的被生成关系,这两个溯源图都是有向图,图中节点代表视频,边代表溯源信息,溯源图T1中边的方向代表视频之间的生成关系,溯源图T2中边的方向代表视频之间的被生成关系;
(2)当云存储系统服务器接收到客户端的视频上传请求后,如果在云存储系统服务器查找到所述请求上传的视频,则无需上传所述请求上传的视频;如果未在云存储系统服务器中查找到所述请求上传的视频,则在溯源图中查找判断能否根据云存储系统中已有的视频和溯源图中的视频溯源 信息重新生成所述请求上传的视频,若能重新生成所述请求上传的视频,则不用上传所述请求上传的视频,否则上传所述请求上传的视频;
(3)当云存储系统服务器接收到客户端的视频下载请求后,如果在云存储系统服务器查找到所述请求下载的视频,则将所述视频发送给客户端;如果未在云存储系统服务器中查找到所述请求下载的视频,则转步骤(4);
(4)在溯源图T2中查找所述请求下载的视频的任意一个存在于云存储系统中的起始视频;再在溯源图T1中查找从所述起始视频到所述请求下载的视频之间的最小路径,所述最小路径是指从所述起始视频开始,利用溯源信息重新生成所述请求下载的视频花费时间最少的路径;
(5)根据从所述起始视频到所述请求下载的视频之间的最小路径,生成所述请求下载的视频,并将所述请求下载的视频发送给客户端;
(6)获得所述最小路径上的视频的最后一次访问时间,并根据所述最小路径上的视频的最后一次访问时间以更新所述最小路径上的视频最后一次访问时间及其访问热度,将所述最小路径上的视频更新后的最后一次访问时间和访问热度更新到所述溯源图T1和溯源图T2中;
(7)扫描溯源图T1或溯源图T2中的视频,根据溯源图中的视频溯源信息对云存储系统中的视频进行压缩,其中所述溯源信息包括视频编辑操作信息、最后一次访问时间、视频访问热度、视频大小以及视频生成时间。
进一步的,所述步骤(1)包括以下子步骤,
(1-1)在视频编辑软件中添加溯源信息收集模块,溯源信息收集模块收集视频的编辑操作,根据这些编辑操作生成视频溯源信息;
(1-2)云存储系统客户端上传共享视频溯源信息;
(1-3)云存储系统服务器查找判断所述视频溯源信息中的起始视频是否存在于云存储系统中,是的话则转(1-5),否则转(1-4);
(1-4)云存储系统服务器在溯源图T1中查找所述请求上传的溯源信息中的起始视频是否存在,是的话转(1-5),否则云存储系统服务器舍弃所述视频溯源信息,上传结束;
(1-5)根据客户端上传的所述视频溯源信息,云存储服务器生成或更新溯源图T1、T2,其中溯源图T1用于记录视频之间的生成关系,溯源图T2用于记录视频之间的被生成关系,这两个溯源图都是有向图,图中节点代表视频,边代表溯源信息,溯源图T1中边的方向代表视频之间的生成关系,由起始视频指向被生成视频,溯源图T2中边的方向代表视频之间的被生成关系,由被生成视频指向起始视频;
进一步的,所述步骤(2)包括以下子步骤,
(2-1)根据所述请求上传视频的元数据,在云存储系统服务器中查找所述请求上传视频,若所述请求上传视频存在于云存储系统服务器中,则无需上传所述请求上传视频,否则转(2-2);
(2-2)利用上述请求上传视频的元数据据信息在溯源图T2中查找所述请求上传的视频的所有起始视频,若所述请求上传的视频至少有一个起始视频存在于云存储系统中,则不需上传所述请求上传的视频,否则上传所述请求上传的视频,并将所述请求上传视频元数据信息存入子图表中,所述子图表保存溯源图T1中的子图的根节点视频信息。
进一步的,所述步骤(4)包括以下子步骤,
(4-1)根据所述请求下载的视频的元数据信息,在溯源图T2中使用 广度优先查找算法或深度优先查找算法查找与所述请求下载的视频距离最近的起始视频,若查找到一个起始视频,转(4-2),否则,查找结束,发送信息告诉客户端所述请求下载的视频不存在;
(4-2)根据所述起始视频的元数据信息,在溯源图T1中使用DFS算法查找从所述起始视频到所述请求下载的视频之间的最小路径。
进一步的,所述步骤(4.1)包括以下子步骤,
(4-1-1)设置双亲节点集Pset,初始化为空集,将所述请求下载视频加入到Pset中,设置查找层数i,初始化为0;
(4-1-2)在所述溯源图T2中使用BFS算法查找Pset中所有视频的相关视频,清除Pset中原有元素,将所述相关视频加入Pset中,将其查找层数i加1;若i大于指定层数M,未找到起始视频,结束查找,否则转(4-1-3);
(4-1-3)若Pset中有视频存在于云存储系统中,则找到所述起始视频,结束查找,否则转(4-1-2);
进一步的,所述步骤(4.2)包括以下子步骤,
(4-2-1)以所述起始视频为根节点,在溯源图T1中使用DFS算法查找所述请求下载视频,将找到的所述起始视频到所述请求下载视频的第一条路径设为最短路径S;
(4-2-2)若所述起始视频到所述请求下载视频只有一条路径,所述最短路径就是S,查找直接结束,不止一条路径,转(4-2-3);
(4-2-3)在溯源图T1中使用DFS算法查找继续查找,若没有找到新的路径,结束查找,否则,转(4-2-4);
(4-2-4)新的路径为R,若R小于S,则将R作为新的最短路径S, 转(4-2-3),R小于S是指路径R上保存的溯源信息中的视频生成时间之和小于路径S上保存的溯源信息中的视频生成时间之和。
进一步的,所述步骤(6)包括以下子步骤,
(6-1)获得所述最小路径上的视频的最后一次访问时间,在溯源图T1和溯源图T2中读取的所述最小路径上的视频的最后一次访问时间,两者相减,得到所述最小路径上的视频最近两次访问的时间间隔Tn
(6-2)视频访问热度由n次访问中的每两次访问时间间隔决定,创建视频为第0次访问视频,随后从第1次访问视频到第n次访问,每两次访问之间的时间间隔分别为T1,T2,…,Tn,则这段时间内视频访问热度Fn=1/T1*a(n-1)+2/T2*a(n-2)+…+n/Tn*a(0)=∑i/Ti*a(n-i)=Fn-1*a+n/Tn,F0=0,0<a<1,a为递减系数。这样就得到随时间衰减的所述最小路径上的视频访问热度更新公式为Fn=Fn-1*a+1/Tn,以所述公式所述更新所述最小路径上的视频的访问热度;
(6-3)将所述最小路径上的视频更新后的访问热度及最后一次访问时间更新到所述溯源图T1和溯源图T2中。
进一步的,所述步骤(7)包括以下子步骤,
(7-1)顺序扫描子图表,获取溯源图T1中子图的起始视频信息,若子图表扫描结束,则操作结束,否则转(7-2);
(7-2)顺序扫描溯源图T1中的各个子图,从每个子图中的根节点出发使用BFS算法扫描子图中的所有视频,执行步骤(7-3);子图扫描结束,转(7-1);
(7-3)根据视频访问热度值Fn、存储代价值S和重新生成代价值R计 算得到视频压缩值Y,存储代价值S为视频大小,重新生成代价值R为视频重新生成时间,Y=m*F+n*S+l*R,m、n、l的值都是根据云存储系统需求设定。视频压缩值Y大于设定的阀值,则删除该文件,实现压缩存储。
按照本发明的另一方面,还提供了一种云存储系统中基于溯源信息的视频共享系统,包括视溯源图生成模块、视频上传模块、视频下载模块、最小路径查找模块、视频生成模块,溯源图更新模块以及扫描压缩模块,其中:
所述溯源图生成模块,用于通过云存储系统客户端收集视频的编辑操作,根据这些编辑操作生成视频溯源信息,视频溯源信息包括视频编辑操作信息、视频大小、最后一次访问时间、视频访问热度值和视频编辑操作执行时间;云存储系统服务器端接收云存储系统客户端上传的视频溯源信息,并根据视频溯源信息,生成2个溯源图,其中溯源图T1用于记录视频之间的生成关系,溯源图T2用于记录视频之间的被生成关系,这两个溯源图都是有向图,图中节点代表视频,边代表溯源信息,溯源图T1中边的方向代表视频之间的生成关系,溯源图T2中边的方向代表视频之间的被生成关系;
所述视频上传模块,用于在云存储系统服务器接收到客户端的视频上传请求后,如果在云存储系统服务器查找到所述请求上传的视频,则无需上传所述请求上传的视频;如果未在云存储系统服务器中查找到所述请求上传的视频,则在溯源图中查找判断能否根据云存储系统中已有的视频和溯源图中的视频溯源信息重新生成所述请求上传的视频,若能重新生成所述请求上传的视频,则不用上传所述请求上传的视频,否则上传所述请求 上传的视频;
所述视频下载模块,用于在云存储系统服务器接收到客户端的视频下载请求后,如果在云存储系统服务器查找到所述请求下载的视频,则将所述视频发送给客户端;如果未在云存储系统服务器中查找到所述请求下载的视频,则转最小路径查找模块;
所述最小路径查找模块,用于在溯源图T2中查找所述请求下载的视频的任意一个存在于云存储系统中的起始视频;再在溯源图T1中查找从所述起始视频到所述请求下载的视频之间的最小路径,所述最小路径是指从所述起始视频开始,利用溯源信息重新生成所述请求下载的视频花费时间最少的路径;
所述视频生成模块,用于根据从所述起始视频到所述请求下载的视频之间的最小路径,生成所述请求下载的视频,并将所述请求下载的视频发送给客户端;
所述溯源图更新模块,用于获得所述最小路径上的视频的最后一次访问时间,并根据所述最小路径上的视频的最后一次访问时间以更新所述最小路径上的视频最后一次访问时间及其访问热度,将所述最小路径上的视频更新后的最后一次访问时间和访问热度更新到所述溯源图T1和溯源图T2中;
所述扫描压缩模块,用于扫描溯源图T1或溯源图T2中的视频,根据溯源图中的视频溯源信息对云存储系统中的视频进行压缩。
通过本发明所构思的以上技术方案,与现有技术相比,具有以下的有益效果:
1、充分利用了相似视频之间的溯源关系。在步骤(1)中,内容相似的视频之间的溯源信息被记录下来,只保存起始视频以及中间溯源信息,可以实现对近似视频的高程度压缩。
2、满足了可扩展性的要求。在存储视频时,若溯源图T1和溯源图T2中存在所述视频的视频溯源信息,则只需存储所述视频的起始视频和溯源信息,而不必存储所述视频;视频溯源信息占的空间很小,视频数量的迅速增加只会引起溯源信息的缓慢增长,从而保证了云存储系统的空间节省和高效管理。
附图说明
图1为本发明的整体框架图;
图2为本发明的视频溯源信息收集上传细化流程图;
图3为本发明的上传视频的流程图;
图4为本发明的下载视频的流程图;
图5为本发明的溯源图中查找起始视频的细化流程图;
图6为本发明的溯源图中查找视频重生路径的细化流程图;
图7为本发明的视频扫描压缩过程的细化流程图;
图8为本发明的各个模块关系示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本 发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明提供了一种基于溯源信息的视频共享服务方法,包括以下步骤:
步骤一,云存储系统客户端收集视频的编辑操作,根据这些编辑操作生成视频溯源信息,视频溯源信息包括视频编辑操作信息、视频大小、最后一次访问时间、视频访问热度值和视频编辑操作执行时间;云存储系统服务器端接收云存储系统客户端上传的视频溯源信息,并根据视频溯源信息,生成2个溯源图,其中溯源图T1用于记录视频之间的生成关系,溯源图T2用于记录视频之间的被生成关系,这两个溯源图都是有向图,图中节点代表视频,边代表溯源信息,溯源图T1中边的方向代表视频之间的生成关系,溯源图T2中边的方向代表视频之间的被生成关系;其实施过程如附图2所示;本步骤包括如下子步骤:
(1-1)在视频编辑软件中添加溯源信息收集模块,溯源信息收集模块收集视频的编辑操作,根据这些编辑操作生成视频溯源信息;
(1-2)云存储系统客户端上传共享视频溯源信息;
(1-3)云存储系统服务器查找判断所述视频溯源信息中的起始视频是否存在于云存储系统中,是的话则转(1-5),否则转(1-4);
(1-4)云存储系统服务器在溯源图T1中查找所述请求上传的溯源信息中的起始视频是否存在,是的话转(1-5),否则云存储系统服务器舍弃所述视频溯源信息,上传结束;
(1-5)根据客户端上传的所述视频溯源信息,生成或更新溯源图T1、 T2,其中溯源图T1用于记录视频之间的生成关系,溯源图T2用于记录视频之间的被生成关系,这两个溯源图都是有向图,图中节点代表视频,边代表溯源信息,溯源图T1中边的方向代表视频之间的生成关系,由起始视频指向被生成视频,溯源图T2中边的方向代表视频之间的被生成关系,由被生成视频指向起始视频,其中起始视频定义如下:
若视频A经过操作可以生成视频B,而视频B经过操作又可生成C,则视频C的起始视频为视频B和视频A,视频B的起始视频为视频A。
步骤二,当云存储系统服务器接收到客户端的视频上传请求后,如果在云存储系统服务器查找到所述请求上传的视频,则无需上传所述请求上传的视频;如果未在云存储系统服务器中查找到所述请求上传的视频,则在溯源图中查找判断能否根据云存储系统中已有的视频和溯源图中的视频溯源信息重新生成所述请求上传的视频,若能重新生成所述请求上传的视频,则不用上传所述请求上传的视频,否则上传所述请求上传的视频。其实施过程如下,具体过程见附图3所示:
(2-1)根据所述请求上传视频的元数据,在云存储系统服务器中查找所述请求上传视频,若所述请求上传视频存在于云存储系统服务器中,则无需上传所述请求上传视频,否则转(2-2);
(2-2)中在利用该元数据信息在溯源图T2中查找所述请求上传的视频的所有起始视频,若所述请求上传的视频至少有一个起始视频存在于云存储系统中,则不需上传所述请求上传的视频,否则上传所述请求上传的视频,并将所述请求上传视频元数据信息存入子图表中,所述子图表保存溯源图T1中的子图的根节点视频信息,所述子图表B在云存储系统扫描压 缩视频时会用到。
步骤三、四、五、六是客户端发送视频下载请求后可能会触发云存储系统执行的一个整体操作流程,其具体流程见附图4所示:
步骤三,当云存储系统服务器接收到客户端的视频下载请求后,如果在云存储系统服务器查找到所述请求下载的视频,则将所述视频发送给客户端;如果未在云存储系统服务器中查找到所述请求下载的视频,则转步骤四;
步骤四,在溯源图T2中查找所述请求下载的视频的任意一个存在于云存储系统中的起始视频,再在溯源图T1中查找从所述起始视频到所述请求下载的视频之间的最小路径,所述最小路径是指从所述起始视频开始,利用溯源信息重新生成所述请求下载的视频花费时间最少的路径,其实施过程如下分为两大步骤:
(4-1)根据所述请求下载的视频的元数据信息,在溯源图T2中使用BFS算法(广度优先查找,从所述请求下载的视频开始,按层次优先遍历)查找与所述请求下载的视频距离最近的起始视频,此过程也可以使用图查找算法中另外一种的DFS算法,但是查找得到的起始视频是距离所述请求下载视频最近的起始视频的概率很低,而BFS可以保证得到的起始视频是距离所述请求下载视频最近的起始视频,若查找到一个起始视频,转(4-2),否则,查找结束,发送信息告诉客户端所述请求下载的视频不存在;其实施过程如下,具体过程见附图5所示:
(4-1-1)设置双亲节点集Pset,初始化为空集,将所述请求下载视频加入到Pset中,设置查找层数i,初始化为0;
(4-1-2)在所述溯源图T2中使用BFS算法查找Pset中所有视频的相关视频,清除Pset中原有元素,将所述相关视频加入Pset中,将其查找层数i加1;若i大于指定层数M,未找到起始视频,结束查找,否则转(4-1-3);
(4-1-3)若Pset中有视频存在于云存储系统中,则找到所述起始视频,结束查找,否则转(4-1-2);
(4-2)根据所述起始视频的元数据信息,在溯源图T1中使用DFS算法(深度优先查找,从所述请求下载的视频开始,按路径优先遍历)查找从所述起始视频到所述请求下载的视频之间的最小路径;其实施过程如下,具体过程见附图6所示:
(4-2-1)以所述起始视频为根节点,在溯源图T1中使用DFS算法查找所述请求下载视频,将找到的所述起始视频到所述请求下载视频的第一条路径设为最短路径S;
(4-2-2)若所述起始视频到所述请求下载视频只有一条路径,所述最短路径就是S,查找直接结束,不止一条路径,转(4-2-3);
(4-2-3)在溯源图T1中使用DFS算法查找继续查找,若没有找到新的路径,结束查找,否则,转(4-2-4);
(4-2-4)新的路径为R,若R小于S,则将R作为新的最短路径S,转(4-2-3),R小于S是指路径R上保存的溯源信息中的视频生成时间之和小于路径S上保存的溯源信息中的视频生成时间之和;
步骤五,根据从所述起始视频到所述请求下载的视频之间的最小路径,生成所述请求下载的视频,并将所述请求下载的视频发送给客户端;
步骤六,获得所述最小路径上的视频的最后一次访问时间,并根据所 述最小路径上的视频的最后一次访问时间以更新所述最小路径上的视频最后一次访问时间及其访问热度,将所述最小路径上的视频更新后的最后一次访问时间和访问热度更新到所述溯源图T1和溯源图T2中。具体实施过程分为以下三步骤:
(6-1)获得所述最小路径上的视频的最后一次访问时间,在溯源图T1和溯源图T2中读取的所述最小路径上的视频的最后一次访问时间,两者相减,得到所述最小路径上的视频最近两次访问的时间间隔Tn
(6-2)视频访问热度由n次访问中的每两次访问时间间隔决定,创建视频为第0次访问视频,随后从第1次访问视频到第n次访问,每两次访问之间的时间间隔分别为T1,T2,…,Tn,则这段时间内视频访问热度Fn=1/T1*a(n-1)+2/T2*a(n-2)+…+n/Tn*a(0)=∑i/Ti*a(n-i)=Fn-1*a+n/Tn,F0=0,0<a<1,a为递减系数。这样就得到随时间衰减的所述最小路径上的视频访问热度更新公式为Fn=Fn-1*a+1/Tn,以所述公式所述更新所述最小路径上的视频的访问热度;
(6-3)将所述最小路径上的视频更新后的访问热度及最后一次访问时间更新到所述溯源图T1和溯源图T2中;
步骤七,扫描溯源图T1或溯源图T2中的视频,根据溯源图中的视频溯源信息对云存储系统中的视频进行压缩,其中所述溯源信息包视频编辑操作信息、最后一次访问时间、视频访问热度、视频大小以及视频生成时间。其实施过程如下,具体过程见附图7所示:
(7-1)顺序扫描子图表,获取溯源图T1中子图的起始视频信息,若子图表扫描结束,则操作结束,否则转(7-2);
(7-2)根据步骤(7-1)中得到的子图的起始视频信息顺序扫描溯源图T1中的各个子图,从每个子图中的根节点出发使用BFS算法扫描子图中的所有视频,执行步骤(7-3),子图扫描结束,转(7-1);
(7-3)根据视频访问热度值Fn、存储代价值S和重新生成代价值R计算得到视频压缩值Y,存储代价值S为视频大小,重新生成代价值R为视频重新生成时间,Y=m*F+n*S+l*R,m、n、l的值是根据云存储系统需求设定,视频压缩值Y大于设定的阀值,则删除所述视频,实现压缩存储。
所述共享系统包括视溯源图生成模块、视频上传模块、视频下载模块、最小路径查找模块、视频生成模块、溯源图更新模块以及扫描压缩模块,各个模块的关系见附图8所示,其具体功能和细节如下:
所述溯源图生成模块,用于通过云存储系统客户端收集视频的编辑操作,根据这些编辑操作生成视频溯源信息,视频溯源信息包括视频编辑操作信息、视频大小、最后一次访问时间、视频访问热度值和视频编辑操作执行时间;云存储系统服务器端接收云存储系统客户端上传的视频溯源信息,并根据视频溯源信息,生成2个溯源图,其中溯源图T1用于记录视频之间的生成关系,溯源图T2用于记录视频之间的被生成关系,这两个溯源图都是有向图,图中节点代表视频,边代表溯源信息,溯源图T1中边的方向代表视频之间的生成关系,溯源图T2中边的方向代表视频之间的被生成关系;
所述视频上传模块,用于在云存储系统服务器接收到客户端的视频上传请求后,如果在云存储系统服务器查找到所述请求上传的视频,则无需上传所述请求上传的视频;如果未在云存储系统服务器中查找到所述请求 上传的视频,则在溯源图中查找判断能否根据云存储系统中已有的视频和溯源图中的视频溯源信息重新生成所述请求上传的视频,若能重新生成所述请求上传的视频,则不用上传所述请求上传的视频,否则上传所述请求上传的视频;
所述视频下载模块,用于在云存储系统服务器接收到客户端的视频下载请求后,如果在云存储系统服务器查找到所述请求下载的视频,则将所述视频发送给客户端;如果未在云存储系统服务器中查找到所述请求下载的视频,则转最小路径查找模块;
所述最小路径查找模块,用于在溯源图T2中查找所述请求下载的视频的任意一个存在于云存储系统中的起始视频;再在溯源图T1中查找从所述起始视频到所述请求下载的视频之间的最小路径,所述最小路径是指从所述起始视频开始,利用溯源信息重新生成所述请求下载的视频花费时间最少的路径;
所述视频生成模块,用于根据从所述起始视频到所述请求下载的视频之间的最小路径,生成所述请求下载的视频,并将所述请求下载的视频发送给客户端;
所述溯源图更新模块,用于获得所述最小路径上的视频的最后一次访问时间,并根据所述最小路径上的视频的最后一次访问时间以更新所述最小路径上的视频最后一次访问时间及其访问热度,将所述最小路径上的视频更新后的最后一次访问时间和访问热度更新到所述溯源图T1和溯源图T2中。
所述扫描压缩模块,用于扫描溯源图T1或溯源图T2中的视频,根据 溯源图中的视频溯源信息对云存储系统中的视频进行压缩。

Claims (9)

1.一种云存储系统中基于溯源信息的视频共享方法,其特征在于,所述方法包括以下步骤:
(1)云存储系统客户端收集视频的编辑操作,根据这些编辑操作生成视频溯源信息,视频溯源信息包括视频编辑操作信息、视频大小、最后一次访问时间、视频访问热度值和视频编辑操作执行时间;云存储系统服务器端接收云存储系统客户端上传的视频溯源信息,并根据视频溯源信息,生成2个溯源图,其中溯源图T1用于记录视频之间的生成关系,溯源图T2用于记录视频之间的被生成关系,这两个溯源图都是有向图,图中节点代表视频,边代表溯源信息,溯源图T1中边的方向代表视频之间的生成关系,溯源图T2中边的方向代表视频之间的被生成关系;
(2)当云存储系统服务器接收到客户端的视频上传请求后,如果在云存储系统服务器查找到所述请求上传的视频,则无需上传所述请求上传的视频;如果未在云存储系统服务器中查找到所述请求上传的视频,则在溯源图中查找判断能否根据云存储系统中已有的视频和溯源图中的视频溯源信息重新生成所述请求上传的视频,若能重新生成所述请求上传的视频,则不用上传所述请求上传的视频,否则上传所述请求上传的视频;
(3)当云存储系统服务器接收到客户端的视频下载请求后,如果在云存储系统服务器查找到所述请求下载的视频,则将所述视频发送给客户端;如果未在云存储系统服务器中查找到所述请求下载的视频,则转步骤(4);
(4)在溯源图T2中查找所述请求下载的视频的任意一个存在于云存储系统中的起始视频;再在溯源图T1中查找从所述起始视频到所述请求下载的视频之间的最小路径,所述最小路径是指从所述起始视频开始,利用溯源信息重新生成所述请求下载的视频花费时间最少的路径;
(5)根据从所述起始视频到所述请求下载的视频之间的最小路径,生成所述请求下载的视频,并将所述请求下载的视频发送给客户端;
(6)获得所述最小路径上的视频的最后一次访问时间,并根据所述最小路径上的视频的最后一次访问时间以更新所述最小路径上的视频最后一次访问时间及其访问热度,将所述最小路径上的视频更新后的最后一次访问时间和访问热度更新到所述溯源图T1和溯源图T2中;
(7)扫描溯源图T1或溯源图T2中的视频,根据溯源图中的视频溯源信息对云存储系统中的视频进行压缩,其中所述溯源信息包括视频编辑操作信息、最后一次访问时间、视频访问热度、视频大小以及视频生成时间。
2.根据权利要求1所述的方法,其特征在于,所述步骤(1)包括以下子步骤,
(1-1)在视频编辑软件中添加溯源信息收集模块,溯源信息收集模块收集视频的编辑操作,根据这些编辑操作生成视频溯源信息;
(1-2)云存储系统客户端上传共享视频溯源信息;
(1-3)云存储系统服务器查找判断所述视频溯源信息中的起始视频是否存在于云存储系统中,是的话则转(1-5),否则转(1-4);
(1-4)云存储系统服务器在溯源图T1中查找所述请求上传的溯源信息中的起始视频是否存在,是的话转(1-5),否则云存储系统服务器舍弃所述视频溯源信息,上传结束;
(1-5)根据客户端上传的所述视频溯源信息,云存储服务器生成或更新溯源图T1和溯源图T2,其中溯源图T1用于记录视频之间的生成关系,溯源图T2用于记录视频之间的被生成关系,这两个溯源图都是有向图,图中节点代表视频,边代表溯源信息,溯源图T1中边的方向代表视频之间的生成关系,由起始视频指向被生成视频,溯源图T2中边的方向代表视频之间的被生成关系,由被生成视频指向起始视频。
3.根据权利要求1或2所述的方法,其特征在于,所述步骤(2)包括以下子步骤,
(2-1)根据所述请求上传视频的元数据,在云存储系统服务器中查找所述请求上传视频,若所述请求上传视频存在于云存储系统服务器中,则无需上传所述请求上传视频,否则转(2-2);
(2-2)利用上述请求上传视频的元数据据信息在溯源图T2中查找所述请求上传的视频的所有起始视频,若所述请求上传的视频至少有一个起始视频存在于云存储系统中,则不需上传所述请求上传的视频,否则上传所述请求上传的视频,并将所述请求上传视频元数据信息存入子图表中,所述子图表保存溯源图T1中的子图的根节点视频信息。
4.根据权利要求1或2所述的基于溯源信息的视频共享方法,其特征在于,所述步骤(4)包括以下子步骤,
(4-1)根据所述请求下载的视频的元数据信息,在溯源图T2中使用广度优先查找算法或深度优先查找算法查找与所述请求下载的视频距离最近的起始视频,若查找到一个起始视频,转(4-2),否则,查找结束,发送信息告诉客户端所述请求下载的视频不存在;
(4-2)根据所述起始视频的元数据信息,在溯源图T1中使用DFS(深度优先遍历)算法查找从所述起始视频到所述请求下载的视频之间的最小路径。
5.根据权利要求4所述的方法,其特征在于,所述步骤(4-1)中使用广度优先查找算法包括以下子步骤,
(4-1-1)设置双亲节点集Pset,初始化为空集,将所述请求下载视频加入到Pset中,设置查找层数i,初始化为0;
(4-1-2)在所述溯源图T2中使用BFS算法查找Pset中所有视频的相关视频,清除Pset中原有元素,将所述相关视频加入Pset中,将其查找层数i加1;若i大于指定层数M,未找到起始视频,结束查找,否则转(4-1-3);
(4-1-3)若Pset中有视频存在于云存储系统中,则找到所述起始视频,结束查找,否则转(4-1-2)。
6.根据权利要求5所述的方法,其特征在于,所述步骤(4-2)包括以下子步骤,
(4-2-1)以所述起始视频为根节点,在溯源图T1中使用DFS算法查找所述请求下载视频,将找到的所述起始视频到所述请求下载视频的第一条路径设为最短路径S;
(4-2-2)若所述起始视频到所述请求下载视频只有一条路径,所述最短路径就是S,查找直接结束,不止一条路径,转(4-2-3);
(4-2-3)在溯源图T1中使用DFS算法查找继续查找,若没有找到新的路径,结束查找,否则,转(4-2-4);
(4-2-4)新的路径为R,若R小于S,则将R作为新的最短路径S,转(4-2-3),R小于S是指路径R上保存的溯源信息中的视频生成时间之和小于路径S上保存的溯源信息中的视频生成时间之和。
7.根据权利要求1或2所述的方法,其特征在于,所述步骤(6)包括以下子步骤,
(6-1)获得所述最小路径上的视频的最后一次访问时间,在溯源图T1和溯源图T2中读取的所述最小路径上的视频的最后一次访问时间,两者相减,得到所述最小路径上的视频最近两次访问的时间间隔Tn
(6-2)视频访问热度由n次访问中的每两次访问时间间隔决定,创建视频为第0次访问视频,随后从第1次访问视频到第n次访问,每两次访问之间的时间间隔分别为T1,T2,…,Tn,则这段时间内视频访问热度Fn=1/T1*a(n-1)+2/T2*a(n-2)+…+n/Tn*a(0)=∑i/Ti*a(n-i)=Fn-1*a+n/Tn,F0=0,0<a<1,a为递减系数,这样就得到随时间衰减的所述最小路径上的视频访问热度更新公式为Fn=Fn-1*a+1/Tn,以所述公式所述更新所述最小路径上的视频的访问热度;
(6-3)将所述最小路径上的视频更新后的访问热度及最后一次访问时间更新到所述溯源图T1和溯源图T2中。
8.根据权利要求1或2所述的方法,其特征在于,所述步骤(7)包括以下子步骤,
(7-1)顺序扫描子图表,获取溯源图T1中子图的起始视频信息,若子图表扫描结束,则操作结束,否则转(7-2);
(7-2)根据步骤(7-1)中得到的子图的起始视频信息顺序扫描溯源图T1中的各个子图,从每个子图中的根节点出发使用BFS算法扫描子图中的所有视频,执行步骤(7-3),子图扫描结束,转(7-1);
(7-3)根据视频访问热度值Fn、存储代价值S和重新生成代价值R计算得到视频压缩值Y,存储代价值S为视频大小,重新生成代价值R为视频重新生成时间,Y=m*F+n*S+l*R,m、n、l的值是根据云存储系统需求设定,视频压缩值Y大于设定的阀值,则删除所述视频,实现压缩存储。
9.一种云存储系统中基于溯源信息的视频共享系统,其特征在于,所述共享系统包括溯源图生成模块、视频上传模块、视频下载模块、最小路径查找模块、视频生成模块、溯源图更新模块以及扫描压缩模块,其中:
所述溯源图生成模块,用于通过云存储系统客户端收集视频的编辑操作,根据这些编辑操作生成视频溯源信息,视频溯源信息包括视频编辑操作信息、视频大小、最后一次访问时间、视频访问热度值和视频编辑操作执行时间;云存储系统服务器端接收云存储系统客户端上传的视频溯源信息,并根据视频溯源信息,生成2个溯源图,其中溯源图T1用于记录视频之间的生成关系,溯源图T2用于记录视频之间的被生成关系,这两个溯源图都是有向图,图中节点代表视频,边代表溯源信息,溯源图T1中边的方向代表视频之间的生成关系,溯源图T2中边的方向代表视频之间的被生成关系;
所述视频上传模块,用于在云存储系统服务器接收到客户端的视频上传请求后,如果在云存储系统服务器查找到所述请求上传的视频,则无需上传所述请求上传的视频;如果未在云存储系统服务器中查找到所述请求上传的视频,则在溯源图中查找判断能否根据云存储系统中已有的视频和溯源图中的视频溯源信息重新生成所述请求上传的视频,若能重新生成所述请求上传的视频,则不用上传所述请求上传的视频,否则上传所述请求上传的视频;
所述视频下载模块,用于在云存储系统服务器接收到客户端的视频下载请求后,如果在云存储系统服务器查找到所述请求下载的视频,则将所述视频发送给客户端;如果未在云存储系统服务器中查找到所述请求下载的视频,则转最小路径查找模块;
所述最小路径查找模块,用于在溯源图T2中查找所述请求下载的视频的任意一个存在于云存储系统中的起始视频;再在溯源图T1中查找从所述起始视频到所述请求下载的视频之间的最小路径,所述最小路径是指从所述起始视频开始,利用溯源信息重新生成所述请求下载的视频花费时间最少的路径;
所述视频生成模块,用于根据从所述起始视频到所述请求下载的视频之间的最小路径,生成所述请求下载的视频,并将所述请求下载的视频发送给客户端;
所述溯源图更新模块,用于获得所述最小路径上的视频的最后一次访问时间,并根据所述最小路径上的视频的最后一次访问时间以更新所述最小路径上的视频最后一次访问时间及其访问热度,将所述最小路径上的视频更新后的最后一次访问时间和访问热度更新到所述溯源图T1和溯源图T2中;
所述扫描压缩模块,用于扫描溯源图T1或溯源图T2中的视频,根据溯源图中的视频溯源信息对云存储系统中的视频进行压缩。
CN201410734130.8A 2014-12-05 2014-12-05 一种云存储系统中基于溯源信息的视频共享方法与系统 Active CN105721883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410734130.8A CN105721883B (zh) 2014-12-05 2014-12-05 一种云存储系统中基于溯源信息的视频共享方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410734130.8A CN105721883B (zh) 2014-12-05 2014-12-05 一种云存储系统中基于溯源信息的视频共享方法与系统

Publications (2)

Publication Number Publication Date
CN105721883A CN105721883A (zh) 2016-06-29
CN105721883B true CN105721883B (zh) 2018-11-02

Family

ID=56143666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410734130.8A Active CN105721883B (zh) 2014-12-05 2014-12-05 一种云存储系统中基于溯源信息的视频共享方法与系统

Country Status (1)

Country Link
CN (1) CN105721883B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294548A (zh) * 2016-07-25 2017-01-04 华中科技大学 一种溯源数据的压缩方法及系统
CN107239523A (zh) * 2017-05-26 2017-10-10 电子科技大学 一种基于大数据模型平台下的细粒度数据溯源方法
CN109255051B (zh) * 2017-07-12 2021-08-06 杭州海康威视数字技术股份有限公司 一种视频搜索方法、装置、云存储系统及计算机设备
CN109819309B (zh) * 2017-11-21 2021-12-14 中国电信股份有限公司 云存储平台、方法和视频点播平台、方法和视频播放系统
WO2019126949A1 (zh) * 2017-12-25 2019-07-04 华为技术有限公司 提供媒体内容的方法、装置、节点及系统
CN109474852A (zh) * 2018-12-17 2019-03-15 深圳创维数字技术有限公司 电视节目播放方法、装置、设备及可读存储介质
CN111817903B (zh) * 2020-09-02 2020-12-01 湖南双菱电子科技有限公司 一种数字信号传输处理设备链路故障分析与报警方法
CN112633753A (zh) * 2020-12-30 2021-04-09 广东赛诺科技股份有限公司 一种基于工单动态共享系统
CN114025224A (zh) * 2021-11-18 2022-02-08 甘肃欧美亚信息科技有限公司 基于深度学习的网络视频溯源系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Avoiding the Disk Bottleneck in the Data Domain;Zhu B,et al;《FAST ’08: 6th USENIX Conference on File and Storage Technologies》;20080831;全文 *
Million-scale Near-duplicate Video Retrieval System;Yang Cai et al;《MM’11, November 28–December 1, 2011, Scottsdale, Arizona, USA.》;20111201;全文 *
Practical Elimination of Near-Duplicates;Xiao Wu etal;《MM’07, September 23–28, 2007, Augsburg, Bavaria, Germany.》;20070928;全文 *

Also Published As

Publication number Publication date
CN105721883A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN105721883B (zh) 一种云存储系统中基于溯源信息的视频共享方法与系统
KR101994021B1 (ko) 파일 조작 방법 및 장치
US9836514B2 (en) Cache based key-value store mapping and replication
WO2015117426A1 (zh) 文件管理方法及装置
US20170031948A1 (en) File synchronization method, server, and terminal
CN110147204B (zh) 一种元数据落盘方法、装置、系统及计算机可读存储介质
CN104834713A (zh) 对终端设备的图像数据进行存储及传输处理的方法及系统
CN109582470B (zh) 一种数据处理方法及数据处理装置
CN110399348A (zh) 文件重删方法、装置、系统及计算机可读存储介质
CN108021333B (zh) 随机读写数据的系统、装置及方法
CN109640173A (zh) 一种视频播放方法、装置、设备及介质
CN107368608A (zh) 基于arc替换算法的hdfs小文件缓存管理方法
CN106484821A (zh) 一种云计算架构下的混合云存储方法
CN103067479A (zh) 一种基于文件冷热的网盘同步方法及系统
CN111159524A (zh) 监控方法和系统,及存储介质
CN110287201A (zh) 数据访问方法、装置、设备及存储介质
CN113010526A (zh) 基于对象存储服务的存储方法及装置
CN106341485A (zh) 一种云存储的方法及装置
CN113553306B (zh) 数据处理方法及数据存储管理系统
CN108418871B (zh) 一种云存储性能优化方法和系统
CN107918527A (zh) 存储空间分配方法及装置以及文件存储方法及装置
CN109783462A (zh) 一种基于分布式文件系统的数据访问方法和装置
CN112035413B (zh) 元数据信息查询方法、装置及存储介质
CN106203179A (zh) 一种对文件的完整性校验系统及方法
CN105915595A (zh) 一种集群存储系统存取数据的方法以及集群存储系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant