CN108763437B - 一种基于大数据的视频存储管理系统 - Google Patents
一种基于大数据的视频存储管理系统 Download PDFInfo
- Publication number
- CN108763437B CN108763437B CN201810512784.4A CN201810512784A CN108763437B CN 108763437 B CN108763437 B CN 108763437B CN 201810512784 A CN201810512784 A CN 201810512784A CN 108763437 B CN108763437 B CN 108763437B
- Authority
- CN
- China
- Prior art keywords
- keywords
- storage
- keyword
- video file
- time period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开一种基于大数据的视频存储管理系统,包括存储空间划分模块、特征提取模块、管理服务器和视频存储模块,管理服务器分别与存储空间划分模块、特征提取模块和视频存储模块连接,存储空间划分模块与视频存储模块连接。本发明通过特征提取模块对视频文件中的关键字进行提取以及关键字出现的时间,并结合管理服务器对视频文件中各关键字对应的综合系数进行统计,筛选出关键字综合系数最高的关键字,并将该视频文件存储至该关键字所对应的子存储单元内,便于对视频文件的存储分类,提高了存储的条理性,且通过对子存储空间剩余空间进行检测以及合理分配存储空间的容量,实现对下一视频文件的存储,降低视频存储过程中发生丢失问题。
Description
技术领域
本发明属于视频存储管理技术领域,涉及到一种基于大数据的视频存储管理系统。
背景技术
随着计算机网络,特别是因特网(Internet)的迅猛发展,越来越多的视频文件被数据化,全球信息存储量每年急剧增长。传统的信息系统概念发生了巨大的变化,这些变化突出地表现在视频信息的存储、传递、发布以及获取方式所发生的革命性变革。与此同时,大量数据密集型应用,如视频监控,广电行业,数字图书馆,医疗视频图像处理,海量视频在线编辑等,对视频存储的容量,性能,安全性,可扩展性和可用性提出了更高要求。传统的视频文件的存储方式过于简单化,由于缺乏管理导致视频文件出现大量的堆积以及丢失,因此,传统的视频文件的存储模式渐渐不能满足需求,视频文件存储的需求和应用的复杂性提出了新的存储模式。
为了提高对视频文件存储的效率以及有规律的将视频文件存储至指定的存储空间,避免视频文件在存储的过程中易丢失以及存储的条理性差的问题,现设计一种基于大数据的视频存储管理系统。
发明内容
本发明的目的在于提供一种基于大数据的视频存储管理系统,解决了现有视频文件存储的过程中,存储视频文件存储的条理性差、存储文件易丢失的问题,导致无法对视频存储进行合理化管理。
本发明的目的可以通过以下技术方案实现:
一种基于大数据的视频存储管理系统,包括存储空间划分模块、特征提取模块、管理服务器和视频存储模块,管理服务器分别与存储空间划分模块、特征提取模块和视频存储模块连接,存储空间划分模块与视频存储模块连接;
存储空间划分模块用于对视频存储模块的存储空间进行划分,划分成若干个存储空间相同的子存储单元;
视频存储模块包括若干个存储空间相同的子存储单元,每个子存储单元用于存储不同关键字对应的视频文件;
特征提取模块用于对需存储的视频文件进行解压,对解压后的视频文件进行播放,提取视频播放内容出现的所有关键字,统计整个视频播放内容中每个关键字出现的总次数,并将所有关键字以及关键字对应的总次数发送至管理服务器,同时,记录每个关键字在视频文件中出现的时间信息,并将每个关键字出现的时间发送至管理服务器;
管理服务器接收特征提取模块提取的所有关键字、每个关键字出现的总次数以及每个关键字出现的时间信息,根据每个关键字出现的次数从大到小的顺序,构成关键字集合Ai(ai1,ai2,...,aij,...,ain),其中,Ai表示为第i个需存储的视频文件中存在的关键字集合,aij表示为第i个需存储视频文件中排序为j的关键字出现的次数,n表示为该需存储视频文件中出现的关键字种类的数量,管理服务器统计各关键字所占的比重系数;
所述管理服务器将该视频文件播出的总时间进行统计,并按照等时间间隔划分为若干个时间段,分别为1,2,...,k,...,m时间段,获取每个时间段内各关键字出现的集合Bk(bk1,bk2,...,bkj,...,bkn),Bk表示为第k个时间段内出现的关键字集合,管理服务器提取该时间段内每个关键字出现的次数大于0所对应的关键字次数,并筛选各关键字在该时间段内出现次数最高的三个关键字以及三个关键字对应的出现次数,计算每个时间段内出现次数最高的三个关键字在每个时间段所占的关联度系数,取第k个时间段内出现次数最高的三个关键字分别对应的顺序为x、y和z,其中,1≤x、y或z≤n;
根据每个时间段出现次数最高的三个关键字,并统计该三个关键在其他时间段内出现的次数,计算某一时间段内出现次数最高的三个关键字的关联度系数,关联度系数的计算公式为其中,Gkxyz表示为第k个时间段内出现次数最高的三个关键字在整个视频文件中的关联度系数,f表示为参数因子,f取0.516,ax表示为第k个时间段内顺序为x的关键字在整个视频文件中出现的总次数,ay表示为第k个时间段内顺序为y的关键字在整个视频文件中出现的总次数,az表示为第k个时间段内顺序为z的关键字在整个视频文件中出现的总次数,Bk表示为第k个时间段内出现的所有关键字的总数量,bkx表示为第k时间段内顺序为x的关键字所对应的次数,bky表示为第k时间段内顺序为y的关键字所对应的次数,bkz表示为第k时间段内顺序为z的关键字所对应的次数;
管理服务器根据获得的关键字间的关联系数并结合每个关键字所占的比重系数,计算各时间段内次数出现最高的三个关键字的综合系数Q,管理服务器通过对比每个关键字的综合系数,提取该视频文件中关键字综合系数最高的关键字,并将该视频文件存储至关键字综合系数最高的关键字所对应的存储子单元。
进一步地,所述关键字的综合系数Qaj=u*WaijDj,其中,u取0.198,Waij表示为第i个需存储的视频文件中第j个关键字所占的比重系数,Dj表示为第i个需存储的视频文件中各时间段内最高的三个关键字中有第j个关键字的所有关联度系数之和。
进一步地,当视频文件存储完成后,管理服务器对该关键字所对应的子存储单元所剩余的存储空间以及其他子存储单元的剩余存储空间进行检测,筛选出剩余空间最大的子存储单元,若存储该关键字所对应的子存储单元的剩余的存储空间不是剩余空间最大的子存储单元,且该子存储空间的剩余存储空间占总的子存储空间比值小于5%,则管理服务器控制空间划分模块,使得空间划分模块对剩余空间最大的子存储单元中的存储空间划分至该子存储单元,保证该子存储空间的剩余存储空间占总的子存储空间比值大于5%。
本发明的有益效果:
本发明提供的基于大数据的视频存储管理系统,通过特征提取模块对视频文件中的关键字进行提取以及关键字出现的时间,并结合管理服务器对视频文件中各关键字对应的综合系数进行统计,筛选出关键字综合系数最高的关键字,并将该视频文件存储至该关键字所对应的子存储单元内,提高了对各视频文件的存储分类,便于为视频文件筛选出最佳的子存储单元,提高了存储的条理性,且通过对子存储空间剩余空间进行检测以及合理分配存储空间的容量,实现对下一视频文件的有效存储,降低视频存储过程中发生的视频文件丢失问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于大数据的视频存储管理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1所示,本发明为一种基于大数据的视频存储管理系统,包括存储空间划分模块、特征提取模块、管理服务器和视频存储模块,管理服务器分别与存储空间划分模块、特征提取模块和视频存储模块连接,存储空间划分模块与视频存储模块连接;
存储空间划分模块用于对视频存储模块的存储空间进行划分,划分成若干个存储空间相同的子存储单元;
视频存储模块包括若干个存储空间相同的子存储单元,每个子存储单元用于存储不同关键字对应的视频信息;
特征提取模块用于对需存储的视频文件进行解压,对解压后的视频文件进行播放,提取视频播放内容出现的所有关键字,统计整个视频播放内容中每个关键字出现的总次数,并将所有关键字以及关键字对应的总次数发送至管理服务器,同时,记录每个关键字在视频文件中出现的时间信息,并将每个关键字出现的时间发送至管理服务器;
管理服务器接收特征提取模块提取的所有关键字、每个关键字出现的总次数以及每个关键字出现的时间信息,根据每个关键字出现的次数从大到小的顺序,构成关键字集合Ai(ai1,ai2,...,aij,...,ain),其中,Ai表示为第i个需存储的视频文件中存在的关键字集合,aij表示为第i个需存储视频文件中排序为j的关键字出现的次数,n表示为该需存储视频文件中出现的关键字种类的数量,管理服务器统计各关键字所占的比重系数,比重系数的计算公式为Waij表示为第i个需存储的视频文件中第j个关键字所占的比重系数;
所述管理服务器将该视频文件播出的总时间进行统计,并按照等时间间隔划分为若干个时间段,分别为1,2,...,k,...,m时间段,获取每个时间段内各关键字出现的集合Bk(bk1,bk2,...,bkj,...,bkn),Bk表示为第k个时间段内出现的关键字集合,若第j个关键字在第k时间段内出现的次数为0,则表明bkj=0,管理服务器提取该时间段内每个关键字出现的次数大于0所对应的关键字次数,并筛选各关键字在该时间段内出现次数最高的三个关键字以及三个关键字对应的出现次数,计算每个时间段内出现次数最高的三个关键字在每个时间段所占的关联度系数,假设第k个时间段内出现次数最高的三个关键字分别对应的顺序为x、y和z,其中,1≤x、y或z≤n;
根据每个时间段出现次数最高的三个关键字,并统计该三个关键在其他时间段内出现的次数,计算某一时间段内出现次数最高的三个关键字的关联度系数,关联度系数的计算公式为其中,Gkxyz表示为第k个时间段内出现次数最高的三个关键字在整个视频文件中的关联度系数,f表示为参数因子,f取0.516,ax表示为第k个时间段内顺序为x的关键字在整个视频文件中出现的总次数,ay表示为第k个时间段内顺序为y的关键字在整个视频文件中出现的总次数,az表示为第k个时间段内顺序为z的关键字在整个视频文件中出现的总次数,Bk表示为第k个时间段内出现的所有关键字的总数量,bkx表示为第k时间段内顺序为x的关键字所对应的次数,bky表示为第k时间段内顺序为y的关键字所对应的次数,bkz表示为第k时间段内顺序为z的关键字所对应的次数。
管理服务器根据获得的关键字间的关联系数并结合每个关键字所占的比重系数,计算各时间段内次数出现最高的三个关键字的综合系数Q,所述关键字的综合系数Qaj=u*WaijDj,其中,u取0.198,Waij表示为第i个需存储的视频文件中第j个关键字所占的比重系数,Dj表示为第i个需存储的视频文件中各时间段内最高的三个关键字中有第j个关键字的所有关联度系数之和,管理服务器通过对比每个关键字的综合系数,提取该视频文件中关键字综合系数最高的关键字,并将该视频文件存储至关键字综合系数最高的关键字所对应的存储子单元。
当视频文件存储完成后,管理服务器对该关键字所对应的子存储单元所剩余的存储空间以及其他子存储单元的剩余存储空间进行检测,筛选出剩余空间最大的子存储单元,若存储该关键字所对应的子存储单元的剩余的存储空间不是剩余空间最大的子存储单元,且该子存储空间的剩余存储空间占总的子存储空间比值小于5%,则管理服务器控制存储空间划分模块,使得存储空间划分模块对剩余空间最大的子存储单元中的存储空间划分至该子存储单元,保证该子存储空间的剩余存储空间占总的子存储空间比值大于5%,避免下一视频文件存储的过程中,存储空间不足,导致视频文件丢失。
本发明提供的基于大数据的视频存储管理系统,通过特征提取模块对视频文件中的关键字进行提取以及关键字出现的时间,并结合管理服务器对视频文件中各关键字对应的综合系数进行统计,筛选出关键字综合系数最高的关键字,并将该视频文件存储至该关键字所对应的子存储单元内,提高了对各视频文件的存储分类,便于为视频文件筛选出最佳的子存储单元,提高了存储的条理性,且通过对子存储空间剩余空间进行检测以及合理分配存储空间的容量,实现对下一视频文件的有效存储,降低视频存储过程中发生的视频文件丢失问题。
以上内容仅仅是对本发明的构思所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的构思或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (1)
1.一种基于大数据的视频存储管理系统,其特征在于:包括存储空间划分模块、特征提取模块、管理服务器和视频存储模块,管理服务器分别与存储空间划分模块、特征提取模块和视频存储模块连接,存储空间划分模块与视频存储模块连接;
存储空间划分模块用于对视频存储模块的存储空间进行划分,划分成若干个存储空间相同的子存储单元;
视频存储模块包括若干个存储空间相同的子存储单元,每个子存储单元用于存储不同关键字对应的视频文件;
特征提取模块用于对需存储的视频文件进行解压,对解压后的视频文件进行播放,提取视频播放内容出现的所有关键字,统计整个视频播放内容中每个关键字出现的总次数,并将所有关键字以及关键字对应的总次数发送至管理服务器,同时,记录每个关键字在视频文件中出现的时间信息,并将每个关键字出现的时间发送至管理服务器;
管理服务器接收特征提取模块提取的所有关键字、每个关键字出现的总次数以及每个关键字出现的时间信息,根据每个关键字出现的次数从大到小的顺序,构成关键字集合Ai(ai1,ai2,...,aij,...,ain),其中,Ai表示为第i个需存储的视频文件中存在的关键字集合,aij表示为第i个需存储视频文件中排序为j的关键字出现的次数,n表示为该需存储视频文件中出现的关键字种类的数量,管理服务器统计各关键字所占的比重系数;
所述管理服务器将该视频文件播出的总时间进行统计,并按照等时间间隔划分为若干个时间段,分别为1,2,...,k,...,m时间段,获取每个时间段内各关键字出现的集合Bk(bk1,bk2,...,bkj,...,bkn),Bk表示为第k个时间段内出现的关键字集合,管理服务器提取该时间段内每个关键字出现的次数大于0所对应的关键字次数,并筛选各关键字在该时间段内出现次数最高的三个关键字以及三个关键字对应的出现次数,计算每个时间段内出现次数最高的三个关键字在每个时间段所占的关联度系数,取第k个时间段内出现次数最高的三个关键字分别对应的顺序为x、y和z,其中,1≤x、y或z≤n;
根据每个时间段出现次数最高的三个关键字,并统计该三个关键在其他时间段内出现的次数,计算某一时间段内出现次数最高的三个关键字的关联度系数,关联度系数的计算公式为其中,Gkxyz表示为第k个时间段内出现次数最高的三个关键字在整个视频文件中的关联度系数,f表示为参数因子,f取0.516,ax表示为第k个时间段内顺序为x的关键字在整个视频文件中出现的总次数,ay表示为第k个时间段内顺序为y的关键字在整个视频文件中出现的总次数,az表示为第k个时间段内顺序为z的关键字在整个视频文件中出现的总次数,Bk表示为第k个时间段内出现的所有关键字的总数量,bkx表示为第k时间段内顺序为x的关键字所对应的次数,bky表示为第k时间段内顺序为y的关键字所对应的次数,bkz表示为第k时间段内顺序为z的关键字所对应的次数;
管理服务器根据获得的关键字间的关联系数并结合每个关键字所占的比重系数,计算各时间段内次数出现最高的三个关键字的综合系数Q,管理服务器通过对比每个关键字的综合系数,提取该视频文件中关键字综合系数最高的关键字,并将该视频文件存储至关键字综合系数最高的关键字所对应的存储子单元;
当视频文件存储完成后,管理服务器对该关键字所对应的子存储单元所剩余的存储空间以及其他子存储单元的剩余存储空间进行检测,筛选出剩余空间最大的子存储单元,若存储该关键字所对应的子存储单元的剩余的存储空间不是剩余空间最大的子存储单元,且该子存储空间的剩余存储空间占总的子存储空间比值小于5%,则管理服务器控制空间划分模块,使得空间划分模块对剩余空间最大的子存储单元中的存储空间划分至该子存储单元,保证该子存储空间的剩余存储空间占总的子存储空间比值大于5%。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810512784.4A CN108763437B (zh) | 2018-05-25 | 2018-05-25 | 一种基于大数据的视频存储管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810512784.4A CN108763437B (zh) | 2018-05-25 | 2018-05-25 | 一种基于大数据的视频存储管理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108763437A CN108763437A (zh) | 2018-11-06 |
CN108763437B true CN108763437B (zh) | 2021-11-23 |
Family
ID=64006331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810512784.4A Active CN108763437B (zh) | 2018-05-25 | 2018-05-25 | 一种基于大数据的视频存储管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108763437B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558824B (zh) * | 2018-11-23 | 2021-01-19 | 李楠 | 一种基于人员图像识别的健身动作监测与分析系统 |
CN111601080B (zh) * | 2020-05-12 | 2021-08-10 | 湖北君赞智能科技有限公司 | 一种小区安防监控视频储存用视频管理系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105684450A (zh) * | 2016-01-08 | 2016-06-15 | 王晓光 | 一种视频网络的存储管理方法及系统 |
CN107888948A (zh) * | 2017-11-07 | 2018-04-06 | 北京小米移动软件有限公司 | 确定视频文件播放速度的方法及装置、电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011050280A2 (en) * | 2009-10-22 | 2011-04-28 | Chintamani Patwardhan | Method and apparatus for video search and delivery |
CN102006506A (zh) * | 2010-11-24 | 2011-04-06 | 深圳市同洲电子股份有限公司 | 一种视频服务器的分级存储管理方法及装置、视频服务器 |
CN103024329B (zh) * | 2013-01-04 | 2016-04-13 | 四川长虹电子系统有限公司 | 一种监控录像的存储管理方法 |
CN104750859A (zh) * | 2015-04-16 | 2015-07-01 | 成都影泰科技有限公司 | 一种网络存储方法 |
CN106339484B (zh) * | 2016-08-31 | 2019-07-12 | 武汉烽火众智数字技术有限责任公司 | 一种视频智能检索处理的系统及方法 |
CN107657022A (zh) * | 2017-09-27 | 2018-02-02 | 努比亚技术有限公司 | 一种文件检索方法、移动终端及计算机可读存储介质 |
CN107798143A (zh) * | 2017-11-24 | 2018-03-13 | 珠海市魅族科技有限公司 | 一种信息搜索方法、装置、终端及可读存储介质 |
-
2018
- 2018-05-25 CN CN201810512784.4A patent/CN108763437B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105684450A (zh) * | 2016-01-08 | 2016-06-15 | 王晓光 | 一种视频网络的存储管理方法及系统 |
CN107888948A (zh) * | 2017-11-07 | 2018-04-06 | 北京小米移动软件有限公司 | 确定视频文件播放速度的方法及装置、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108763437A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11036799B2 (en) | Low RAM space, high-throughput persistent key value store using secondary memory | |
US9405790B2 (en) | System, method and data structure for fast loading, storing and access to huge data sets in real time | |
KR101679447B1 (ko) | 분산된 연관 메모리 베이스를 제공하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 | |
Chen et al. | Density-based clustering for real-time stream data | |
Anh et al. | Inverted index compression using word-aligned binary codes | |
US7885932B2 (en) | Managing storage of individually accessible data units | |
CA2910841C (en) | Managing storage of individually accessible data units | |
JP5663044B2 (ja) | 個別にアクセス可能なデータ単位の記憶の管理 | |
CN108763437B (zh) | 一种基于大数据的视频存储管理系统 | |
EP2263180A2 (en) | Indexing large-scale gps tracks | |
US20150363446A1 (en) | System and Method for Indexing Streams Containing Unstructured Text Data | |
CN108804661B (zh) | 一种云存储系统中基于模糊聚类的重复数据删除方法 | |
CN108604249A (zh) | 生成索引信息的数据库的存档方法及装置、包含索引信息的存档的数据库的搜索方法及装置 | |
WO2014122441A1 (en) | Improvements relating to use of columnar databases | |
CN108763465B (zh) | 一种基于大数据的视频存储分配方法 | |
Leng et al. | Optimal weight assignment for signature generation | |
JP2009049668A (ja) | データ処理装置、データ処理方法、プログラムおよび記録媒体 | |
CN108595122B (zh) | 一种基于局域网的计算机安全管理系统 | |
CN118398151B (zh) | 一种基于云端储存的电子病历管理系统 | |
Mejdoub et al. | Fast algorithm for image database indexing based on lattice | |
CN118468532B (zh) | 一种基于多态信息数据的融合处理方法和系统 | |
Tao | Indexability of 2d range search revisited: constant redundancy and weak indivisibility | |
CN115102554A (zh) | 一种时序数据的压缩方法、电子设备及存储介质 | |
Taufen et al. | Improving the querying efficiency of the plwah bitmap algorithm | |
Kim et al. | HPSF: a horizontally-divided parallel signature file method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211101 Address after: 510000 No. 4, caofangwei, Nanhua East Road, Haizhu District, Guangzhou City, Guangdong Province Applicant after: GUANGDONG WINSING CO.,LTD. Address before: 511457 room 701, No.4 zhudian Road, Nansha District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU QIANGUI SOFTWARE TECHNOLOGY CO.,LTD. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |