CN108763465A - 一种基于大数据的视频存储分配方法 - Google Patents

一种基于大数据的视频存储分配方法 Download PDF

Info

Publication number
CN108763465A
CN108763465A CN201810528137.2A CN201810528137A CN108763465A CN 108763465 A CN108763465 A CN 108763465A CN 201810528137 A CN201810528137 A CN 201810528137A CN 108763465 A CN108763465 A CN 108763465A
Authority
CN
China
Prior art keywords
video
type
storage
storage unit
need
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810528137.2A
Other languages
English (en)
Other versions
CN108763465B (zh
Inventor
李素培
李佳臻
赖海生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Renshun Information Technology Co.,Ltd.
Original Assignee
Guangzhou Cashbox Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cashbox Software Technology Co Ltd filed Critical Guangzhou Cashbox Software Technology Co Ltd
Priority to CN201810528137.2A priority Critical patent/CN108763465B/zh
Publication of CN108763465A publication Critical patent/CN108763465A/zh
Application granted granted Critical
Publication of CN108763465B publication Critical patent/CN108763465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开一种基于大数据的视频存储分配方法,包括以下步骤:存储空间划分成若干存储单元和一备用存储单元,存储单元内划分为若干子存储单元;对需存储的视频进行播放,统计视频播放的时长,将视频播放的时长与设定的各存储单元内存储的视频时长范围对比,以确定需存储视频对应的存储单元;提取需存储视频的所有字幕内容,根据字幕内容与设定的各视频类型的关键字进行对比,以确定匹配度系数最高的视频类型对应的子存储单元;检测各子存储单元的剩余存储空间是否小于设定的标准存储空间,若小于则将备用存储单元划分至剩余存储空间不足的子存储单元。本发明具有视频存储的效率高、准确性高以及可靠性高的特点,便于进行存储分类。

Description

一种基于大数据的视频存储分配方法
技术领域
本发明属于视频存储技术领域,涉及到一种基于大数据的视频存储分配方法。
背景技术
随着计算机网络,特别是因特网(Internet)的迅猛发展,越来越多的视频文件被数据化,全球信息存储量每年急剧增长。传统的信息系统概念发生了巨大的变化,这些变化突出地表现在视频信息的存储、传递、发布以及获取方式所发生的革命性变革。与此同时,大量数据密集型应用,如视频监控,广电行业,数字图书馆,医疗视频图像处理,海量视频在线编辑等,对视频存储的容量,性能,安全性,可扩展性和可用性提出了更高要求。传统的视频文件的存储方式过于简单化,由于缺乏管理导致视频文件出现大量的堆积以及丢失,因此,传统的视频存储模式渐渐不能满足需求,视频文件存储的需求和应用的复杂性提出了新的存储模式。
现有视频存储过程中,存在视频存储的条理性差、效率低、可靠性差,以及存储的过程中视频因存储空间不足而发生的丢失问题,现设计一种基于大数据的视频存储分配方法。
发明内容
本发明的目的在于提供一种基于大数据的视频存储分配方法,解决了现有视频存储过程中,存在视频存储的条理性差、效率低、可靠性差以及视频易丢失的问题。
本发明的目的可以通过以下技术方案实现:
一种基于大数据的视频存储分配方法,包括以下步骤:
S1、对存储空间划分成若干存储空间相同的存储单元和一备用存储单元,不同存储单元存储不同时长段的视频,对存储单元进一步划分,划分为若干子存储单元,存储单元中的若干子存储单元用于存储设定时长段范围内的不同类型的视频,视频的类型包括爱情、校园、喜剧、动作、科幻、古装、武侠、惊悚和犯罪类,视频的类型按照设定的编号顺序对各类型进行排序,分别为1,2,...,g,...,y,不同的视频类型设有若干类型关键字,构成类型关键字集合Wg(wg1,wg2,...,wgh,...,wgl),Wg表示编号为g的视频类型对应的类型关键字集合,wgh表示编号为g的视频类型对应的第h个关键字;
S2、获取视频存储发送的一空间占用请求,并提取需存储视频的播放时长、视频播放的字幕内容;
S3、对需存储的视频进行播放,统计视频播放的时长,将视频播放的时长与设定的各存储单元内存储的视频时长范围进行对比,以确定需存储视频对应的存储单元;
S4、提取需存储视频在播放过程中的所有字幕内容,以固定时间T对视频播放的字幕进行截取,得到视频字幕集合Ai(ai1,ai2,...,aij,...,ain),其中,Ai表示为第i个需存储视频的字幕集合,aij表示为第i个需存储视频在第j个时间段对应的字幕内容,n表示为该需储存视频划分的时间段数量;
S5、将视频字幕集合中各时间段内的字幕内容与设定的各视频类型对应的类型关键字集合进行Wg逐一对比,得到对比类型关键字集合W′ijg(w′ijg1,w′ijg2,...,w′ijgh,...,w′ijgl),W′ijg表示为第i个需存储视频的第j个时间段与编号为g的视频类型中的关键字对比的集合,w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数;
S6、通过匹配度计算方法,统计需存储视频与各视频类型的匹配程度,筛选匹配度系数最高的视频类型,并将需存储视频存储至该视频类型对应的子存储单元;
S7、需存储视频存储完成,接收视频存储发送的下一空间占用请求,提取需存储视频的播放时长、视频播放的字幕内容,并执行步骤S3-S7;
S8、实时检测各存储单元中各子存储单元的剩余存储空间,若各子存储单元的剩余存储空间小于设定的标准存储空间,则备用存储单元以固定存储容量划分至剩余存储空间小于设定的标准存储空间的子存储单元,直至子存储单元的剩余存储空间大于设定的标准存储空间。
进一步地,对存储单元进行编号分别为1,2,...,k,...,x,各存储单元存储的视频播放时长范围依次为0~T0,T0~T0+T,...,T0+(k-2)T~T0+(k-1)T,...,T0+(x-2)T~T0+(x-1)T,T0表示为初始时间,T表示为设定的时间间隔。
进一步地,所述类型关键字集合Wg(wg1,wg2,...,wgh,...,wgl)中不同类型关键字所占的权重不同,分别为dwg1,dwg2,...,dwgh,...,dwgl,且dwg1>dwg2>...>dwgh>...>dwgl,dwg1+dwg2+...+dwgh+...+dwgl=1,dwgh表示为编号为g的视频类型中第h个关键字所占的权重。
进一步地,所述匹配度计算方法Qig表示为第i个需存储视频与编号为g的视频类型的匹配度系数,w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数,dwgh表示为编号为g的视频类型中第h个关键字所占的权重。
本发明的有益效果:
本发明提供的基于大数据的视频存储分配方法,通过将视频存储空间按照视频播放时长和视频类型进行划分,根据视频播放的时长将视频存储至对应的存储单元,并对该时长范围内的视频播放字幕内容进行关键字提取,提取的关键字与各视频类型对应的关键字进行对比,以确定需存储视频与各视频类型间的匹配度系数,筛选匹配度系数最高的视频类型,且将需存储的视频存储至匹配度系数最高的视频类型对应的子存储单元,同时,检测各子存储单元的剩余存储空间,一旦剩余存储空间小于设定的存储空间,则将备用存储单元的存储空间划分剩余存储空间不足的子存储单元,保证视频存储的有效分类,提高了视频存储的规律性,避免视频存储的过程中因存储空间不足造成的丢失问题,具有视频存储的效率高、准确性高以及可靠性高的特点。
具体实施方式
下面将结合本发明实施例中,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明为一种基于大数据的视频存储分配方法,包括以下步骤:
S1、对存储空间划分成若干存储空间相同的存储单元和一备用存储单元,不同存储单元存储不同时长段的视频,对存储单元进一步划分,划分为若干子存储单元,存储单元中的若干子存储单元用于存储设定时长段内的不同类型的视频,对存储单元进行编号,分别为1,2,...,k,...,x,各存储单元存储的视频播放时长范围依次为0~T0,T0~T0+T,...,T0+(k-2)T~T0+(k-1)T,...,T0+(x-2)T~T0+(x-1)T,其中,T0表示为初始时间,T表示为设定的时间间隔,视频的类型包括爱情、校园、喜剧、动作、科幻、古装、武侠、惊悚和犯罪类等,所述视频的类型按照设定的编号顺序对各类型进行排序,分别为1,2,...,g,...,y,不同的视频类型设有若干类型关键字,构成类型关键字集合Wg(wg1,wg2,...,wgh,...,wgl),Wg表示编号为g的视频类型对应的类型关键字集合,wgh表示编号为g的视频类型对应的第h个关键字,不同类型关键字所占的权重不同,分别为dwg1,dwg2,...,dwgh,...,dwgl,且dwg1>dwg2>...>dwgh>...>dwgl,dwg1+dwg2+...+dwgh+...+dwgl=1,dwgh表示为编号为g的视频类型中第h个关键字所占的权重;
S2、获取视频存储发送的一空间占用请求,并提取需存储视频的播放时长、视频播放的字幕内容;
S3、对需存储的视频进行播放,统计视频播放的时长,将视频播放的时长与设定的各存储单元内存储的视频时长范围进行对比,以确定需存储视频对应的存储单元;
S4、提取需存储视频在播放过程中的所有字幕内容,以固定时间T对视频播放的字幕进行截取,得到视频字幕集合Ai(ai1,ai2,...,aij,...,ain),其中,Ai表示为第i个需存储视频的字幕集合,aij表示为第i个需存储视频在第j个时间段对应的字幕内容,n表示为该需储存视频划分的时间段数量;
S5、将视频字幕集合中各时间段内的字幕内容与设定的各视频类型对应的类型关键字集合进行Wg逐一对比,得到对比类型关键字集合W′ijg(w′ijg1,w′ijg2,...,w′ijgh,...,w′ijgl),W′ijg表示为第i个需存储视频的第j个时间段与编号为g的视频类型中的关键字对比的集合,w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数;
S6、通过匹配度计算方法,统计需存储视频与各视频类型的匹配程度,筛选匹配度系数最高的视频类型,并将需存储视频存储至该视频类型对应的子存储单元,所述匹配度计算方法Qig表示为第i个需存储视频与编号为g的视频类型的匹配度系数,w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数,dwgh表示为编号为g的视频类型中第h个关键字所占的权重;
S7、需存储视频存储完成,接收视频存储发送的下一空间占用请求,提取需存储视频的播放时长、视频播放的字幕内容,并执行步骤S3-S7;
S8、实时检测各存储单元中各子存储单元的剩余存储空间,若各子存储单元的剩余存储空间小于设定的标准存储空间,则备用存储单元以固定存储容量划分至剩余存储空间小于设定的标准存储空间的子存储单元,直至子存储单元的剩余存储空间大于设定的标准存储空间。
本发明提供的基于大数据的视频存储分配方法,通过将视频存储空间按照视频播放时长和视频类型进行划分,根据视频播放的时长将视频存储至对应的存储单元,并对该时长范围内的视频播放字幕内容进行关键字提取,提取的关键字与各视频类型对应的关键字进行对比,以确定需存储视频与各视频类型间的匹配度系数,筛选匹配度系数最高的视频类型,且将需存储的视频存储至匹配度系数最高的视频类型对应的子存储单元,同时,检测各子存储单元的剩余存储空间,一旦剩余存储空间小于设定的存储空间,则将备用存储单元的存储空间划分剩余存储空间不足的子存储单元,保证视频存储的有效分类,提高了视频存储的规律性,避免视频存储的过程中因存储空间不足造成的丢失问题,具有视频存储的效率高、准确性高以及可靠性高的特点。
以上内容仅仅是对本发明的构思所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的构思或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。

Claims (4)

1.一种基于大数据的视频存储分配方法,其特征在于,包括以下步骤:
S1、对存储空间划分成若干存储空间相同的存储单元和一备用存储单元,不同存储单元存储不同时长段的视频,对存储单元进一步划分,划分为若干子存储单元,存储单元中的若干子存储单元用于存储设定时长段范围内的不同类型的视频,视频的类型包括爱情、校园、喜剧、动作、科幻、古装、武侠、惊悚和犯罪类,视频的类型按照设定的编号顺序对各类型进行排序,分别为1,2,...,g,...,y,不同的视频类型设有若干类型关键字,构成类型关键字集合Wg(wg1,wg2,...,wgh,...,wgl),Wg表示编号为g的视频类型对应的类型关键字集合,wgh表示编号为g的视频类型对应的第h个关键字;
S2、获取视频存储发送的一空间占用请求,并提取需存储视频的播放时长、视频播放的字幕内容;
S3、对需存储的视频进行播放,统计视频播放的时长,将视频播放的时长与设定的各存储单元内存储的视频时长范围进行对比,以确定需存储视频对应的存储单元;
S4、提取需存储视频在播放过程中的所有字幕内容,以固定时间T对视频播放的字幕进行截取,得到视频字幕集合Ai(ai1,ai2,...,aij,...,ain),其中,Ai表示为第i个需存储视频的字幕集合,aij表示为第i个需存储视频在第j个时间段对应的字幕内容,n表示为该需储存视频划分的时间段数量;
S5、将视频字幕集合中各时间段内的字幕内容与设定的各视频类型对应的类型关键字集合进行Wg逐一对比,得到对比类型关键字集合W′ijg(w′ijg1,w′ijg2,...,w′ijgh,...,w′ijgl),W′ijg表示为第i个需存储视频的第j个时间段与编号为g的视频类型中的关键字对比的集合,w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数;
S6、通过匹配度计算方法,统计需存储视频与各视频类型的匹配程度,筛选匹配度系数最高的视频类型,并将需存储视频存储至该视频类型对应的子存储单元;
S7、需存储视频存储完成,接收视频存储发送的下一空间占用请求,提取需存储视频的播放时长、视频播放的字幕内容,并执行步骤S3-S7;
S8、实时检测各存储单元中各子存储单元的剩余存储空间,若各子存储单元的剩余存储空间小于设定的标准存储空间,则备用存储单元以固定存储容量划分至剩余存储空间小于设定的标准存储空间的子存储单元,直至子存储单元的剩余存储空间大于设定的标准存储空间。
2.根据权利要求1所述的一种基于大数据的视频存储分配方法,其特征在于:对存储单元进行编号分别为1,2,...,k,...,x,各存储单元存储的视频播放时长范围依次为0~T0,T0~T0+T,...,T0+(k-2)T~T0+(k-1)T,...,T0+(x-2)T~T0+(x-1)T,T0表示为初始时间,T表示为设定的时间间隔。
3.根据权利要求1所述的一种基于大数据的视频存储分配方法,其特征在于:所述类型关键字集合Wg(wg1,wg2,...,wgh,...,wgl)中不同类型关键字所占的权重不同,分别为dwg1,dwg2,...,dwgh,...,dwgl,且dwg1>dwg2>...>dwgh>...>dwgl,dwg1+dwg2+...+dwgh+...+dwgl=1,dwgh表示为编号为g的视频类型中第h个关键字所占的权重。
4.根据权利要求1所述的一种基于大数据的视频存储分配方法,其特征在于:所述匹配度计算方法Qig表示为第i个需存储视频与编号为g的视频类型的匹配度系数,w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数,dwgh表示为编号为g的视频类型中第h个关键字所占的权重。
CN201810528137.2A 2018-05-25 2018-05-25 一种基于大数据的视频存储分配方法 Active CN108763465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810528137.2A CN108763465B (zh) 2018-05-25 2018-05-25 一种基于大数据的视频存储分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810528137.2A CN108763465B (zh) 2018-05-25 2018-05-25 一种基于大数据的视频存储分配方法

Publications (2)

Publication Number Publication Date
CN108763465A true CN108763465A (zh) 2018-11-06
CN108763465B CN108763465B (zh) 2021-12-28

Family

ID=64003372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810528137.2A Active CN108763465B (zh) 2018-05-25 2018-05-25 一种基于大数据的视频存储分配方法

Country Status (1)

Country Link
CN (1) CN108763465B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113613023A (zh) * 2021-10-08 2021-11-05 中通服建设有限公司 基于云网融合的慧眼监控系统
CN114185493A (zh) * 2022-02-15 2022-03-15 烟台市地理信息中心 测绘数据的分割及存储方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753936A (zh) * 2008-12-08 2010-06-23 北京中星微电子有限公司 一种视频监控系统的存储空间的配置方法和视频服务器
CN103761056A (zh) * 2014-01-17 2014-04-30 浪潮电子信息产业股份有限公司 一种视频监控应用中流式数据的存储方法
CN105245962A (zh) * 2015-09-29 2016-01-13 合一网络技术(北京)有限公司 一种视频轮播方法和装置
CN105956155A (zh) * 2016-05-13 2016-09-21 海信集团有限公司 一种多媒体数据搜索方法及装置
CN106202333A (zh) * 2016-07-02 2016-12-07 北京工业大学 一种仓储视频处理和快速检索的方法
CN106933974A (zh) * 2017-02-14 2017-07-07 浙江大华技术股份有限公司 一种视频文件索引信息的构建和查询方法及装置
US20170229030A1 (en) * 2013-11-25 2017-08-10 Perceptionicity Institute Corporation Systems, methods, and computer program products for strategic motion video
US20180047429A1 (en) * 2016-08-10 2018-02-15 Paul Smith Streaming digital media bookmark creation and management
CN107888948A (zh) * 2017-11-07 2018-04-06 北京小米移动软件有限公司 确定视频文件播放速度的方法及装置、电子设备
CN107896335A (zh) * 2017-12-06 2018-04-10 任明和 基于大数据技术的视频检测和评级方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753936A (zh) * 2008-12-08 2010-06-23 北京中星微电子有限公司 一种视频监控系统的存储空间的配置方法和视频服务器
US20170229030A1 (en) * 2013-11-25 2017-08-10 Perceptionicity Institute Corporation Systems, methods, and computer program products for strategic motion video
CN103761056A (zh) * 2014-01-17 2014-04-30 浪潮电子信息产业股份有限公司 一种视频监控应用中流式数据的存储方法
CN105245962A (zh) * 2015-09-29 2016-01-13 合一网络技术(北京)有限公司 一种视频轮播方法和装置
CN105956155A (zh) * 2016-05-13 2016-09-21 海信集团有限公司 一种多媒体数据搜索方法及装置
CN106202333A (zh) * 2016-07-02 2016-12-07 北京工业大学 一种仓储视频处理和快速检索的方法
US20180047429A1 (en) * 2016-08-10 2018-02-15 Paul Smith Streaming digital media bookmark creation and management
CN106933974A (zh) * 2017-02-14 2017-07-07 浙江大华技术股份有限公司 一种视频文件索引信息的构建和查询方法及装置
CN107888948A (zh) * 2017-11-07 2018-04-06 北京小米移动软件有限公司 确定视频文件播放速度的方法及装置、电子设备
CN107896335A (zh) * 2017-12-06 2018-04-10 任明和 基于大数据技术的视频检测和评级方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JZ HONG 等: "An integrated system for content-based video retrieval and browsing", 《PATTERN RECOGNITION》 *
钱学明 等: "基于语义的视频浏览系统中的关键技术的研究", 《西安交通大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113613023A (zh) * 2021-10-08 2021-11-05 中通服建设有限公司 基于云网融合的慧眼监控系统
CN113613023B (zh) * 2021-10-08 2021-12-17 中通服建设有限公司 基于云网融合的慧眼监控系统
CN114185493A (zh) * 2022-02-15 2022-03-15 烟台市地理信息中心 测绘数据的分割及存储方法

Also Published As

Publication number Publication date
CN108763465B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
US9959345B2 (en) Search and identification of video content
US11687587B2 (en) Video fingerprinting
KR20180030885A (ko) 미디어 세그먼트를 식별함에 있어 향상된 효율성을 위해 검색 인덱스를 나누는 시스템 및 방법
CN105139021B (zh) 一种基于粗糙集理论实现电视用户快速分类的方法及系统
US9736520B2 (en) System and method for organizing multimedia content
CN106897295B (zh) 一种基于Hadoop的输电线路监控视频分布式检索方法
CN109408639A (zh) 一种弹幕分类方法、装置、设备和存储介质
CN110222209B (zh) 图片存储方法、查询方法、装置及存取系统
US11496805B2 (en) Video delivery method and apparatus, and electronic device
CN108763465A (zh) 一种基于大数据的视频存储分配方法
CN110933473A (zh) 一种视频播放热度确定方法及装置
Xu et al. Video analytics with zero-streaming cameras
CN110113626A (zh) 一种回放直播视频的方法及装置
CN104751107B (zh) 一种视频关键数据确定方法、装置及设备
CN111291059A (zh) 基于内存数据网格的数据处理方法
CN107273310A (zh) 一种多媒体数据的读取方法、装置、介质及设备
CN103761194B (zh) 一种内存管理方法及装置
CN108763458A (zh) 内容特征查询方法、装置、计算机设备及存储介质
CN110569447B (zh) 一种网络资源的推荐方法、装置及存储介质
CN108763437B (zh) 一种基于大数据的视频存储管理系统
CN108616583A (zh) 一种基于计算机云的存储空间分配方法
Zhu et al. A content-based indexing scheme for large-scale unstructured data
CN114610960A (zh) 基于item2vec和向量聚类的实时推荐方法
CN107566904A (zh) 一种资源数据更新方法及机顶盒设备
WO2016155256A1 (zh) 一种节目录制控制方法、系统以及管理、热度统计服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211201

Address after: 215300 No. 99, business Avenue, Huaqiao Town, Suzhou City, Jiangsu Province

Applicant after: Jiangsu Renshun Information Technology Co.,Ltd.

Address before: 511457 room 701, No.4 zhudian Road, Nansha District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU QIANGUI SOFTWARE TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant