CN108763465B - 一种基于大数据的视频存储分配方法 - Google Patents
一种基于大数据的视频存储分配方法 Download PDFInfo
- Publication number
- CN108763465B CN108763465B CN201810528137.2A CN201810528137A CN108763465B CN 108763465 B CN108763465 B CN 108763465B CN 201810528137 A CN201810528137 A CN 201810528137A CN 108763465 B CN108763465 B CN 108763465B
- Authority
- CN
- China
- Prior art keywords
- video
- storage
- stored
- storage unit
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开一种基于大数据的视频存储分配方法，包括以下步骤:存储空间划分成若干存储单元和一备用存储单元，存储单元内划分为若干子存储单元；对需存储的视频进行播放，统计视频播放的时长，将视频播放的时长与设定的各存储单元内存储的视频时长范围对比，以确定需存储视频对应的存储单元；提取需存储视频的所有字幕内容，根据字幕内容与设定的各视频类型的关键字进行对比，以确定匹配度系数最高的视频类型对应的子存储单元；检测各子存储单元的剩余存储空间是否小于设定的标准存储空间，若小于则将备用存储单元划分至剩余存储空间不足的子存储单元。本发明具有视频存储的效率高、准确性高以及可靠性高的特点，便于进行存储分类。
Description
技术领域
本发明属于视频存储技术领域，涉及到一种基于大数据的视频存储分配方法。
背景技术
随着计算机网络，特别是因特网(Internet)的迅猛发展，越来越多的视频文件被数据化，全球信息存储量每年急剧增长。传统的信息系统概念发生了巨大的变化，这些变化突出地表现在视频信息的存储、传递、发布以及获取方式所发生的革命性变革。与此同时，大量数据密集型应用，如视频监控，广电行业，数字图书馆，医疗视频图像处理，海量视频在线编辑等，对视频存储的容量，性能，安全性，可扩展性和可用性提出了更高要求。传统的视频文件的存储方式过于简单化，由于缺乏管理导致视频文件出现大量的堆积以及丢失，因此，传统的视频存储模式渐渐不能满足需求，视频文件存储的需求和应用的复杂性提出了新的存储模式。
现有视频存储过程中，存在视频存储的条理性差、效率低、可靠性差，以及存储的过程中视频因存储空间不足而发生的丢失问题，现设计一种基于大数据的视频存储分配方法。
发明内容
本发明的目的在于提供一种基于大数据的视频存储分配方法，解决了现有视频存储过程中，存在视频存储的条理性差、效率低、可靠性差以及视频易丢失的问题。
本发明的目的可以通过以下技术方案实现：
一种基于大数据的视频存储分配方法，包括以下步骤:
S1、对存储空间划分成若干存储空间相同的存储单元和一备用存储单元，不同存储单元存储不同时长段的视频，对存储单元进一步划分，划分为若干子存储单元，存储单元中的若干子存储单元用于存储设定时长段范围内的不同类型的视频，视频的类型包括爱情、校园、喜剧、动作、科幻、古装、武侠、惊悚和犯罪类，视频的类型按照设定的编号顺序对各类型进行排序，分别为1,2，...,g,...,y，不同的视频类型设有若干类型关键字，构成类型关键字集合Wg(wg1,wg2,...,wgh,...,wgl)，Wg表示编号为g的视频类型对应的类型关键字集合，wgh表示编号为g的视频类型对应的第h个关键字；
S2、获取视频存储发送的一空间占用请求，并提取需存储视频的播放时长、视频播放的字幕内容；
S3、对需存储的视频进行播放，统计视频播放的时长，将视频播放的时长与设定的各存储单元内存储的视频时长范围进行对比，以确定需存储视频对应的存储单元；
S4、提取需存储视频在播放过程中的所有字幕内容，以固定时间T对视频播放的字幕进行截取，得到视频字幕集合Ai(ai1,ai2,...,aij,...,ain)，其中，Ai表示为第i个需存储视频的字幕集合，aij表示为第i个需存储视频在第j个时间段对应的字幕内容，n表示为该需储存视频划分的时间段数量；
S5、将视频字幕集合中各时间段内的字幕内容与设定的各视频类型对应的类型关键字集合进行Wg逐一对比，得到对比类型关键字集合W′ijg(w′ijg1,w′ijg2,...,w′ijgh,...,w′ijgl)，W′ijg表示为第i个需存储视频的第j个时间段与编号为g的视频类型中的关键字对比的集合，w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数；
S6、通过匹配度计算方法，统计需存储视频与各视频类型的匹配程度，筛选匹配度系数最高的视频类型，并将需存储视频存储至该视频类型对应的子存储单元；
S7、需存储视频存储完成，接收视频存储发送的下一空间占用请求，提取需存储视频的播放时长、视频播放的字幕内容，并执行步骤S3-S7；
S8、实时检测各存储单元中各子存储单元的剩余存储空间，若各子存储单元的剩余存储空间小于设定的标准存储空间，则备用存储单元以固定存储容量划分至剩余存储空间小于设定的标准存储空间的子存储单元，直至子存储单元的剩余存储空间大于设定的标准存储空间。
进一步地，对存储单元进行编号分别为1,2，...,k，...，x，各存储单元存储的视频播放时长范围依次为0～T0,T0～T0+T间，...,T0+(k-2)T间～T0+(k-1)T间,...,T0+(x-2)T间～T0+(x-1)T间，T0表示为初始时间，T间表示为设定的时间间隔。
进一步地，所述类型关键字集合Wg(wg1,wg2,...,wgh,...,wgl)中不同类型关键字所占的权重不同，分别为dwg1,dwg2,...,dwgh,...,dwgl，且dwg1＞dwg2＞...＞dwgh＞...＞dwgl，dwg1+dwg2+...+dwgh+...+dwgl＝1，dwgh表示为编号为g的视频类型中第h个关键字所占的权重。
进一步地，所述匹配度计算方法
Qig表示为第i个需存储视频与编号为g的视频类型的匹配度系数，w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数，dwgh表示为编号为g的视频类型中第h个关键字所占的权重。
本发明的有益效果：
本发明提供的基于大数据的视频存储分配方法，通过将视频存储空间按照视频播放时长和视频类型进行划分，根据视频播放的时长将视频存储至对应的存储单元，并对该时长范围内的视频播放字幕内容进行关键字提取，提取的关键字与各视频类型对应的关键字进行对比，以确定需存储视频与各视频类型间的匹配度系数，筛选匹配度系数最高的视频类型，且将需存储的视频存储至匹配度系数最高的视频类型对应的子存储单元，同时，检测各子存储单元的剩余存储空间，一旦剩余存储空间小于设定的存储空间，则将备用存储单元的存储空间划分剩余存储空间不足的子存储单元，保证视频存储的有效分类，提高了视频存储的规律性，避免视频存储的过程中因存储空间不足造成的丢失问题，具有视频存储的效率高、准确性高以及可靠性高的特点。
具体实施方式
下面将结合本发明实施例中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明为一种基于大数据的视频存储分配方法，包括以下步骤:
S1、对存储空间划分成若干存储空间相同的存储单元和一备用存储单元，不同存储单元存储不同时长段的视频，对存储单元进一步划分，划分为若干子存储单元，存储单元中的若干子存储单元用于存储设定时长段内的不同类型的视频，对存储单元进行编号，分别为1,2，...,k，...，x，各存储单元存储的视频播放时长范围依次为0～T0,T0～T0+T间，...,T0+(k-2)T间～T0+(k-1)T间,...,T0+(x-2)T间～T0+(x-1)T间，其中，T0表示为初始时间，T间表示为设定的时间间隔，视频的类型包括爱情、校园、喜剧、动作、科幻、古装、武侠、惊悚和犯罪类等，所述视频的类型按照设定的编号顺序对各类型进行排序，分别为1,2，...,g,...,y，不同的视频类型设有若干类型关键字，构成类型关键字集合Wg(wg1,wg2,...,wgh,...,wgl)，Wg表示编号为g的视频类型对应的类型关键字集合，wgh表示编号为g的视频类型对应的第h个关键字，不同类型关键字所占的权重不同，分别为dwg1,dwg2,...,dwgh,...,dwgl，且dwg1＞dwg2＞...＞dwgh＞...＞dwgl，dwg1+dwg2+...+dwgh+...+dwgl＝1，dwgh表示为编号为g的视频类型中第h个关键字所占的权重；
S2、获取视频存储发送的一空间占用请求，并提取需存储视频的播放时长、视频播放的字幕内容；
S3、对需存储的视频进行播放，统计视频播放的时长，将视频播放的时长与设定的各存储单元内存储的视频时长范围进行对比，以确定需存储视频对应的存储单元；
S4、提取需存储视频在播放过程中的所有字幕内容，以固定时间T对视频播放的字幕进行截取，得到视频字幕集合Ai(ai1,ai2,...,aij,...,ain)，其中，Ai表示为第i个需存储视频的字幕集合，aij表示为第i个需存储视频在第j个时间段对应的字幕内容，n表示为该需储存视频划分的时间段数量；
S5、将视频字幕集合中各时间段内的字幕内容与设定的各视频类型对应的类型关键字集合进行Wg逐一对比，得到对比类型关键字集合W′ijg(w′ijg1,w′ijg2,...,w′ijgh,...,w′ijgl)，W′ijg表示为第i个需存储视频的第j个时间段与编号为g的视频类型中的关键字对比的集合，w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数；
S6、通过匹配度计算方法，统计需存储视频与各视频类型的匹配程度，筛选匹配度系数最高的视频类型，并将需存储视频存储至该视频类型对应的子存储单元，所述匹配度计算方法
Qig表示为第i个需存储视频与编号为g的视频类型的匹配度系数，w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数，dwgh表示为编号为g的视频类型中第h个关键字所占的权重；
S7、需存储视频存储完成，接收视频存储发送的下一空间占用请求，提取需存储视频的播放时长、视频播放的字幕内容，并执行步骤S3-S7；
S8、实时检测各存储单元中各子存储单元的剩余存储空间，若各子存储单元的剩余存储空间小于设定的标准存储空间，则备用存储单元以固定存储容量划分至剩余存储空间小于设定的标准存储空间的子存储单元，直至子存储单元的剩余存储空间大于设定的标准存储空间。
本发明提供的基于大数据的视频存储分配方法，通过将视频存储空间按照视频播放时长和视频类型进行划分，根据视频播放的时长将视频存储至对应的存储单元，并对该时长范围内的视频播放字幕内容进行关键字提取，提取的关键字与各视频类型对应的关键字进行对比，以确定需存储视频与各视频类型间的匹配度系数，筛选匹配度系数最高的视频类型，且将需存储的视频存储至匹配度系数最高的视频类型对应的子存储单元，同时，检测各子存储单元的剩余存储空间，一旦剩余存储空间小于设定的存储空间，则将备用存储单元的存储空间划分剩余存储空间不足的子存储单元，保证视频存储的有效分类，提高了视频存储的规律性，避免视频存储的过程中因存储空间不足造成的丢失问题，具有视频存储的效率高、准确性高以及可靠性高的特点。
以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (1)
1.一种基于大数据的视频存储分配方法，其特征在于，包括以下步骤:
S1、对存储空间划分成若干存储空间相同的存储单元和一备用存储单元，不同存储单元存储不同时长段的视频，对存储单元进一步划分，划分为若干子存储单元，存储单元中的若干子存储单元用于存储设定时长段范围内的不同类型的视频，视频的类型包括爱情、校园、喜剧、动作、科幻、古装、武侠、惊悚和犯罪类，视频的类型按照设定的编号顺序对各类型进行排序，分别为1,2，...,g,...,y，不同的视频类型设有若干类型关键字，构成类型关键字集合Wg(wg1,wg2,...,wgh,...,wgl)，Wg表示编号为g的视频类型对应的类型关键字集合，wgh表示编号为g的视频类型对应的第h个关键字；
S2、获取视频存储发送的一空间占用请求，并提取需存储视频的播放时长、视频播放的字幕内容；
S3、对需存储的视频进行播放，统计视频播放的时长，将视频播放的时长与设定的各存储单元内存储的视频时长范围进行对比，以确定需存储视频对应的存储单元；
S4、提取需存储视频在播放过程中的所有字幕内容，以固定时间T对视频播放的字幕进行截取，得到视频字幕集合Ai(ai1,ai2,...,aij,...,ain)，其中，Ai表示为第i个需存储视频的字幕集合，aij表示为第i个需存储视频在第j个时间段对应的字幕内容，n表示为该需储存视频划分的时间段数量；
S5、将视频字幕集合中各时间段内的字幕内容与设定的各视频类型对应的类型关键字集合Wg进行逐一对比，得到对比类型关键字集合W′ijg(w′ijg1,w′ijg2,...,w′ijgh,...,w′ijgl)，W′ijg表示为第i个需存储视频的第j个时间段与编号为g的视频类型中的关键字对比的集合，w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数；
S6、通过匹配度计算方法，统计需存储视频与各视频类型的匹配程度，筛选匹配度系数最高的视频类型，并将需存储视频存储至该视频类型对应的子存储单元；
S7、需存储视频存储完成，接收视频存储发送的下一空间占用请求，并执行步骤S3-S7；
S8、实时检测各存储单元中各子存储单元的剩余存储空间，若各子存储单元的剩余存储空间小于设定的标准存储空间，则备用存储单元以固定存储容量划分至剩余存储空间小于设定的标准存储空间的子存储单元，直至子存储单元的剩余存储空间大于设定的标准存储空间；
对存储单元进行编号分别为1,2，...,k，...，x，各存储单元存储的视频播放时长范围依次为0～T0,T0～T0+T间，...,T0+(k-2)T间～T0+(k-1)T间,...,T0+(x-2)T间～T0+(x-1)T间，T0表示为初始时间，T间表示为设定的时间间隔；
所述类型关键字集合Wg(wg1,wg2,...,wgh,...,wgl)中不同类型关键字所占的权重不同，分别为dwg1,dwg2,...,dwgh,...,dwgl，且dwg1＞dwg2＞...＞dwgh＞...＞dwgl，dwg1+dwg2+...+dwgh+...+dwgl＝1，dwgh表示为编号为g的视频类型中第h个关键字所占的权重；
所述匹配度计算方法
Qig表示为第i个需存储视频与编号为g的视频类型的匹配度系数，w′ijgh表示为第i个需存储视频的第j个时间段出现编号为g的视频类型中第h个类型关键字的次数，dwgh表示为编号为g的视频类型中第h个关键字所占的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810528137.2A CN108763465B (zh) | 2018-05-25 | 2018-05-25 | 一种基于大数据的视频存储分配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810528137.2A CN108763465B (zh) | 2018-05-25 | 2018-05-25 | 一种基于大数据的视频存储分配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108763465A CN108763465A (zh) | 2018-11-06 |
| CN108763465B true CN108763465B (zh) | 2021-12-28 |
Family
ID=64003372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810528137.2A Active CN108763465B (zh) | 2018-05-25 | 2018-05-25 | 一种基于大数据的视频存储分配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108763465B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113613023B (zh) * | 2021-10-08 | 2021-12-17 | 中通服建设有限公司 | 基于云网融合的慧眼监控系统 |
| CN114185493B (zh) * | 2022-02-15 | 2022-05-06 | 烟台市地理信息中心 | 测绘数据的分割及存储方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105245962A (zh) * | 2015-09-29 | 2016-01-13 | 合一网络技术(北京)有限公司 | 一种视频轮播方法和装置 |
| CN107888948A (zh) * | 2017-11-07 | 2018-04-06 | 北京小米移动软件有限公司 | 确定视频文件播放速度的方法及装置、电子设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101753936B (zh) * | 2008-12-08 | 2013-07-24 | 北京中星微电子有限公司 | 一种视频监控系统的存储空间的配置方法和视频服务器 |
| US10163359B2 (en) * | 2013-11-25 | 2018-12-25 | Perceptionicity Institute Corporation | Systems, methods, and computer program products for strategic motion video |
| CN103761056A (zh) * | 2014-01-17 | 2014-04-30 | 浪潮电子信息产业股份有限公司 | 一种视频监控应用中流式数据的存储方法 |
| CN105956155A (zh) * | 2016-05-13 | 2016-09-21 | 海信集团有限公司 | 一种多媒体数据搜索方法及装置 |
| CN106202333A (zh) * | 2016-07-02 | 2016-12-07 | 北京工业大学 | 一种仓储视频处理和快速检索的方法 |
| US10600448B2 (en) * | 2016-08-10 | 2020-03-24 | Themoment, Llc | Streaming digital media bookmark creation and management |
| CN106933974B (zh) * | 2017-02-14 | 2020-02-14 | 浙江大华技术股份有限公司 | 一种视频文件索引信息的构建和查询方法及装置 |
| CN107896335B (zh) * | 2017-12-06 | 2019-12-31 | 重庆智韬信息技术中心 | 基于大数据技术的视频检测和评级方法 |
-
2018
- 2018-05-25 CN CN201810528137.2A patent/CN108763465B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105245962A (zh) * | 2015-09-29 | 2016-01-13 | 合一网络技术(北京)有限公司 | 一种视频轮播方法和装置 |
| CN107888948A (zh) * | 2017-11-07 | 2018-04-06 | 北京小米移动软件有限公司 | 确定视频文件播放速度的方法及装置、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108763465A (zh) | 2018-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105653700B (zh) | 视频检索方法及系统 | |
| Gong et al. | Video summarization using singular value decomposition | |
| CN102724497B (zh) | 在视频数据流的编码和解码中存储设备的有效使用 | |
| JP3568117B2 (ja) | ビデオ画像の分割、分類、および要約のための方法およびシステム | |
| US7702152B2 (en) | Non-linear quantization and similarity matching methods for retrieving video sequence having a set of image frames | |
| EP1329107A1 (en) | Non-linear quantization and similarity matching methods for retrieving image data | |
| US20210109921A1 (en) | Merkle tree storage of big data | |
| JP2002519748A (ja) | 像検索システム | |
| CN108763465B (zh) | 一种基于大数据的视频存储分配方法 | |
| CN106686460B (zh) | 一种视频节目推荐方法及视频节目推荐装置 | |
| US20220139085A1 (en) | Method and apparatus for video frame processing | |
| CN108604249A (zh) | 生成索引信息的数据库的存档方法及装置、包含索引信息的存档的数据库的搜索方法及装置 | |
| US8620971B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5366212B2 (ja) | 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法 | |
| CN107943903A (zh) | 视频检索方法及装置、计算机设备、存储介质 | |
| CN108763437B (zh) | 一种基于大数据的视频存储管理系统 | |
| Ranjan et al. | Video summary based on F-sift, Tamura textural and middle level semantic feature | |
| JP4420085B2 (ja) | データ処理装置、データ処理方法、プログラムおよび記録媒体 | |
| CN106886783B (zh) | 一种基于区域特征的图像检索方法及系统 | |
| US20110249189A1 (en) | Image processing apparatus, image processing method, and program | |
| Idris et al. | Image indexing using wavelet vector quantization | |
| CN112364080B (zh) | 一种面向海量向量库的快速检索系统及方法 | |
| TWI513282B (zh) | 快取記憶體管理裝置及應用該快取記憶體管理裝置之動態影像系統及方法 | |
| WO2017178914A1 (en) | Compressing indices in a video stream | |
| CN108681606B (zh) | 一种基于大数据的电影节目的存储与提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211201 Address after: 215300 No. 99, business Avenue, Huaqiao Town, Suzhou City, Jiangsu Province Applicant after: Jiangsu Renshun Information Technology Co.,Ltd. Address before: 511457 room 701, No.4 zhudian Road, Nansha District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU QIANGUI SOFTWARE TECHNOLOGY CO.,LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |