CN112351101B - 一种视频数据高速下载方法 - Google Patents

一种视频数据高速下载方法 Download PDF

Info

Publication number
CN112351101B
CN112351101B CN202011241608.5A CN202011241608A CN112351101B CN 112351101 B CN112351101 B CN 112351101B CN 202011241608 A CN202011241608 A CN 202011241608A CN 112351101 B CN112351101 B CN 112351101B
Authority
CN
China
Prior art keywords
video data
storage
storage server
disk
metadata information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011241608.5A
Other languages
English (en)
Other versions
CN112351101A (zh
Inventor
刘晨辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Duomi Technology Co ltd
Original Assignee
Wuhan Duomi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Duomi Technology Co ltd filed Critical Wuhan Duomi Technology Co ltd
Priority to CN202011241608.5A priority Critical patent/CN112351101B/zh
Publication of CN112351101A publication Critical patent/CN112351101A/zh
Application granted granted Critical
Publication of CN112351101B publication Critical patent/CN112351101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种视频数据高速下载方法，包括：将视频数据分片，并根据分片结果向元数据服务器请求存储服务器地址，此时形成第一元数据信息；存储服务器根据分片结果，依据第一元数据信息对离散存储在存储服务器磁盘的视频数据片段进行整理，将其存储方式由随机离散转变为连续有序，并形成第二元数据信息；客户端根据所述第一元数据信息和第二元数据信息，完成原视频数据的高速下载。本发明的有益效果：提高了大容量视频数据的读取效率，使得大容量视频数据从云端下载更加迅速。

Description

一种视频数据高速下载方法
技术领域
本发明涉及视频数据处理领域，尤其涉及一种视频数据高速下载方法。
背景技术
在多媒体时代，视频数据量越来越大，对视频数据的存储和下载的要求越来越高；大容量的视频数据往往存储于云服务器中，以便在需要时能够方便读取；
但是，正因为视频数据容量较大，造成视频数据上传至云服务器时，耗时较长，同时需要读取时，下载又较慢，导致视频数据的回放实时性较差。
发明内容
有鉴于此，本发明实际要解决的技术问题是：如何提高视频数据存储效率及下载效率，使得用户在需要时能够实时的完成从云服务器高速下视频数据进行视频回放。
为此，本发明提供一种视频数据高速下载方法，将视频数据分片，并根据分片结果向元数据服务器请求存储服务器地址，此时形成第一元数据信息；存储服务器根据分片结果，依据第一元数据信息对离散存储在存储服务器磁盘的视频数据片段进行整理，将其存储方式由随机离散转变为连续有序，并形成第二元数据信息；客户端根据所述第一元数据信息和第二元数据信息，完成原视频数据的高速下载。
本发明提供一种视频数据高速下载方法，包括以下：
所述元数据服务器存储有包括各个视频数据片段相对于原视频数据编号偏移Offset_in_obj和各个视频数据片段长度Seg_len的第一元数据信息；所述存储服务器存储有包括各个数据片段相对于原视频数据的时间偏移Time_in_obj的第二元数据信息；
所述存储服务器在固定的预设时间段，根据所述Time_in_obj对存储于随机磁盘空间的视频数据片段进行重新排序，使视频数据片段的存储方式由随机离散存储转变为连续有序存储，并更新第二元数据信息；
所述客户端访问云服务器，获取第一元数据信息；
所述客户端根据第一元数据信息访问存储有连续有序存储的视频数据片段的存储服务器，获取更新后的第二元数据信息；
所述客户端根据第一元数据信息和更新后的第二元数据信息，直接将各个视频数据片段从所述存储服务器下载至本地，避免了再次排序，从而完成原视频数据的高速下载。
本发明提供的技术方案带来的有益效果是：提高了大容量视频数据的读取效率，使得大容量视频数据从云端下载更加迅速。
附图说明
图1是原视频数据存储过程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
本发明提供一种视频数据高速下载方法，主要流程为：视频数据的存储、视频数据的整理、视频数据的下载；
请参考图1，图1是客户端原视频数据存储过程示意图；
视频数据以对象方式存储在不同的存储服务器中；
以对象ID(即objectID)标记每个视频数据，每个视频数据的objectID不同；
图1中，①表示客户端向元数据服务器申请存储服务器的地址，一次申请可以获取多个服务器地址；②表示客户端将视频数据按照时间进行切分，分为不同的数据片，写入不同的存储服务器中；
多个客户端可以同时执行①②操作；
例如第一客户端client1的视频数据的对象ID为test01，第二客户端client2的视频数据的对象ID为test02；第一客户端client1和第二客户端client2同时执行①，元数据服务器向第一客户端client1返回存储服务器1和存储服务器2，向第二客户端client2返回存储服务器2和存储服务器3；
第一客户端client1和第二客户端client2同时执行②，第一客户端client1将视频数据test01分别，切分为test01_01和test01_02两个视频数据片段，test01_01写入存储服务器1，test01_02写入存储服务器2，第二客户端client2将视频数据test02切分为test02_01和test02_02，test02_01写入存储服务器2，test02_02写入存储服务器3。
在存储服务器中，存储服务器依据一定策略选择不同的磁盘，例如轮转挑选或者随机选择(领域内技术人员也可以根据实际需要选择其他方法)，将视频数据片段随机写入到不同的磁盘中。
例如存储服务器2(以24盘位为例)，client1将视频数据切分为50片，例如视频数据片段01、03、05、07、09、11、13、15、17写入存储服务器2；在存储服务器2中，视频数据片段03、07、11、17写入Disk03中，视频数据片段04、08、12写入Disk06中。
在视频数据写入磁盘后，需要在元数据服务器中记录各个视频数据片段的第一元数据信息，包括：
在存储服务器中记录的视频数据片段的第二元数据信息，包括：
视频数据整理：所述存储服务器在固定的预设时间段，根据所述Time_in_obj对存储于随机磁盘空间的视频数据片段进行重新排序，使视频数据片段的存储方式由随机离散存储转变为连续有序存储，并更新第二元数据信息；举例如下：
因为有多个客户端在同时写视频数据，所以存储服务器的磁盘中，同一个Object_id的视频数据分片，不一定是连续存储在磁盘中，极有可能是分开存储在磁盘的不同位置，且是乱序的；
存储服务器在固定时间进行视频数据整理，时间可配置，例如凌晨1点；
存储服务器依据存储在视频服务器的第二元数据信息，扫描磁盘中的视频数据分片，将属于同一个Object_id的数据分片进行归类，并且按照Time_in_obj进行排序；
例如在Disk07中扫描Object_id为test03的视频数据分片，扫描得到3个分片，Time_in_obj分别是11、34、23，则排序后，数据分片的顺序是11、23、34；
将排序后的视频数据分片，连续且顺序写入到磁盘的空闲空间中，然后更新Offset_in_disk，且删除原来的视频数据分片；这样同一个磁盘中的同一个Object_id的视频数据分片，是连续存储在磁盘中的，且是顺序的；此时更新或存储第二元数据信息；
视频数据的高速下载过程：
客户端先依据Object_id，向元数据服务器获取视频数据的第一元数据信息；
客户端依据第一元数据信息中的Storage_dev_id向存储服务器获取视频数据，可以同时从多个存储服务器中获取视频数据；
存储服务器依据Object_id和Seg_id，查找视频数据片段存储的Disk_id，再依据Offset_in_disk和Seg_len就可以从磁盘读出视频数据；
客户端获取的视频数据，不一定是连续的，则依据Object_id创建一个空文件，长度为Total_len；
从不同存储服务器获取的视频数据，依据Offset_in_obj和Seg_len将视频片段数据写入到空文件中；
例如客户端从不同存储服务器获取的Offset_in_obj和Seg_len如下表所示：
Seg_id 存储服务器ID Offset_in_obj Seg_len
1 1 512KB 521KB
2 1 1024KB 521KB
4 3 2048KB 521KB
6 3 3072KB 521KB
3 2 1536KB 521KB
在从存储服务器1中获取到分片1和2时，将数据写入到文件的512KB处，长度为1024KB，在从存储服务器3中获取到分片4和6时，分别将数据写入到文件的2048KB处和3072KB处，长度均为512KB，在从存储服务器2中获取到分片3时，将数据写入到文件的1536KB处，长度为512KB。
随着客户端从存储服务器获取的数据越来越多，则空文件被快速填满，当最后一个分片获取到，则视频数据下载完。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：提高了大容量视频数据的读取效率，使得大容量视频数据从云端下载更加迅速。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种视频数据高速下载方法，包括：
客户端将原视频数据分片，得到分片后的各个视频数据片段；
客户端根据各个视频数据片段容量，向元数据服务器请求视频各视频数据片段的存储服务器地址；
客户端根据得到的视频存储服务器地址，将视频数据片段存储于所述存储服务器的随机磁盘空间中，其特征在于：
所述元数据服务器存储有包括各个视频数据片段相对于原视频数据编号偏移Offset_in_obj和各个视频数据片段长度Seg_len的第一元数据信息；
所述存储服务器存储有包括各个数据片段相对于原视频数据的时间偏移Time_in_obj的第二元数据信息；
所述存储服务器在固定的预设时间段，根据所述Time_in_obj对存储于随机磁盘空间的视频数据片段进行重新排序，使视频数据片段的存储方式由随机离散存储转变为连续有序存储，并更新第二元数据信息；
所述客户端访问云服务器，获取第一元数据信息；
所述客户端根据第一元数据信息访问存储有连续有序存储的视频数据片段的存储服务器，获取更新后的第二元数据信息；
所述客户端根据第一元数据信息和更新后的第二元数据信息，直接将各个视频数据片段从所述存储服务器下载至本地，避免了再次排序，从而完成原视频数据的高速下载。
2.如权利要求1所述的视频数据高速下载方法，其特征在于：所述客户端向元数据服务器请求视频各视频数据片段的存储服务器地址时，得到多个存储服务器。
3.如权利要求1所述的视频数据高速下载方法，其特征在于：所述客户端有多个，可同时访问所述元数据服务器。
4.如权利要求1所述的视频数据高速下载方法，其特征在于：所述第一元数据还包括：
唯一标识原视频数据对象的Object_ID；
原视频数据对象的总长Total_len；
唯一标识各个视频数据片段对象的seg_ID；
各个视频数据片段存储的存储服务器地址Storage_dev_id。
5.如权利要求4所述的视频数据高速下载方法，其特征在于：所述第二元数据还包括：
唯一标识原视频数据对象的Object_ID；
唯一标识各个视频数据片段对象的seg_ID；
各个视频数据片段存储的存储服务器磁盘地址Disk_ID；
各个视频数据片段的长度Seg_len；
各个视频数据片段在磁盘中的偏移Offset_in_disk，该数据在视频数据片段的存储方式由随机离散存储转变为连续有序存储时进行更新。
6.如权利要求4所述的视频数据高速下载方法，其特征在于：所述存储服务器在固定的预设时间段，根据所述Time_in_obj对存储于随机磁盘空间的视频数据片段进行重新排序，使视频数据片段的存储方式由随机离散存储转变为连续有序存储，具体过程为：
S101：在每天固定的预设时间段，存储服务器扫描磁盘，将同一个Object_ID的各个视频数据片段归类，并依照各个视频数据片段对应的Time_in_obj进行按时间排序；
S102：将排序后的各个视频数据片段连续且顺序的写入到磁盘的空闲空间中，并更新各个视频数据片段的Offset_in_disk，同时删除原Offset_in_disk对应存储空间的各个视频数据片段。
7.如权利要求5所述的视频数据高速下载方法，其特征在于：所述客户端根据第一元数据信息和更新后的第二元数据信息，直接将各个视频数据片段从所述存储服务器下载至本地，避免了再次排序，从而完成原视频数据的高速下载，其具体过程为：
S201：客户端根据原视频数据的Object_ID，访问元数据服务器，得到第一元数据信息中原视频数据Object_ID对应的Storage_dev_id；
S202：客户端根据所述Storage_dev_id访问存储服务器，得到第二元数据中原视频数据Object_ID对应的Disk_id、Offset_in_disk和Seg_len；
S203：根据Disk_id、Offset_in_disk和Seg_len从存储服务器的磁盘中读出各个视频数据片段；
S204：客户端依据原视频数据Object_id和Total_len，创造一个空视频文件，并依据Offset_in_obj和Seg_len将读取的各个视频数据片段对应写入所述空视频文件，完成原视频数据的高速下载。
CN202011241608.5A 2020-11-09 2020-11-09 一种视频数据高速下载方法 Active CN112351101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011241608.5A CN112351101B (zh) 2020-11-09 2020-11-09 一种视频数据高速下载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011241608.5A CN112351101B (zh) 2020-11-09 2020-11-09 一种视频数据高速下载方法

Publications (2)

Publication Number Publication Date
CN112351101A CN112351101A (zh) 2021-02-09
CN112351101B true CN112351101B (zh) 2024-04-26

Family

ID=74429126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011241608.5A Active CN112351101B (zh) 2020-11-09 2020-11-09 一种视频数据高速下载方法

Country Status (1)

Country Link
CN (1) CN112351101B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007101182A2 (en) * 2006-02-28 2007-09-07 Maven Networks, Inc. Systems and methods for delivering and managing media content downloaded to a network connected device
CN104244079A (zh) * 2013-06-07 2014-12-24 腾讯科技（深圳）有限公司 一种视频下载方法及装置
CN105100815A (zh) * 2015-07-22 2015-11-25 电子科技大学 基于时间序列的流式数据分布式元数据管理方法
CN106559677A (zh) * 2015-09-30 2017-04-05 华为技术有限公司 终端、缓存服务器及获取视频分片的方法及装置
WO2018232795A1 (zh) * 2017-06-19 2018-12-27 网宿科技股份有限公司 一种实现直播视频同步的播放器客户端、系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469433B (zh) * 2013-09-13 2018-09-07 深圳市腾讯计算机系统有限公司 一种视频直播回看方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007101182A2 (en) * 2006-02-28 2007-09-07 Maven Networks, Inc. Systems and methods for delivering and managing media content downloaded to a network connected device
CN104244079A (zh) * 2013-06-07 2014-12-24 腾讯科技（深圳）有限公司 一种视频下载方法及装置
CN105100815A (zh) * 2015-07-22 2015-11-25 电子科技大学 基于时间序列的流式数据分布式元数据管理方法
CN106559677A (zh) * 2015-09-30 2017-04-05 华为技术有限公司 终端、缓存服务器及获取视频分片的方法及装置
WO2017054552A1 (zh) * 2015-09-30 2017-04-06 华为技术有限公司 终端、缓存服务器及获取视频分片的方法及装置
WO2018232795A1 (zh) * 2017-06-19 2018-12-27 网宿科技股份有限公司 一种实现直播视频同步的播放器客户端、系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高速网络中面向应用的IP流研究;陈陆颖;中国博士学位论文全文数据库 (信息科技辑);I139-4 *

Also Published As

Publication number Publication date
CN112351101A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
US9933979B2 (en) Device and method for storing data in distributed storage system
US9846711B2 (en) LSM cache
CN101779244B (zh) 直接海量存储设备文件索引
CN102385623B (zh) 一种分布式文件系统中目录的存取方法
CN103488709B (zh) 一种索引建立方法及系统、检索方法及系统
CN101141627A (zh) 一种流媒体文件的存储系统及方法
CN103096126B (zh) 协作式缓存集群中面向视频点播服务的协作式缓存方法及系统
CN102541985A (zh) 一种分布式文件系统中客户端目录缓存的组织方法
CN102147711A (zh) 一种基于数据内容识别的存储方法及装置
CN101039278A (zh) 数据管理方法及系统
CN105205126A (zh) 一种地图瓦片的存储方法及其存储系统
CN102129458A (zh) 关系型数据库的存储方法及装置
CN102622434B (zh) 数据存储方法、查找方法及装置
CN106155934B (zh) 一种云环境下基于重复数据的缓存方法
CN102307234A (zh) 基于移动终端的资源检索方法
CN103577470A (zh) 一种提升web服务器性能的文件系统及方法
CN102985909A (zh) 为良好分格的对象提供高扩展性网络存储的方法和设备
CN107463606B (zh) 一种用于大数据存储系统的数据压缩引擎及方法
CN103425785A (zh) 数据存储系统及其用户数据存储、读取方法
CN110222209A (zh) 图片存储方法、查询方法、装置及存取系统
CN102355495A (zh) 数据处理方法、装置和系统
US20230350810A1 (en) In-memory hash entries and hashes used to improve key search operations for keys of a key value store
CN112351101B (zh) 一种视频数据高速下载方法
CN105912696A (zh) 一种基于对数归并的dns索引创建方法及查询方法
CN103942301A (zh) 一种面向多数据类型访问应用的分布式文件系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant