CN112351101A - 一种视频数据高速下载方法 - Google Patents

一种视频数据高速下载方法 Download PDF

Info

Publication number
CN112351101A
CN112351101A CN202011241608.5A CN202011241608A CN112351101A CN 112351101 A CN112351101 A CN 112351101A CN 202011241608 A CN202011241608 A CN 202011241608A CN 112351101 A CN112351101 A CN 112351101A
Authority
CN
China
Prior art keywords
video data
storage
disk
metadata information
storage server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011241608.5A
Other languages
English (en)
Other versions
CN112351101B (zh
Inventor
刘晨辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Yier Chuangke Culture Technology Co.,Ltd.
Original Assignee
Wuhan Duomi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Duomi Technology Co Ltd filed Critical Wuhan Duomi Technology Co Ltd
Priority to CN202011241608.5A priority Critical patent/CN112351101B/zh
Publication of CN112351101A publication Critical patent/CN112351101A/zh
Application granted granted Critical
Publication of CN112351101B publication Critical patent/CN112351101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种视频数据高速下载方法，包括：将视频数据分片，并根据分片结果向元数据服务器请求存储服务器地址，此时形成第一元数据信息；存储服务器根据分片结果，依据第一元数据信息对离散存储在存储服务器磁盘的视频数据片段进行整理，将其存储方式由随机离散转变为连续有序，并形成第二元数据信息；客户端根据所述第一元数据信息和第二元数据信息，完成原视频数据的高速下载。本发明的有益效果：提高了大容量视频数据的读取效率，使得大容量视频数据从云端下载更加迅速。

Description

一种视频数据高速下载方法
技术领域
本发明涉及视频数据处理领域，尤其涉及一种视频数据高速下载方法。
背景技术
在多媒体时代，视频数据量越来越大，对视频数据的存储和下载的要求越来越高；大容量的视频数据往往存储于云服务器中，以便在需要时能够方便读取；
但是，正因为视频数据容量较大，造成视频数据上传至云服务器时，耗时较长，同时需要读取时，下载又较慢，导致视频数据的回放实时性较差。
发明内容
有鉴于此，本发明实际要解决的技术问题是：如何提高视频数据存储效率及下载效率，使得用户在需要时能够实时的完成从云服务器高速下视频数据进行视频回放。
为此，本发明提供一种视频数据高速下载方法，将视频数据分片，并根据分片结果向元数据服务器请求存储服务器地址，此时形成第一元数据信息；存储服务器根据分片结果，依据第一元数据信息对离散存储在存储服务器磁盘的视频数据片段进行整理，将其存储方式由随机离散转变为连续有序，并形成第二元数据信息；客户端根据所述第一元数据信息和第二元数据信息，完成原视频数据的高速下载。
本发明提供一种视频数据高速下载方法，包括以下：
所述元数据服务器存储有包括各个视频数据片段相对于原视频数据编号偏移Offset_in_obj和各个视频数据片段长度Seg_len的第一元数据信息；所述存储服务器存储有包括各个数据片段相对于原视频数据的时间偏移Time_in_obj的第二元数据信息；
所述存储服务器在固定的预设时间段，根据所述Time_in_obj对存储于随机磁盘空间的视频数据片段进行重新排序，使视频数据片段的存储方式由随机离散存储转变为连续有序存储，并更新第二元数据信息；
所述客户端访问云服务器，获取第一元数据信息；
所述客户端根据第一元数据信息访问存储有连续有序存储的视频数据片段的存储服务器，获取更新后的第二元数据信息；
所述客户端根据第一元数据信息和更新后的第二元数据信息，直接将各个视频数据片段从所述存储服务器下载至本地，避免了再次排序，从而完成原视频数据的高速下载。
本发明提供的技术方案带来的有益效果是：提高了大容量视频数据的读取效率，使得大容量视频数据从云端下载更加迅速。
附图说明
图1是原视频数据存储过程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
本发明提供一种视频数据高速下载方法，主要流程为：视频数据的存储、视频数据的整理、视频数据的下载；
请参考图1，图1是客户端原视频数据存储过程示意图；
视频数据以对象方式存储在不同的存储服务器中；
以对象ID(即objectID)标记每个视频数据，每个视频数据的objectID不同；
图1中，①表示客户端向元数据服务器申请存储服务器的地址，一次申请可以获取多个服务器地址；②表示客户端将视频数据按照时间进行切分，分为不同的数据片，写入不同的存储服务器中；
多个客户端可以同时执行①②操作；
例如第一客户端client1的视频数据的对象ID为test01，第二客户端client2的视频数据的对象ID为test02；第一客户端client1和第二客户端client2同时执行①，元数据服务器向第一客户端client1返回存储服务器1和存储服务器2，向第二客户端client2返回存储服务器2和存储服务器3；
第一客户端client1和第二客户端client2同时执行②，第一客户端client1将视频数据test01分别，切分为test01_01和test01_02两个视频数据片段，test01_01写入存储服务器1，test01_02写入存储服务器2，第二客户端client2将视频数据test02切分为test02_01和test02_02，test02_01写入存储服务器2，test02_02写入存储服务器3。
在存储服务器中，存储服务器依据一定策略选择不同的磁盘，例如轮转挑选或者随机选择(领域内技术人员也可以根据实际需要选择其他方法)，将视频数据片段随机写入到不同的磁盘中。
例如存储服务器2(以24盘位为例)，client1将视频数据切分为50片，例如视频数据片段01、03、05、07、09、11、13、15、17写入存储服务器2；在存储服务器2中，视频数据片段03、07、11、17写入Disk03中，视频数据片段04、08、12写入Disk06中。
在视频数据写入磁盘后，需要在元数据服务器中记录各个视频数据片段的第一元数据信息，包括：
Figure BDA0002768599890000041
在存储服务器中记录的视频数据片段的第二元数据信息，包括：
Figure BDA0002768599890000042
视频数据整理：所述存储服务器在固定的预设时间段，根据所述Time_in_obj对存储于随机磁盘空间的视频数据片段进行重新排序，使视频数据片段的存储方式由随机离散存储转变为连续有序存储，并更新第二元数据信息；举例如下：
因为有多个客户端在同时写视频数据，所以存储服务器的磁盘中，同一个Object_id的视频数据分片，不一定是连续存储在磁盘中，极有可能是分开存储在磁盘的不同位置，且是乱序的；
存储服务器在固定时间进行视频数据整理，时间可配置，例如凌晨1点；
存储服务器依据存储在视频服务器的第二元数据信息，扫描磁盘中的视频数据分片，将属于同一个Object_id的数据分片进行归类，并且按照Time_in_obj进行排序；
例如在Disk07中扫描Object_id为test03的视频数据分片，扫描得到3个分片，Time_in_obj分别是11、34、23，则排序后，数据分片的顺序是11、23、34；
将排序后的视频数据分片，连续且顺序写入到磁盘的空闲空间中，然后更新Offset_in_disk，且删除原来的视频数据分片；这样同一个磁盘中的同一个Object_id的视频数据分片，是连续存储在磁盘中的，且是顺序的；此时更新或存储第二元数据信息；
视频数据的高速下载过程：
客户端先依据Object_id，向元数据服务器获取视频数据的第一元数据信息；
客户端依据第一元数据信息中的Storage_dev_id向存储服务器获取视频数据，可以同时从多个存储服务器中获取视频数据；
存储服务器依据Object_id和Seg_id，查找视频数据片段存储的Disk_id，再依据Offset_in_disk和Seg_len就可以从磁盘读出视频数据；
客户端获取的视频数据，不一定是连续的，则依据Object_id创建一个空文件，长度为Total_len；
从不同存储服务器获取的视频数据，依据Offset_in_obj和Seg_len将视频片段数据写入到空文件中；
例如客户端从不同存储服务器获取的Offset_in_obj和Seg_len如下表所示：
Seg_id 存储服务器ID Offset_in_obj Seg_len
1 1 512KB 521KB
2 1 1024KB 521KB
4 3 2048KB 521KB
6 3 3072KB 521KB
3 2 1536KB 521KB
在从存储服务器1中获取到分片1和2时，将数据写入到文件的512KB处，长度为1024KB，在从存储服务器3中获取到分片4和6时，分别将数据写入到文件的2048KB处和3072KB处，长度均为512KB，在从存储服务器2中获取到分片3时，将数据写入到文件的1536KB处，长度为512KB。
随着客户端从存储服务器获取的数据越来越多，则空文件被快速填满，当最后一个分片获取到，则视频数据下载完。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：提高了大容量视频数据的读取效率，使得大容量视频数据从云端下载更加迅速。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种视频数据高速下载方法，包括：
客户端将原视频数据分片，得到分片后的各个视频数据片段；
客户端根据各个视频数据片段容量，向元数据服务器请求视频各视频数据片段的存储服务器地址；
客户端根据得到的视频存储服务器地址，将视频数据片段存储于所述存储服务器的随机磁盘空间中，其特征在于：
所述元数据服务器存储有包括各个视频数据片段相对于原视频数据编号偏移Offset_in_obj和各个视频数据片段长度Seg_len的第一元数据信息；
所述存储服务器存储有包括各个数据片段相对于原视频数据的时间偏移Time_in_obj的第二元数据信息；
所述存储服务器在固定的预设时间段，根据所述Time_in_obj对存储于随机磁盘空间的视频数据片段进行重新排序，使视频数据片段的存储方式由随机离散存储转变为连续有序存储，并更新第二元数据信息；
所述客户端访问云服务器，获取第一元数据信息；
所述客户端根据第一元数据信息访问存储有连续有序存储的视频数据片段的存储服务器，获取更新后的第二元数据信息；
所述客户端根据第一元数据信息和更新后的第二元数据信息，直接将各个视频数据片段从所述存储服务器下载至本地，避免了再次排序，从而完成原视频数据的高速下载。
2.如权利要求1所述的视频数据高速下载方法，其特征在于：所述客户端向元数据服务器请求视频各视频数据片段的存储服务器地址时，得到多个存储服务器。
3.如权利要求1所述的视频数据高速下载方法，其特征在于：所述客户端有多个，可同时访问所述元数据服务器。
4.如权利要求1所述的视频数据高速下载方法，其特征在于：所述第一元数据还包括：
唯一标识原视频数据对象的Object_ID；
原视频数据对象的总长Total_len；
唯一标识各个视频数据片段对象的seg_ID；
各个视频数据片段存储的存储服务器地址Storage_dev_id。
5.如权利要求4所述的视频数据高速下载方法，其特征在于：所述第二元数据还包括：
唯一标识原视频数据对象的Object_ID；
唯一标识各个视频数据片段对象的seg_ID；
各个视频数据片段存储的存储服务器磁盘地址Disk_ID；
各个视频数据片段的长度Seg_len；
各个视频数据片段在磁盘中的偏移Offset_in_disk，该数据在视频数据片段的存储方式由随机离散存储转变为连续有序存储时进行更新。
6.如权利要求4所述的视频数据高速下载方法，其特征在于：所述存储服务器在固定的预设时间段，根据所述Time_in_obj对存储于随机磁盘空间的视频数据片段进行重新排序，使视频数据片段的存储方式由随机离散存储转变为连续有序存储，具体过程为：
S101：在每天固定的预设时间段，存储服务器扫描磁盘，将同一个Object_ID的各个视频数据片段归类，并依照各个视频数据片段对应的Time_in_obj进行按时间排序；
S102：将排序后的各个视频数据片段连续且顺序的写入到磁盘的空闲空间中，并更新各个视频数据片段的Offset_in_disk，同时删除原Offset_in_disk对应存储空间的各个视频数据片段。
7.如权利要求5所述的视频数据高速下载方法，其特征在于：所述客户端根据第一元数据信息和更新后的第二元数据信息，直接将各个视频数据片段从所述存储服务器下载至本地，避免了再次排序，从而完成原视频数据的高速下载，其具体过程为：
S201：客户端根据原视频数据的Object_ID，访问元数据服务器，得到第一元数据信息中原视频数据Object_ID对应的Storage_dev_id；
S202：客户端根据所述Storage_dev_id访问存储服务器，得到第二元数据中原视频数据Object_ID对应的Disk_id、Offset_in_disk和Seg_len；
S203：根据Disk_id、Offset_in_disk和Seg_len从存储服务器的磁盘中读出各个视频数据片段；
S204：客户端依据原视频数据Object_id和Total_len，创造一个空视频文件，并依据Offset_in_obj和Seg_len将读取的各个视频数据片段对应写入所述空视频文件，完成原视频数据的高速下载。
CN202011241608.5A 2020-11-09 2020-11-09 一种视频数据高速下载方法 Active CN112351101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011241608.5A CN112351101B (zh) 2020-11-09 2020-11-09 一种视频数据高速下载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011241608.5A CN112351101B (zh) 2020-11-09 2020-11-09 一种视频数据高速下载方法

Publications (2)

Publication Number Publication Date
CN112351101A true CN112351101A (zh) 2021-02-09
CN112351101B CN112351101B (zh) 2024-04-26

Family

ID=74429126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011241608.5A Active CN112351101B (zh) 2020-11-09 2020-11-09 一种视频数据高速下载方法

Country Status (1)

Country Link
CN (1) CN112351101B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007101182A2 (en) * 2006-02-28 2007-09-07 Maven Networks, Inc. Systems and methods for delivering and managing media content downloaded to a network connected device
CN104244079A (zh) * 2013-06-07 2014-12-24 腾讯科技（深圳）有限公司 一种视频下载方法及装置
CN105100815A (zh) * 2015-07-22 2015-11-25 电子科技大学 基于时间序列的流式数据分布式元数据管理方法
US20160227258A1 (en) * 2013-09-13 2016-08-04 Tencent Technology (Shenzhen) Company Limited Method for playing back live video and device
CN106559677A (zh) * 2015-09-30 2017-04-05 华为技术有限公司 终端、缓存服务器及获取视频分片的方法及装置
WO2018232795A1 (zh) * 2017-06-19 2018-12-27 网宿科技股份有限公司 一种实现直播视频同步的播放器客户端、系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007101182A2 (en) * 2006-02-28 2007-09-07 Maven Networks, Inc. Systems and methods for delivering and managing media content downloaded to a network connected device
CN104244079A (zh) * 2013-06-07 2014-12-24 腾讯科技（深圳）有限公司 一种视频下载方法及装置
US20160227258A1 (en) * 2013-09-13 2016-08-04 Tencent Technology (Shenzhen) Company Limited Method for playing back live video and device
CN105100815A (zh) * 2015-07-22 2015-11-25 电子科技大学 基于时间序列的流式数据分布式元数据管理方法
CN106559677A (zh) * 2015-09-30 2017-04-05 华为技术有限公司 终端、缓存服务器及获取视频分片的方法及装置
WO2017054552A1 (zh) * 2015-09-30 2017-04-06 华为技术有限公司 终端、缓存服务器及获取视频分片的方法及装置
WO2018232795A1 (zh) * 2017-06-19 2018-12-27 网宿科技股份有限公司 一种实现直播视频同步的播放器客户端、系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈陆颖: "高速网络中面向应用的IP流研究", 中国博士学位论文全文数据库 (信息科技辑), pages 139 - 4 *

Also Published As

Publication number Publication date
CN112351101B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
US9933979B2 (en) Device and method for storing data in distributed storage system
CN110019361B (zh) 一种数据的缓存方法及装置
CN103186350B (zh) 混合存储系统及热点数据块的迁移方法
US8463846B2 (en) File bundling for cache servers of content delivery networks
CN109299113B (zh) 具有存储感知的混合索引的范围查询方法
US10289566B1 (en) Handling data that has become inactive within stream aware data storage equipment
US20180275898A1 (en) Managing I/O Operations for Data Objects in a Storage System
CN103096126B (zh) 协作式缓存集群中面向视频点播服务的协作式缓存方法及系统
US9875183B2 (en) Method and apparatus for content derived data placement in memory
CN105677826A (zh) 一种针对海量非结构化数据的资源管理方法
US10067968B2 (en) Pre-caching of relational database management system based on data retrieval patterns
KR20160033761A (ko) 선택도에 대해 데이터 비트를 인터리빙함으로써 관계형 데이터베이스에 대한 멀티-칼럼 인덱스의 발생
US9355121B1 (en) Segregating data and metadata in a file system
CN110222209B (zh) 图片存储方法、查询方法、装置及存取系统
CN111857582B (zh) 一种键值存储系统
CN105630810A (zh) 一种对于海量小文件在分布式存储系统中上载的方法
CN102355495A (zh) 数据处理方法、装置和系统
US11971859B2 (en) Defragmentation for log structured merge tree to improve read and write amplification
US20230350810A1 (en) In-memory hash entries and hashes used to improve key search operations for keys of a key value store
CN108595589A (zh) 一种海量科学数据图片高效存取方法
GB2601691A (en) High speed file copy from tape using block grouping
US20220342902A1 (en) Storage of a small object representation in a deduplication system
CN102147802B (zh) 一种伪随机类nfs应用加速系统
CN103823634B (zh) 一种支持无随机写模式的数据处理方法及系统
CN104375782A (zh) 千万级小文件数据的一种读写解决方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240603

Address after: 430000, No. 06, 2nd Floor, Wuhan Metaverse Digital Industry Base, No. 584 Sixin North Road and Yingwu Avenue, Hanyang District, Wuhan City, Hubei Province

Patentee after: Wuhan Yier Chuangke Culture Technology Co.,Ltd.

Country or region after: China

Address before: 091, area C, 6 / F, building 7, Guanggu Chuangye street, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000

Patentee before: Wuhan Duomi Technology Co.,Ltd.

Country or region before: China