CN1227592C - 一种流媒体数据管理方法 - Google Patents
一种流媒体数据管理方法 Download PDFInfo
- Publication number
- CN1227592C CN1227592C CN02131742.9A CN02131742A CN1227592C CN 1227592 C CN1227592 C CN 1227592C CN 02131742 A CN02131742 A CN 02131742A CN 1227592 C CN1227592 C CN 1227592C
- Authority
- CN
- China
- Prior art keywords
- streaming media
- media data
- freshness
- file
- edge cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000013523 data management Methods 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
一种涉及电数字数据处理的流媒体数据管理方法可在流媒体网络的边缘缓存设备上，根据流媒体数据内容的热度和新鲜度，对边缘缓存设备上的流媒体数据进行管理，达到边缘缓存的自动优化；对于所述的流媒体数据内容的热度和新鲜度根据边缘缓存设备的用户日志文件、流媒体数据文件的属性及统计数据，确定热度和新鲜度的合理存在时间段值ΔT，以相应的流媒体数据文件创建之时起，以定时间隔Δt循环对热度和新鲜度进行检测，本发明中，为边缘缓存存储介质的高效利用和更高层的内容缓存的设置提供高效率的判断依据，最大可能利用系统资源，如边缘缓存的存储设备，中央处理器，网络带宽等。
Description
技术领域
本发明涉及电数字数据管理，尤其涉及一种流媒体数据管理方法。
背景技术
传统网络上承载的内容以网页为主。通常，服务器端(网站)根据网站的容量需求，布置合适的网络服务器和存储设备，不同的网络用户访问该网站，下载相关网页。随着互连网上用户的不断增加，网站的访问量剧增，使网站的网络设备和存储设备不堪负重。对此，各厂商采用服务器镜像技术，在用户相对集中的地方放上缓存设备，作为对原始服务器的镜像服务器，用户访问原来的服务器时，被网络重定向到离用户最近的镜像服务器，从而提高了网络用户的访问质量和访问速度。
基础网络的发展促进网络业务的发展，在互连网上出现了各种多媒体内容，其中流媒体内容发展尤其迅速。随着计算机网络技术的发展，网络可用带宽越来越宽，由此带来网络上多媒体内容的迅速增多，其中流媒体内容的增加尤其显著。流媒体也遇到和传统网站同样的问题，但是又多出一些新的特点，那就是流媒体内容更加丰富多样，需要更多的网络开销和网络存储设备，单纯采用镜像的方式远远不能满足网络流媒体应用。由此，一些设备厂商推出专业的内容存储网络设备SAN(StorageArea Network)，但内容存储网络设备SAN设备价格昂贵，限制了互连网上业务的开展。
为了解决这个矛盾，目前普遍的做法是：互连网用户每次访问边缘缓存设备上指定的内容时，服务器首先到原始服务器上查询当前的内容是否和服务器上的内容相同，如相同，则将本机上的内容直接提供给用户，用户从而得到较高的服务质量；如本机上的内容比原始服务器旧，本机将向原始服务器上请求最新的内容，然后才为用户提供服务，同时缓存最新的内容。在内容删除方面，主要的做法是，边缘缓存只是执行上级管理器的删除命令，删除指定本机上的内容，采用这种做法的厂商有美国的Vividon公司的流媒体设备，CacheFlow公司流媒体设备。
上述技术方案具有如下缺点：
1、当本机的任何内容文件与原始服务器上的内容不同时，边缘缓存需要到原始服务器上将内容取到本机，然后才能为用户提供服务。这样，每次用户访问到达时，边缘缓存设备都要做同样的操作，一方面用户得到的服务质量将会降低，同时使边缘缓存的开销大大增大，尤其是中央处理器和硬盘的开销将是该业务开展的瓶颈。
2、本机内容文件的删除只是被动执行上级设备的删除命令，而不是根据本机内容文件的分布状况，点击率(单位时间内的)，新鲜度，文件的属性(如新闻，连续剧等)，文件大小等实现自动删除，自动优化本机的内容文件存储和利用，没有达到边缘缓存的自优化，从而降低了设备的利用效率，也降低了服务质量。
发明内容
本发明的目的在于提供一种高效率、低成本的流媒体数据管理方法。
本发明所采用的方法为：这种流媒体数据管理方法，其特征在于：在流媒体网络的边缘缓存设备上，根据流媒体数据内容的热度、新鲜度，对边缘缓存设备上的流媒体数据进行管理；
所述的流媒体数据内容的热度高，则为该流媒体分配更长的边缘缓存设备存储时间、更多网络带宽及其他资源；所述的流媒体数据内容的热度下降时，则缩短为该流媒体分配的边缘缓存设备存储时间、减少为其分配的网络带宽及其他资源；
所述的流媒体数据内容的新鲜度高，则为该流媒体分配更长的边缘缓存设备存储时间、更多网络带宽及其它资源；所述的流媒体数据内容的新鲜度下降时，则缩短为该流媒体分配的边缘缓存设备存储时间、减少为其分配的网络带宽及其他资源，当所述的新鲜度低于一定的门限时，边缘缓存设备自动删除有关流媒体数据；
根据边缘缓存设备的用户日志文件、流媒体数据文件的属性及其他统计数据确定所述流媒体数据内容的热度和新鲜度；
对于所述的流媒体文件的热度和新鲜度，依据边缘缓存设备的用户日志文件、流媒体数据文件的属性及其他统计数据确定热度和新鲜度的合理存在时间段值ΔT，从流媒体数据文件创建之时起，以定时间间隔Δt对流媒体文件的热度和新鲜度进行检测；
所述的流媒体文件的热度值为检测进行时的某文件的点击数除以所述定时间隔Δt；
所述的流媒体文件的新鲜度值为合理存在时间段值ΔT除以检测进行的当时时间与流媒体数据文件创建之时的差值；
所述的检测进行的时间与流媒体数据文件创建之时的差值大于热度和新鲜度的合理存在时间段值ΔT时，设定相应的热度值和新鲜度值为0；
所述的边缘缓存设备还根据文件的属性、文件大小完成自动优化流媒体数据的存储和利用。
本发明的有益效果为：在本发明中，在流媒体网络的边缘缓存设备上，根据流媒体数据内容的热度和新鲜度，对边缘缓存设备上的流媒体数据进行自动处理，达到边缘缓存的自动优化。它根据边缘缓存设备上内容文件的热度、新鲜度、文件的属性及相关信息、文件大小等，为边缘缓存存储介质的高效利用和内容缓存的更高层设置提供高效率的判断依据。从而一方面提高传送到终端用户流媒体数据内容的质量，另一方面节省内容网络投资的成本，达到在内容网络上实现以最小的开销，提供质量最好的媒体内容服务的目的，实现在流媒体网络的边缘缓存设备上实现自动管理，内容自动更新，最大可能利用系统资源(如边缘缓存的存储设备，中央处理器，网络带宽等)。
附图说明
图1为电视剧类的流媒体数据内容用户访问走势图；
图2为媒体内容的热度确定流程图；
图3为媒体内容的新鲜度确定流程图。
具体实施方式
下面根据附图和实施例对本发明作进一步详细说明：
根据图1、图2和图3，本发明在流媒体网络的边缘缓存设备上，根据流媒体数据内容的热度、新鲜度、文件的属性、文件大小等对边缘缓存设备上的流媒体数据进行自动管理、删除和更新，达到边缘缓存的自动优化。
对于流媒体数据内容的热度和新鲜度：根据边缘缓存设备的用户日志文件、流媒体数据文件的属性及统计数据，确定热度和新鲜度的合理存在时间段值ΔT，依据不同的媒体文件属性或用户选择，获得某种媒体文件的最优定时间间隔Δt，从相应的流媒体数据文件创建之时起，以定时间隔Δt循环对热度和新鲜度进行检测。
图1为电视剧类的流媒体数据内容用户访问走势图，其纵轴显示点击数据。从该图可以看出，流媒体文件从放到边缘缓存设备上开始，访问该文件的单位时间内的用户数就会逐渐增加，到一定时间后将会达到峰值，然后访问用户数就会下降。而流媒体热度则具体体现为单位时间内使用该内容的用户数，热度值越大表明该内容越受用户喜爱，因而在边缘缓存上保存的价值就越大。热度值通过检测进行的时间段内的点击数除以定时间隔Δt来确定，也可称为点击率。而ΔT可以采用概率统计方法获得，从媒体文件在边缘缓存设备开始创建之时到用户点击率趋于0时的合理存在时间段值为ΔT。定时间隔Δt的取值是根据不同的媒体文件属性(如新闻，电视剧，教育片，电影)取不同的值，可以提供给用户选择，也可以采用概率统计方法，获得某种媒体文件的最优定时间隔Δt。
如图2所示，从流媒体数据文件创建之时起，以定时间间隔Δt循环对热度进行检测，系统当前时间t，检测系统的当前时间t与流媒体数据文件创建时间的差值大于热度和新鲜度的合理存在时间段值ΔT时，设定相应的热度值为0，将该流媒体数据文件从边缘缓存的存储设备上删除。
同样，对于新鲜度而言，新鲜度体现了流媒体数据文件在服务器上已经存在的时间值，新鲜度值为合理存在时间段值ΔT除以检测进行的当时时间与流媒体数据文件创建之时的差值，如图3所示，系统当前时间为t，读取文件的创建时间为t1，从流媒体数据文件创建之时起，以定时间隔Δt循环对新鲜度进行检测，检测进行的当时时间与流媒体数据文件创建之时的差值大于热度和新鲜度的合理存在时间段值ΔT时，设定相应的新鲜度值为0，将该流媒体数据文件从边缘缓存的存储设备上删除。
这样，当流媒体数据内容的热度和新鲜度高时，则为该流媒体分配更长的边缘缓存设备存储时间、更多网络带宽及其它资源，以方便用户从距离自己最近的服务器下载相关内容。系统设置将这些文件存储在硬盘的连续扇区，当用户请求访问这些文件时，由于文件的存储是连续的，硬盘驱动器的寻道时间将大大降低，系统能在最短的时间内读出媒体文件，用户的等待时间将大幅减少；在分配网络带宽时，系统根据当前的本机网络忙闲状况，事先预留部分本机网卡带宽资源，一旦有用户访问热度值和新鲜度值高的媒体文件，系统便将预留的本机网卡带宽资源立即分配给该媒体文件，以最快时间响应用户的请求，藉此，提高了服务质量。反之，当流媒体数据的热度和新鲜度下降时，则缩短为该流媒体分配的边缘缓存设备存储时间、减少为其分配的网络带宽及其他资源，系统将释放相应的连续磁盘空间和预留的本机网卡带宽资源，将资源留给其他新鲜度值和热度值高的流媒体文件，从而实现了最大限度利用边缘服务器的有限硬件资源的目的。
Claims (7)
1.一种流媒体数据管理方法，其特征在于：在流媒体网络的边缘缓存设备上，根据流媒体数据内容的热度，对边缘缓存设备上的流媒体数据进行管理：
a.所述的流媒体数据内容的热度高，则为该流媒体分配更长的边缘缓存设备存储时间、更多网络带宽及其他资源；
b.所述的流媒体数据内容的热度下降时，则缩短为该流媒体分配的边缘缓存设备存储时间、减少为其分配的网络带宽及其他资源；
或根据流媒体内容的新鲜度，对边缘缓存设备上的流媒体数据进行管理：
A.所述的流媒体数据内容的新鲜度高，则为该流媒体分配更长的边缘缓存设备存储时间、更多网络带宽及其它资源；
B.所述的流媒体数据内容的新鲜度下降时，则缩短为该流媒体分配的边缘缓存设备存储时间、减少为其分配的网络带宽及其他资源，当所述的新鲜度低于一定的门限时，边缘缓存设备自动删除有关流媒体数据。
2.根据权利要求1所述的流媒体数据管理方法，其特征在于：根据边缘缓存设备的用户日志文件、流媒体数据文件的属性及其他统计数确定所述流媒体数据内容的热度和新鲜度。
3.根据权利要求1所述的流媒体数据管理方法，其特征在于：对于所述的流媒体文件的热度和新鲜度，依据边缘缓存设备的用户日志文件、流媒体数据文件的属性及其他统计数据确定热度和新鲜度的合理存在时间段值ΔT，从流媒体数据文件创建之时起，以定时间间隔Δt对流媒体文件的热度和新鲜度进行检测。
4.根据权利要求3所述的流媒体数据管理方法，其特征在于：所述的流媒体文件的热度值为检测进行时的某文件的点击数除以所述定时间隔Δt。
5.根据权利要求3所述的流媒体数据管理方法，其特征在于：所述的流媒体文件的新鲜度值为合理存在时间段值ΔT除以检测进行的当时时间与流媒体数据文件创建之时的差值。
6.根据权利要求4或5所述的流媒体数据管理方法，其特征在于：所述的检测进行的时间与流媒体数据文件创建之时的差值大于热度和新鲜度的合理存在时间段值ΔT时，设定相应的热度值和新鲜度值为0。
7.根据权利要求1或3所述的流媒体数据管理方法，其特征在于：所述的边缘缓存设备还根据文件的属性、文件大小完成自动优化流媒体数据的存储和利用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN02131742.9A CN1227592C (zh) | 2002-09-17 | 2002-09-17 | 一种流媒体数据管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN02131742.9A CN1227592C (zh) | 2002-09-17 | 2002-09-17 | 一种流媒体数据管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1484150A CN1484150A (zh) | 2004-03-24 |
| CN1227592C true CN1227592C (zh) | 2005-11-16 |
Family
ID=34145012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN02131742.9A Expired - Lifetime CN1227592C (zh) | 2002-09-17 | 2002-09-17 | 一种流媒体数据管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1227592C (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1305270C (zh) * | 2004-07-04 | 2007-03-14 | 华中科技大学 | 基于集群的流媒体缓存代理服务器系统 |
| CN100579208C (zh) * | 2007-03-30 | 2010-01-06 | Ut斯达康通讯有限公司 | 分布式流媒体分发系统及流媒体内存缓冲及调度分发方法 |
| CN101184021B (zh) * | 2007-12-14 | 2010-06-02 | 成都市华为赛门铁克科技有限公司 | 一种实现流媒体缓存置换的方法、设备及系统 |
| CN101729357B (zh) * | 2008-10-14 | 2013-06-05 | 华为技术有限公司 | 媒体文件存储处理与业务处理方法及装置、服务器集群 |
| CN102143120B (zh) * | 2010-02-01 | 2015-07-22 | 中兴通讯股份有限公司 | 一种实现多媒体文件分级的方法和装置 |
| CN104683485B (zh) * | 2015-03-25 | 2018-01-30 | 重庆邮电大学 | 一种基于c‑ran的互联网内容缓存预加载方法和系统 |
| CN109660819A (zh) * | 2017-10-10 | 2019-04-19 | 中国移动通信有限公司研究院 | 基于移动边缘计算的业务缓存方法、装置及服务基站 |
| CN107748787A (zh) * | 2017-10-27 | 2018-03-02 | 姜俊 | 一种信息热度处理方法及装置 |
| CN111104381A (zh) * | 2019-11-30 | 2020-05-05 | 北京浪潮数据技术有限公司 | 一种日志管理方法、装置、设备及计算机可读存储介质 |
-
2002
- 2002-09-17 CN CN02131742.9A patent/CN1227592C/zh not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| CN1484150A (zh) | 2004-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8463846B2 (en) | File bundling for cache servers of content delivery networks | |
| JP4223729B2 (ja) | 記憶システム | |
| JP4342435B2 (ja) | 少なくとも１つのデータストリームのデータを処理する方法、データ記憶システム及び該システムを使用する方法 | |
| US7124152B2 (en) | Data storage device with deterministic caching and retention capabilities to effect file level data transfers over a network | |
| US9304928B2 (en) | Systems and methods for adaptive prefetching | |
| CN101252589B (zh) | 数据缓存装置和采用该装置的网络存储系统及缓存方法 | |
| CN101079727A (zh) | 一种流媒体数据内容管理方法 | |
| US20120303905A1 (en) | Method and apparatus for implementing cache | |
| CN107430551B (zh) | 数据缓存方法、存储控制装置、及存储设备 | |
| JP2007510224A (ja) | プロキシキャッシュにおいてマルチメディアコンテンツのセグメントの優先順位を決める方法 | |
| CN101520805A (zh) | 一种分布式文件系统及其文件处理方法 | |
| US8458125B1 (en) | Dynamic creation of replicas of streaming data from a storage device without added load | |
| CN101751470B (zh) | 用于存储和/或检索数据集的系统及其方法 | |
| WO2015154352A1 (zh) | 分布式文件系统的数据迁移方法、装置及元数据服务器 | |
| CN1227592C (zh) | 一种流媒体数据管理方法 | |
| WO2017101576A1 (zh) | 一种数据资源存储方法及装置 | |
| CN116910314A (zh) | 基于键值分离的键值存储系统中范围查询优化方法及装置 | |
| US20050228955A1 (en) | Method, system, and program for prefetching data into cache | |
| CN112379841A (zh) | 数据处理方法、装置和电子设备 | |
| WO2021062982A1 (zh) | 管理hmb内存的方法、装置、计算机设备及存储介质 | |
| CN112433848A (zh) | 资源处理方法、装置、存储介质和缓存服务器 | |
| CN103108029B (zh) | vod系统的数据访问方法 | |
| AU2020226900B2 (en) | Adaptive retrieval of objects from remote storage | |
| CN112487326B (zh) | 数据缓存方法、系统、存储介质及设备 | |
| Barve et al. | Competitive parallel disk prefetching and buffer management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CI01 | Publication of corrected invention patent application |
Correction item: Applicant Correct: Huawei Technologies Co.,Ltd. False: Chen Chaojiang Number: 12 Volume: 20 |
|
| CI02 | Correction of invention patent application |
Correction item: Applicant Correct: Huawei Technologies Co.,Ltd. False: Chen Chaojiang Number: 12 Page: The title page Volume: 20 |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: CHEN ZHAOJIANG TO: HUAWEI TECHNOLOGY CO., LTD. |
|
| ERR | Gazette correction |
Free format text: CORRECT: APPLICANT; FROM: CHEN ZHAOJIANG TO: HUAWEI TECHNOLOGY CO., LTD. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CX01 | Expiry of patent term |
Granted publication date: 20051116 |
|
| CX01 | Expiry of patent term |