CN111225267B - 内容缓存调度方法、装置和系统、内容分发网络节点 - Google Patents

内容缓存调度方法、装置和系统、内容分发网络节点 Download PDF

Info

Publication number
CN111225267B
CN111225267B CN201811415920.4A CN201811415920A CN111225267B CN 111225267 B CN111225267 B CN 111225267B CN 201811415920 A CN201811415920 A CN 201811415920A CN 111225267 B CN111225267 B CN 111225267B
Authority
CN
China
Prior art keywords
real
time
heat
video
video file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811415920.4A
Other languages
English (en)
Other versions
CN111225267A (zh
Inventor
余媛
庄一嵘
陈戈
梁洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201811415920.4A priority Critical patent/CN111225267B/zh
Publication of CN111225267A publication Critical patent/CN111225267A/zh
Application granted granted Critical
Publication of CN111225267B publication Critical patent/CN111225267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开一种内容缓存调度方法、装置和系统、内容分发网络节点。该方法包括：分类实时自动冷却模块根据所述视频文件的描述信息，通过分类实时自动冷却模型生成视频文件的实时热度；内容缓存调度控制器从分类实时自动冷却模块获取存储在固态硬盘中视频文件的实时热度，并将所述视频文件的实时热度发送给各个内容分发节点的实时监控器，以便实时监控器实时监测所述视频文件的实时热度，判断所述视频文件的实时热度是否低于固态硬盘热度阈值，并在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件的替换和删除。本发明可以实现内容的实时自冷却，及时腾出SSD的存储空间，从而保证了热片能够及时存储。

Description

内容缓存调度方法、装置和系统、内容分发网络节点
技术领域
本发明涉及数据通信领域，特别涉及一种内容缓存调度方法、装置和系统、内容分发网络节点。
背景技术
随着4K视频加速，VR(Virtual Reality，虚拟现实)业务的发展，CDN为了保证高性能的读写，常常采用不同的存储介质构成缓存模块。通常将极热片放在读写快，低时延，高并发，容量小的SSD(Solid State Disk，固态硬盘)中，将冷片放在读写慢，时延高，容量大的SATA(Serial Advanced Technology Attachment，串行高级技术附件)中，如何合理的使用SSD将直接影响CDN性能。
发明内容
申请人认为：相关技术的缓存调度方案是采用非实时的大规模计算，算出文件在一定时间内的平均访问次数来判断文件的热度，并以此作为依据来调度文件的存储位置。但是对于新闻这类时效性短的视频，热度只存在于刚发布的两天，但在几个计算周期内平均访问次数依旧很高，将长时间占用SSD容量。这会导致SSD没有空闲容量，时下的热片无法存入，SSD利用率低，SATA和SSD频繁替换，回源率高，CDN性能差。
鉴于以上技术问题，本发明提供了一种内容缓存调度方法、装置和系统、内容分发网络节点，可以实现内容的实时自冷却，及时腾出SSD的存储空间。
根据本发明的一个方面，提供一种内容缓存调度方法，包括：
分类实时自动冷却模块根据所述视频文件的描述信息，通过分类实时自动冷却模型生成视频文件的实时热度；
内容缓存调度控制器从分类实时自动冷却模块获取存储在固态硬盘中视频文件的实时热度，并将所述视频文件的实时热度发送给各个内容分发节点的实时监控器，以便实时监控器实时监测所述视频文件的实时热度，判断所述视频文件的实时热度是否低于固态硬盘热度阈值，并在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件的替换和删除。
在本发明的一些实施例中，所述内容缓存调度方法还包括：
分类实时自动冷却模块预先建立分类实时自动冷却模型。
在本发明的一些实施例中，所述分类实时自动冷却模块预先建立分类实时自动冷却模型包括：
分类实时自动冷却模块，通过数据训练预先建立分类实时自动冷却模型。
在本发明的一些实施例中，所述视频文件的描述信息包括视频文件名、视频发布时间、视频种类和视频热度分级中的至少一项。
根据本发明的另一方面，提供一种内容缓存调度方法，包括：
实时监控器实时监测存储在固态硬盘中的视频文件的实时热度，其中，内容缓存调度控制器从分类实时自动冷却模块获取所述视频文件的实时热度；
实时监控器判断所述视频文件的实时热度是否低于固态硬盘热度阈值；
实时监控器在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件的替换和删除。
在本发明的一些实施例中，所述指示实时触发器触发视频文件的替换和删除包括：
判断所述视频文件的实时热度是否低于串口硬盘热度阈值；
在所述视频文件的实时热度不低于串口硬盘热度阈值的情况下，指示实时触发器将所述视频文件从固态硬盘中删除，存储到串口硬盘中；
在所述视频文件的实时热度低于串口硬盘热度阈值的情况下，指示实时触发器直接将所述视频文件从固态硬盘中删除。
根据本发明的另一方面，提供一种内容缓存调度装置，包括：
分类实时自动冷却模块，用于根据所述视频文件的描述信息，通过分类实时自动冷却模型生成视频文件的实时热度。
内容缓存调度控制器，用于从分类实时自动冷却模块获取存储在固态硬盘中视频文件的实时热度，并将所述视频文件的实时热度发送给各个内容分发节点的实时监控器，以便实时监控器实时监测所述视频文件的实时热度，判断所述视频文件的实时热度是否低于固态硬盘热度阈值，并在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件的替换和删除。
在本发明的一些实施例中，所述内容缓存调度装置用于执行实现如上述任一实施例所述的内容缓存调度方法的操作。
根据本发明的另一方面，提供一种内容缓存调度装置，包括：
调度装置存储器，用于存储指令；
调度装置处理器，用于执行所述指令，使得所述内容缓存调度装置执行实现如上述任一实施例所述的内容缓存调度方法的操作。
根据本发明的另一方面，提供一种内容分发网络节点，包括：
实时监控器，用于实时监测存储在固态硬盘中的视频文件的实时热度，其中，内容缓存调度控制器从分类实时自动冷却模块获取所述视频文件的实时热度；判断所述视频文件的实时热度是否低于固态硬盘热度阈值；在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件的替换和删除；
实时触发器，用于在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，根据实时监控器的指示，实时触发器触发视频文件的替换和删除。
在本发明的一些实施例中，所述内容分发网络节点用于执行实现如上述任一实施例所述的内容缓存调度方法的操作。
根据本发明的另一方面，提供一种内容分发网络节点，包括：
节点存储器，用于存储指令；
节点处理器，用于执行所述指令，使得所述内容分发网络节点执行实现如上述任一实施例所述的内容缓存调度方法的操作。
根据本发明的另一方面，提供一种内容缓存调度系统，包括如上述任一实施例所述的内容缓存调度装置、和如上述任一实施例所述的内容分发网络节点。
根据本发明的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的内容缓存调度方法。
本发明可以实现内容的实时自冷却，及时腾出SSD的存储空间，从而保证了热片能够及时存储。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明内容缓存调度系统一些实施例的示意图。。
图2为本发明内容缓存调度方法一些实施例的示意图。
图3为本发明内容缓存调度方法另一些实施例的示意图。
图4为本发明内容缓存调度方法又一些实施例的示意图。。
图5为本发明内容缓存调度装置一些实施例的示意图。
图6为本发明内容缓存调度方法再一些实施例的示意图。
图7为本发明内容分发网络节点一些实施例的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
申请人发现：本发明要解决的问题在于：相关技术绝大多数缓存调度方法是依据一定时间内视频的平均访问次数来进行调度，忽略了不同类别视频与时效性的关系，会导致已经变冷的视频较长时间内仍然占用大量的高效存储空间的问题；同时集中式非实时大规模计算，耗时长，实时性差；视频无法自动冷却，导致SSD容量不足，热片无法缓存，SSD与SATA之间频繁替换，回源率高，用户体验差。
基于以上技术问题中的至少一项，本发明提出一种基于分类实时自动冷却的CDN内容缓存调度方法、装置和系统，下面通过具体实施例进行说明。
图1为本发明内容缓存调度系统一些实施例的示意图。如图1所示，所述内容缓存调度系统包括内容缓存调度装置100和内容分发网络节点200，其中：
内容缓存调度装置100可以包括分类实时自动冷却模块110和内容缓存调度控制器120；内容分发网络节点200可以包括实时监控器210和实时触发器220，其中：
分类实时自动冷却模块110，用于根据存储在固态硬盘中视频文件的描述信息，比如：文件名，发布时间，种类，热度分级等信息通过分类实时自动冷却型生成文件的在某个时刻的实时热度，按照不同类别的视频实时进行热度的实时自冷却。
本发明上述实施例中视频文件的来源为源站CP1、CP2……CPn；本发明上述实施例中终端可以从内容分发网络节点200获取视频文件并进行播放。
内容缓存调度控制器120，用于获取到了视频文件的实时热度值下发给CDN节点中的实时监控器。
实时监控器210，用于开启实时监控，一旦文件自冷却到SSD阈值之下，则下发给实时触发器220触发资源的替换和删除。
基于本发明上述实施例提供的内容缓存调度系统，是一种基于分类实时自动冷却的CDN内容缓存调度系统。本发明上述实施例设计了针对不同类别视频的实时自动冷却模型，设计了内容缓存调度控制器，实时监控器，实时触发器。本发明上述实施例可提供一种分布式实时调度系统，由此可以实现内容的实时自冷却，及时腾出SSD的存储空间，从而保证了热片能够及时存储，最终解决了存储空间不足、替换次数增多、回源率高、CDN性能差和用户体验差的技术问题。
图2为本发明内容缓存调度方法一些实施例的示意图。优选的，本实施例可由本发明内容缓存调度系统执行。该方法包括以下步骤：
步骤21，分类实时自动冷却模块110根据视频文件的描述信息，比如：文件名，发布时间，种类，热度分级等信息通过分类实时自动冷却模型生成文件的在某个时刻的实时热度，按照不同类别的视频实时进行热度的实时自冷却。
步骤22，内容缓存调度控制器120获取到了视频文件的实时热度值下发给CDN节点中的实时监控器210，实时监控器210开启实时监控，一旦文件自冷却到SSD阈值之下，则下发给实时触发器220触发视频文件的替换和删除。
在本发明的一些实施例中，步骤21之前，所述内容缓存调度方法还可以包括：通过大量的数据训练，得到针对存储在SSD中的不同类别的视频在时间上的实时自动冷却模型，如公式(1)所示：
Figure BDA0001879455510000071
公式(1)中，An(t)代表第n个视频在t时刻的热度值，An(t0)代表第n个视频在t0时刻的热度值。Cn代表不同视频的类别取值。t0代表视频的发布时间，k是我们自己设定的冷却系数。
在本发明的一些实施例中，对于不同时刻t，不同类别的视频文件当前的实时热度等于初始热度和衰减速率的乘积。
基于本发明上述实施例提供的内容缓存调度方法，是一种基于分类实时自动冷却的CDN内容缓存调度方法。本发明上述实施例设计了针对不同类别视频的实时自动冷却模型，设计了内容缓存调度控制器，实时监控器，实时触发器。本发明上述实施例可提供一种分布式实时调度方法，由此可以实现内容的实时自冷却，及时腾出SSD的存储空间，从而保证了热片能够及时存储，最终解决了存储空间不足、替换次数增多、回源率高、CDN性能差和用户体验差的技术问题。
图3为本发明内容缓存调度方法另一些实施例的示意图。优选的，本实施例可由本发明内容缓存调度系统执行。该方法包括以下步骤：
步骤31，缓存调度器从分类实时冷却模型中获取到存储在SSD中视频文件的实时热度值，然后将该值下发到各个CDN节点中的存储监控器中。
步骤32，存储监控器将实时监测SSD中视频文件的热度变化。
步骤33，判断所述视频文件的实时热度是否低于固态硬盘热度阈值。在所述视频文件的实时热度不低于固态硬盘热度阈值的情况下，执行步骤34；否则，在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，执行步骤35。
步骤34，若实时热度不低于本CDN节点的SSD的热度阈值，则不做处理。
步骤35，若实时热度低于本CDN节点的SSD的热度阈值，则进行二次判断，判断所述视频文件的实时热度是否低于串口硬盘热度阈值。在所述视频文件的实时热度不低于串口硬盘热度阈值的情况下，执行步骤36；否则，在所述视频文件的实时热度低于串口硬盘热度阈值的情况下，执行步骤37。
步骤36，若所述视频文件的实时热度不低于串口硬盘热度阈值，则通知实时触发器，将文件从SSD中删除，加入到大容量存储串口硬盘(SATA)中。
步骤37，若所述视频文件的实时热度低于串口硬盘热度阈值，则直接将文件从SSD中删除，串口硬盘(SATA)不做改变。
本发明上述实施例建立了分类实时自动冷却模型使得不同类别的视频文件可以按照不同冷却速率进行实时热度的变化本发明上述实施例提供实时机制以实现实时的缓存替换，从而解决了时效性短的视频仍然占用大量高性能存储的问题。
本发明上述实施例提高了SSD存储的利用率，减少了回源率以及替换率，有效提高了CDN的性能，提升了用户体验。
图4为本发明内容缓存调度方法又一些实施例的示意图。优选的，本实施例可由本发明内容缓存调度装置执行。该方法包括以下步骤：
步骤41，分类实时自动冷却模块根据所述视频文件的描述信息，通过分类实时自动冷却模型生成视频文件的实时热度。
在本发明的一些实施例中，所述视频文件的描述信息可以包括视频文件名、视频发布时间、视频种类和视频热度分级等信息中的至少一项。
步骤42，内容缓存调度控制器从分类实时自动冷却模块获取存储在固态硬盘中视频文件的实时热度，并将所述视频文件的实时热度发送给各个内容分发节点的实时监控器，以便实时监控器实时监测所述视频文件的实时热度，判断所述视频文件的实时热度是否低于固态硬盘热度阈值，并在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件的替换和删除。
在本发明的一些实施例中，在步骤41之前，所述内容缓存调度方法还可以包括：步骤40，分类实时自动冷却模块预先建立分类实时自动冷却模型。
在本发明的一些实施例中，所述步骤40可以包括：分类实时自动冷却模块，通过数据训练预先建立分类实时自动冷却模型。
基于本发明上述实施例提供的内容缓存调度方法，建立了分类实时自动冷却模型使得不同类别的视频文件可以按照不同冷却速率进行实时热度的变化。本发明上述实施例提供实时机制以实现实时的缓存替换，从而解决了时效性短的视频仍然占用大量高性能存储的问题。
本发明上述实施例提高了SSD存储的利用率，减少了回源率以及替换率，有效提高了CDN的性能，提升了用户体验。
图1实施例还给出了本发明内容缓存调度装置一些实施例的示意图。如图1所示，所述内容缓存调度装置可以包括分类实时自动冷却模块110和内容缓存调度控制器120，其中：
分类实时自动冷却模块110，用于根据所述视频文件的描述信息，通过分类实时自动冷却模型生成视频文件的实时热度。
内容缓存调度控制器120，用于从分类实时自动冷却模块获取存储在固态硬盘中视频文件的实时热度，并将所述视频文件的实时热度发送给各个内容分发节点的实时监控器，以便实时监控器实时监测所述视频文件的实时热度，判断所述视频文件的实时热度是否低于固态硬盘热度阈值，并在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件的替换和删除。
在本发明的一些实施例中，所述内容缓存调度装置用于执行实现如上述任一实施例(例如图4实施例)所述的内容缓存调度方法的操作。
图5为本发明内容缓存调度装置一些实施例的示意图。如图5所示，本发明内容缓存调度装置(例如图1实施例的内容缓存调度装置100)可以包括调度装置存储器180和调度装置处理器190，其中：
调度装置存储器180，用于存储指令。
调度装置处理器190，用于执行所述指令，使得所述内容缓存调度装置执行实现如上述任一实施例(例如图4实施例)所述的内容缓存调度方法的操作。
基于本发明上述实施例提供的内容缓存调度装置，是一种基于分类实时自动冷却的CDN内容缓存调度装置。本发明上述实施例设计了针对不同类别视频的实时自动冷却模型，设计了内容缓存调度控制器。本发明上述实施例的分布式实时调度装置可以实现内容的实时自冷却，及时腾出SSD的存储空间，从而保证了热片能够及时存储，最终解决了存储空间不足、替换次数增多、回源率高、CDN性能差和用户体验差的技术问题。
图6为本发明内容缓存调度方法再一些实施例的示意图。优选的，本实施例可由本发明内容分发网络节点执行。该方法包括以下步骤：
步骤61，实时监控器实时监测存储在固态硬盘中的视频文件的实时热度，其中，内容缓存调度控制器从分类实时自动冷却模块获取所述视频文件的实时热度。
步骤62，实时监控器判断所述视频文件的实时热度是否低于固态硬盘热度阈值。
步骤63，实时监控器在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件的替换和删除。
在本发明的一些实施例中，步骤63中，所述指示实时触发器触发视频文件的替换和删除的步骤可以包括：
步骤631，判断所述视频文件的实时热度是否低于串口硬盘热度阈值。
步骤632，在所述视频文件的实时热度不低于串口硬盘热度阈值的情况下，指示实时触发器将所述视频文件从固态硬盘中删除，存储到串口硬盘中。
步骤633，在所述视频文件的实时热度低于串口硬盘热度阈值的情况下，指示实时触发器直接将所述视频文件从固态硬盘中删除。
基于本发明上述实施例提供的内容缓存调度方法，是一种基于分类实时自动冷却的CDN内容缓存调度方法。本发明上述实施例设计了针对不同类别视频的实时自动冷却模型，设计了实时监控器和实时触发器。本发明上述实施例的分布式实时调度方法可以实现内容的实时自冷却，及时腾出SSD的存储空间，从而保证了热片能够及时存储，最终解决了存储空间不足、替换次数增多、回源率高、CDN性能差和用户体验差的技术问题。
图1实施例还给出了本发明内容分发网络节点一些实施例的示意图。如图1所示，内容分发网络节点200可以包括实时监控器210和实时触发器220，其中：
实时监控器210，用于实时监测存储在固态硬盘中的视频文件的实时热度，其中，内容缓存调度控制器从分类实时自动冷却模块获取所述视频文件的实时热度；判断所述视频文件的实时热度是否低于固态硬盘热度阈值；在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件的替换和删除。
实时触发器220，用于在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，根据实时监控器的指示，实时触发器触发视频文件的替换和删除。
在本发明的一些实施例中，所述内容分发网络节点用于执行实现如上述任一实施例(例如图6实施例)所述的内容缓存调度方法的操作。
图7为本发明内容分发网络节点一些实施例的示意图。如图7所示，本发明内容分发网络节点(例如图1实施例的内容分发网络节点200)可以包括节点存储器280和节点处理器290，其中：
节点存储器280，用于存储指令。
节点处理器290，用于执行所述指令，使得所述内容分发网络节点执行实现如上述任一实施例(例如图6实施例)所述的内容缓存调度方法的操作。
基于本发明上述实施例提供的内容分发网络节点，建立了分类实时自动冷却模型使得不同类别的视频文件可以按照不同冷却速率进行实时热度的变化。本发明上述实施例提供实时机制以实现实时的缓存替换，从而解决了时效性短的视频仍然占用大量高性能存储的问题。
本发明上述实施例提高了SSD存储的利用率，减少了回源率以及替换率，有效提高了CDN的性能，提升了用户体验。
根据本发明的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例(图2-图4实施例、图6实施例中任一实施例)所述的内容缓存调度方法。
基于本发明上述实施例提供的计算机可读存储介质，可以实现内容的实时自冷却，及时腾出SSD的存储空间，从而保证了热片能够及时存储，最终解决了存储空间不足、替换次数增多、回源率高、CDN性能差和用户体验差的技术问题。
本发明上述实施例提高了SSD存储的利用率，减少了回源率以及替换率，有效提高了CDN的性能，提升了用户体验。
在上面所描述的内容缓存调度装置和内容分发网络节点可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (13)

1.一种内容缓存调度方法，其特征在于，包括：
分类实时自动冷却模块预先建立分类实时自动冷却模型，其中，所述分类实时自动冷却模型为：
Figure FDA0003531770830000011
其中，An(t)为第n个视频在当前时刻t的热度值，An(t0)为第n个视频在视频发布时刻t0的热度值，Cn为不同视频的类别取值，k为设定的冷却系数，对于不同时刻t，不同类别的视频文件当前时刻的实时热度等于初始热度An(t0)、衰减速率
Figure FDA0003531770830000012
和不同视频类别取值Cn的乘积；
分类实时自动冷却模块根据所述视频文件的描述信息，通过分类实时自动冷却模型生成视频文件的实时热度；
内容缓存调度控制器从分类实时自动冷却模块获取存储在固态硬盘中视频文件的实时热度，并将所述视频文件的实时热度发送给各个内容分发节点的实时监控器，以便实时监控器实时监测所述视频文件的实时热度，判断所述视频文件的实时热度是否低于固态硬盘热度阈值，并在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件从固态硬盘删除，存储到串口硬盘。
2.根据权利要求1所述的内容缓存调度方法，其特征在于，所述分类实时自动冷却模块预先建立分类实时自动冷却模型包括：
分类实时自动冷却模块，通过数据训练预先建立分类实时自动冷却模型。
3.根据权利要求1或2所述的内容缓存调度方法，其特征在于，
所述视频文件的描述信息包括视频文件名、视频发布时间、视频种类和视频热度分级中的至少一项。
4.一种内容缓存调度方法，其特征在于，包括：
实时监控器实时监测存储在固态硬盘中的视频文件的实时热度，其中，分类实时自动冷却模块预先建立分类实时自动冷却模型，内容缓存调度控制器从分类实时自动冷却模块获取所述视频文件的实时热度，所述分类实时自动冷却模型为：
Figure FDA0003531770830000021
其中An(t)为第n个视频在当前时刻t的热度值，An(t0)为第n个视频在视频发布时刻t0的热度值，Cn为不同视频的类别取值，k为设定的冷却系数，对于不同时刻t，不同类别的视频文件当前时刻的实时热度等于初始热度An(t0)、衰减速率
Figure FDA0003531770830000022
和不同视频类别取值Cn的乘积；
实时监控器判断所述视频文件的实时热度是否低于固态硬盘热度阈值；
实时监控器在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件从固态硬盘删除，存储到串口硬盘。
5.根据权利要求4所述的内容缓存调度方法，其特征在于，所述指示实时触发器触发视频文件从固态硬盘删除，存储到串口硬盘包括：
判断所述视频文件的实时热度是否低于串口硬盘热度阈值；
在所述视频文件的实时热度不低于串口硬盘热度阈值的情况下，指示实时触发器将所述视频文件从固态硬盘中删除，存储到串口硬盘中；
在所述视频文件的实时热度低于串口硬盘热度阈值的情况下，指示实时触发器直接将所述视频文件从固态硬盘中删除。
6.一种内容缓存调度装置，其特征在于，包括：
分类实时自动冷却模块，用于预先建立分类实时自动冷却模型，其中，所述分类实时自动冷却模型为：
Figure FDA0003531770830000023
其中，An(t)为第n个视频在当前时刻t的热度值，An(t0)为第n个视频在视频发布时刻t0的热度值，Cn为不同视频的类别取值，k为设定的冷却系数，对于不同时刻t，不同类别的视频文件当前时刻的实时热度等于初始热度An(t0)、衰减速率
Figure FDA0003531770830000031
和不同视频类别取值Cn的乘积；根据所述视频文件的描述信息，通过分类实时自动冷却模型生成视频文件的实时热度；
内容缓存调度控制器，用于从分类实时自动冷却模块获取存储在固态硬盘中视频文件的实时热度，并将所述视频文件的实时热度发送给各个内容分发节点的实时监控器，以便实时监控器实时监测所述视频文件的实时热度，判断所述视频文件的实时热度是否低于固态硬盘热度阈值，并在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件的替换和删除。
7.根据权利要求6所述的内容缓存调度装置，其特征在于，所述内容缓存调度装置用于执行实现如权利要求1-3中任一项所述的内容缓存调度方法的操作。
8.一种内容缓存调度装置，其特征在于，包括：
调度装置存储器，用于存储指令；
调度装置处理器，用于执行所述指令，使得所述内容缓存调度装置执行实现如权利要求1-3中任一项所述的内容缓存调度方法的操作。
9.一种内容分发网络节点，其特征在于，包括：
实时监控器，用于实时监测存储在固态硬盘中的视频文件的实时热度，其中，分类实时自动冷却模块预先建立分类实时自动冷却模型，内容缓存调度控制器从分类实时自动冷却模块获取所述视频文件的实时热度，所述分类实时自动冷却模型为：
Figure FDA0003531770830000032
其中An(t)为第n个视频在当前时刻t的热度值，An(t0)为第n个视频在视频发布时刻t0的热度值，Cn为不同视频的类别取值，k为设定的冷却系数，对于不同时刻t，不同类别的视频文件当前时刻的实时热度等于初始热度An(t0)、衰减速率
Figure FDA0003531770830000033
和不同视频类别取值Cn的乘积；判断所述视频文件的实时热度是否低于固态硬盘热度阈值；在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，指示实时触发器触发视频文件的替换和删除；
实时触发器，用于在所述视频文件的实时热度低于固态硬盘热度阈值的情况下，根据实时监控器的指示，实时触发器触发视频文件的替换和删除。
10.根据权利要求9所述的内容分发网络节点，其特征在于，所述内容分发网络节点用于执行实现如权利要求4或5所述的内容缓存调度方法的操作。
11.一种内容分发网络节点，其特征在于，包括：
节点存储器，用于存储指令；
节点处理器，用于执行所述指令，使得所述内容分发网络节点执行实现如权利要求4或5所述的内容缓存调度方法的操作。
12.一种内容缓存调度系统，其特征在于，包括如权利要求6-8中任一项所述的内容缓存调度装置、和如权利要求9-11中任一项所述的内容分发网络节点。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1-5中任一项所述的内容缓存调度方法。
CN201811415920.4A 2018-11-26 2018-11-26 内容缓存调度方法、装置和系统、内容分发网络节点 Active CN111225267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811415920.4A CN111225267B (zh) 2018-11-26 2018-11-26 内容缓存调度方法、装置和系统、内容分发网络节点

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811415920.4A CN111225267B (zh) 2018-11-26 2018-11-26 内容缓存调度方法、装置和系统、内容分发网络节点

Publications (2)

Publication Number Publication Date
CN111225267A CN111225267A (zh) 2020-06-02
CN111225267B true CN111225267B (zh) 2022-05-06

Family

ID=70830283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811415920.4A Active CN111225267B (zh) 2018-11-26 2018-11-26 内容缓存调度方法、装置和系统、内容分发网络节点

Country Status (1)

Country Link
CN (1) CN111225267B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734103A (zh) * 2021-01-05 2021-04-30 烽火通信科技股份有限公司 一种基于时空轮序的视频冷片预测方法与装置
CN115250368A (zh) * 2021-04-26 2022-10-28 北京字跳网络技术有限公司 一种视频预热方法、装置、设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
EP2955714A1 (en) * 2014-06-10 2015-12-16 Thomson Licensing Storage device management method and apparatus, corresponding computer program product and non-transitory computer-readable medium
CN104253855B (zh) * 2014-08-07 2018-04-24 哈尔滨工程大学 一种面向内容中心网络中基于内容分类的类别流行度缓存替换方法
CN106502576B (zh) * 2015-09-06 2020-06-23 中兴通讯股份有限公司 迁移策略调整方法及装置
CN105224699B (zh) * 2015-11-17 2020-01-03 Tcl集团股份有限公司 一种新闻推荐方法及装置
CN107273040A (zh) * 2016-04-08 2017-10-20 北京优朋普乐科技有限公司 数据缓存方法和装置
CN107707964A (zh) * 2016-08-08 2018-02-16 华为软件技术有限公司 预测视频内容热度的方法和装置
CN107911711B (zh) * 2017-10-24 2020-09-01 北京邮电大学 一种考虑分区的边缘缓存替换改进方法
CN107948247B (zh) * 2017-11-01 2020-04-10 西安交通大学 一种软件定义网络的虚拟缓存通道缓存管理方法

Also Published As

Publication number Publication date
CN111225267A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
US7236992B2 (en) Storage system
CN109947668B (zh) 存储数据的方法和装置
CN104967861B (zh) Cdn网络中的视频缓存系统及方法
CN102857578B (zh) 一种网络硬盘的文件上传方法、系统及网盘客户端
WO2016061898A1 (zh) 直播间的频道访问方法和系统
CN111427844B (zh) 一种面向文件分级存储的数据迁移系统及方法
CN111225267B (zh) 内容缓存调度方法、装置和系统、内容分发网络节点
CN106776967A (zh) 基于时序聚合算法的海量小文件实时存储方法及装置
CN103020255A (zh) 分级存储方法和装置
CN109086141B (zh) 内存管理方法和装置以及计算机可读存储介质
CN114116634B (zh) 一种缓存方法、装置及可读存储介质
CN107426319A (zh) 存储受约束的共享内容项同步
CN104778271A (zh) 一种视频数据的缓存方法及装置
CN110858912A (zh) 流媒体缓存方法和系统、缓存策略服务器、流服务节点
TWI602431B (zh) Method and device for transmitting information
CN105407005B (zh) 内容分发方法及装置
CN110069457A (zh) 一种基于分布式文件存储系统中过期文件删除方法及系统
Ma et al. A retrieval optimized surveillance video storage system for campus application scenarios
CN114519013A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN107977168B (zh) 一种基于云存储的数据分散存储系统
CN108243228B (zh) 用于数据调度的方法和智能伺服集群
CN103854519B (zh) 一种数字报刊语音读报的方法及系统
CN109165305A (zh) 一种特征值存储、检索方法及装置
EP3207457B1 (en) Hierarchical caching for online media
CN114036160A (zh) 一种实时数据采集方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant