CN112738148B - 缓存内容的批量删除方法、装置、设备和可读存储介质 - Google Patents

缓存内容的批量删除方法、装置、设备和可读存储介质 Download PDF

Info

Publication number
CN112738148B
CN112738148B CN201911033721.1A CN201911033721A CN112738148B CN 112738148 B CN112738148 B CN 112738148B CN 201911033721 A CN201911033721 A CN 201911033721A CN 112738148 B CN112738148 B CN 112738148B
Authority
CN
China
Prior art keywords
content
cache
deleting
keywords
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911033721.1A
Other languages
English (en)
Other versions
CN112738148A (zh
Inventor
董红
杨志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201911033721.1A priority Critical patent/CN112738148B/zh
Priority to US17/772,314 priority patent/US20220405244A1/en
Priority to PCT/CN2020/122504 priority patent/WO2021083005A1/zh
Priority to EP20882205.6A priority patent/EP4050862A4/en
Publication of CN112738148A publication Critical patent/CN112738148A/zh
Application granted granted Critical
Publication of CN112738148B publication Critical patent/CN112738148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明实施例提了一种缓存资源的批量删除方法、装置、设备和可读存储介质，通过在缓存内容的内容标识中添加关键字，并将内容标识单独保存，在需要删除缓存资源时，可根据关键字查询出满足条件的内容标识，并根据这些内容标识确定对应的缓存资源的存储路径，最后将定位到的缓存资源逐一删除。解决了相关技术中，基于NGINX构建的CDN服务器支持的内容删除功能比较单一，并不支持及时批量删除具有一些公共特征的内容，因此在需要进行批量删除时效率极低的问题，在某些实施过程中，可实现包括但不限于自定义删除条件，并且大批量删除CDN服务器中缓存内容的技术效果。

Description

缓存内容的批量删除方法、装置、设备和可读存储介质
技术领域
本发明实施例涉及但不限于互联网CDN应用领域，具体而言，涉及但不限于一种缓存内容的批量删除方法、装置、设备和可读存储介质。
背景技术
CDN(内容分发网络，Content Delivery Network)运维过程中，有些场景需要批量删除缓存内容，具体描述如：场景一，合作CP(内容提供商，Content Provider)需要CDN和其源站同步下线批量内容，比如xx视频网站所有资源、xx视频网站电影类中的港台电影资源、xx视频网站2019年6月5日上线的资源；场景二，为了经济效益，提高资源利用率，CDN希望缓存高价值、热点的内容，需要批量清理低热点内容，空出磁盘空间；场景三，为了社会效益，在国家重大会议或重要节假日期间，批量删除有敏感或不安全风险的资源。
而基于NGINX构建的CDN服务器，如图6所示，支持的内容删除功能比较单一，并不支持及时批量删除具有一些公共特征的内容。这就导致一些删除场景很难实现，在遇到这些场景时，常常需要拿到精确完整的url(统一资源定位系统，uniform resource locator)才能删除对应资源，效率太低，甚至平台如果包含敏感或不安全资源，需要将服务器的磁盘进行格式化，所有内容需要重新缓存，这个对资源的浪费比较严重。针对相关技术中存在的上述问题，目前并没有一种可指定删除内容，并可进行批量删除的CDN缓存内容批量删除方法。
发明内容
本发明实施例提供的一种缓存内容的批量删除方法、装置、设备和可读存储介质，主要解决的技术问题是：相关技术中，基于NGINX构建的CDN服务器，支持的内容删除功能比较单一，并不支持及时批量删除具有一些公共特征的内容，因此在需要进行批量删除时效率极低；此外，相关技术中，若平台包含敏感或不安全资源时，需要将服务器磁盘格式化，重新缓存所有内容，浪费资源。
为解决上述技术问题，本发明实施例提供一种缓存资源批量删除方法，包括：
在缓存资源对应的内容标识中添加关键字；
单独保存所述内容标识；
按照关键字查询出满足条件的内容标识；
使用所述满足条件的内容标识定位缓存资源的路径；
将定位到的缓存资源逐一删除。
在本发明的一种实施例中，传感器接口模块包含至少一个传感器接口，传感器接口兼容现有的传感接口，用于与现有标准传感器连接。
在本发明的一种实施例中，传感器接口兼容现有的传感器包括无线传感器和有线传感器。
在本发明的一种实施例中，内容标识中还包含所述缓存资源的唯一标识。
在本发明的一种实施例中，按照关键字查询出满足条件的内容标识之前，还包括获取关键字信息。
在本发明的一种实施例中，内容标识的归类规则根据关键字的不同，分为静态归类和动态归类。
在本发明的一种实施例中，静态归类为按照缓存资源内容标识中的固定关键字进行归类。
在本发明的一种实施例中，动态归类为按照缓存资源内容标识中的可动态变化关键字进行归类。
在本发明的一种实施例中，将定位到的缓存资源逐一删除之后，还包括将被删除缓存资源对应的内容标识进行删除。
为解决上述技术问题，本发明实施例还提供一种缓存资源批量删除装置，包括：
文件存储模块，用于存储缓存资源；
内容缓存模块，用于在缓存资源对应的内容标识中添加关键字；
内容标识存储模块，用于单独保存所述内容标识；
批量内容标识查找模块，用于按照关键字查询出满足条件的内容标识，并使用所述满足条件的内容标识定位缓存资源的路径。
内容删除模块，用于将定位出的缓存资源逐一删除。
为解决上述技术问题，本发明实施例还提供一种缓存资源批量删除设备，包括处理器、存储器和通信总线；
所述通信总线用于将第一处理器和第一存储器连接；
所述处理器用于执行存储器中存储的一个或多个计算机程序，以实现上述任一项的缓存资源批量删除方法的步骤。
为解决上述技术问题，本发明实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或多个计算机程序，所述一个或多个计算机程序可被一个或多个处理器执行，以实现上述一项的缓存资源批量删除方法的步骤。
本发明的有益效果是：
根据本发明实施例提供的一种缓存资源的批量删除方法、装置、设备和可读存储介质，通过在缓存内容的内容标识中添加关键字，并将内容标识单独保存，在需要删除缓存资源时，可根据关键字查询出满足条件的内容标识，并根据这些内容标识确定对应的缓存资源的存储路径，最后将定位到的缓存资源逐一删除。在某些实施过程中，可实现包括但不限于自定义删除条件，并且大批量删除CDN服务器中缓存内容的技术效果。
本发明其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本发明说明书中的记载变的显而易见。
附图说明
图1为本发明实施例一中的缓存资源的批量删除方法流程图；
图2为本发明实施例二中的内容老化、单内容删除过程中的缓存资源的批量删除方法流程图；
图3 为本发明实施例三中的特定内容的批量删除方法流程图；
图4为本发明实施例四中的缓存资源的批量删除装置结构示意图；
图5为本发明实施例四中的缓存资源的批量删除装置结构各个模块功能执行流程图；
图6为本发明实施例五中的缓存资源的批量删除设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一：
为了解决相关技术中，基于NGINX构建的CDN服务器支持的内容删除功能比较单一，并不支持及时批量删除具有一些公共特征的内容，因此在需要进行批量删除时效率极低；以及，相关技术中，若平台包含敏感或不安全资源时，需要将服务器磁盘格式化，重新缓存所有内容，浪费资源的问题，本实施例提供了一种缓存资源的批量删除方法，如图1所示，包括：
S101：在缓存资源对应的内容标识中添加关键字；
在该步骤中，缓存资源拥有与其对应的内容标识，内容标识中含有缓存资源对应的唯一标识。优选的，唯一标识为文件名或去除参数的URI部分而使用filekey部分的标识。例如，https://www.baidu.com/qq_32595453/article/details/79516787这个参数，去除掉URI部分，剩下的/qq_32595453/article/details/79516787部分即为该资源的唯一标识。
在内容标识中添加关键字，形成特定格式的内容标识。关键字包括内容提供商（Content Provider）、内容提供商的域名、栏目、时间、网站风险等级、缓存资源访问热度等等。内容标识包含上述关键字中的至少一种，并根据包含关键字的种类，归类为静态分类和动态分类两种。
静态归类包括：
（1）按内容提供商归类。通过访问域名可以识别归属CP，这种归类可以涵盖该CP下所有资源，缓存时内容标识中加入该CP的标识。
（2）按内容提供商的域名分类。一般大CP会有多个域名，用于区分不同的业务，缓存时内容标识中加入域名。
（3）按栏目分类。这种归类主要是结合目前网站的栏目划分进行分类，比如视频网站的电视剧、电影等大栏目，以及大栏目下的细分栏目，缓存时内容标识中加入栏目标识。
（4）按时间归类。通过资源URL中的资源上线时间进行识别，这种归类依赖网站资源URL中包含时间信息，比如视频URL中的时间信息，缓存时内容标识中加入资源上线时间信息等等。
动态归类包括：
（1）按网站风险等级归类。先根据源站IP归属区域分类，例如动乱地区网站、域外网站等风险等级比较高，划分为高风险网站，IP归属区域可通过全球IP地址库获取；再根据网站类型分类，例如将ICP备案网站查不到网站信息的划分为高风险网站。可通过HTTP消息交互方式获取网站信息，这些信息在实际回源过程中动态获取并定期更新，最终给每个缓存内容一个风险标识。
可选的，对于网站等级的划分还可通过人工识别的方式，手动添加风险等级。
可选的，将网站的风险等级划分为5个等级，5级为风险最高等级，1级为风险最低等级。
（2）按热度分类。统计缓存资源的访问热度，例如，将缓存资源划分为三天热度、周热度、双周热度等，资源没有达到对应时长时，则该项无统计值，热度值按时滚动更新，内容标识中热度值也按时更新。
可选的，将缓存资源热度值划分为5个等级，5级为最热，1级最冷门，等级与资源访问频度之间的对应关系也可进行人工配置。
S102：单独保存内容标识；
在该步骤中，具体可以为将内容标识于缓存资源分别保存。内容标识的格式如下：内容提供商||内容提供商的域名||栏目||时间||网站风险等级||缓存资源访问热度。例如cpid=xxvideo||domain=xx.com||column=movie||time=2019/1/2||filekey=/abc/123/xxx.mp4||alarm=1||hotrate=5，cpid表示内容提供商；domain表示内容提供商的域名；column表示栏目；time表示时间，优选的，可表示为资源上线时间；filekey表示缓存资源的唯一标识；alarm表示资源资源来源网站的风险等级；hotrate表示资源的访问热度。该示例内容标识代表了来自于xxvideo供应商，域名为xx.com，栏目为电影，上线时间为201年1月2日，资源唯一标识为/abc/123/xxx.mp4，风险等级为1级，资源热度为5级的缓存资源。
S103：按照关键字查询出满足条件的内容标识；
在该步骤中，具体可以为获取到关键字之后，根据关键字查询出单独存储的内容标识中符合条件的部分。应当理解的是，关键字查询可只查询满足某个关键字的内容标识，也可同时查询多种关键字内容，组合查询出满足条件的内容标识。
S104：使用满足条件的内容标识定位缓存资源的存储路径；
在该步骤中，具体可以为根据内容标识的部分数据，定位出缓存资源的存储路径。优选的，在缓存资源时，使用内容标识中去除alarm和hotrate部分计算md5，根据md5值规划缓存资源的路径。通过md5值规划缓存资源的路径，保证了缓存资源路径的唯一性，同时还使得内容标识具备了获取缓存资源位置的功能。
S105：将定位到的缓存资源逐一删除。
在该步骤中，具体可以为单个循环删除定位到的缓存资源，直至所有定位出的缓存资源删除完毕。基于NGINX构建的CDN服务器支持单内容的删除，因此可循环调用该单内容删除方法，实现批量删除定位出的缓存资源。
在删除定位出的缓存资源之后，将被删除缓存资源对应的内容标识也进行删除。
本实施例提供了一种缓存资源的批量删除方法，包括在缓存资源对应的内容标识中添加关键字，并将内容标识单独保存；在需要删除指定缓存资源时，按照关键字查询出满足条件的内容标识；利用这些满足条件的内容标识定位出缓存资源的存储路径，通过循环调用单个内容删除方法，将定位到的缓存资源逐一删除。该缓存资源的批量删除方法解决了相关技术中，基于NGINX构建的CDN服务器支持的内容删除功能比较单一，并且不支持及时批量删除具有一些公共特征的内容，因此在需要进行批量删除时效率极低，以及相关技术中，若平台包含敏感或不安全资源时，需要将服务器磁盘格式化，重新缓存所有内容，导致资源浪费的问题，实现了自定义删除条件，并且能够大批量删除CDN服务器中缓存内容的效果。
实施例二：
为了解决相关技术中，基于NGINX构建的CDN服务器支持的内容删除功能比较单一，并不支持及时批量删除具有一些公共特征的内容，因此在需要进行批量删除时效率极低；以及相关技术中，若平台包含敏感或不安全资源时，需要将服务器磁盘格式化，重新缓存所有内容，浪费资源的问题，本实施例提供了一种缓存资源的批量删除方法，为了更好的理解本实施例的内容，此处以内容老化、单内容删除过程中的缓存资源的批量删除方法为例进行说明，如图2所示，包括：
S201：下发内容删除指令，指令中包含老化内容信息或需要单项删除的内容信息；
在该步骤中，可在指令中设置需要删除的缓存资源的唯一标识，用于匹配对应的缓存资源。
S202：收到删除消息后使用正则表达式查找得到匹配的内容标识；
S203：根据查找出的内容标识确定缓存文件的路径，并删除该缓存文件；
在该步骤中，具体可以为根据内容标识的部分数据，定位出缓存资源的存储路径。优选的，在缓存资源时，使用内容标识中去除alarm和hotrate部分计算md5，根据md5值规划缓存资源的路径。通过md5值规划缓存资源的路径，保证了缓存资源路径的唯一性，同时还使得内容标识具备了获取缓存资源位置的功能。
S204：清理内存和磁盘中保存的对应内容标识。
本实施例提供了一种缓存资源的批量删除方法，在需要删除指定缓存资源时，按照关键字查询出满足条件的内容标识；利用这些满足条件的内容标识定位出缓存资源的存储路径，将定位到的缓存资源删除，实现了CDN服务器中缓存内容的自定义删除，提高了删除效率。
实施例三：
为了解决相关技术中，基于NGINX构建的CDN服务器支持的内容删除功能比较单一，并不支持及时批量删除具有一些公共特征的内容，因此在需要进行批量删除时效率极低；以及相关技术中，若平台包含敏感或不安全资源时，需要将服务器磁盘格式化，重新缓存所有内容，浪费资源的问题，本实施例提供了一种缓存资源的批量删除方法，为了更好的理解本实施例的内容，此处以特定内容的批量删除为例进行说明，如图3所示，包括：
S301：下发内容删除指令，类型为批量删除；
在该步骤中，批量删除不同内容对应有不同的匹配规则，例如，批量删除热度为1的缓存资源时，匹配规则为^.*\|\|hotrate=1$；当批量删除风险等级为5的缓存资源时，匹配规则为^.*\|\|alarm=5\|\|.*$。
S302：收到删除消息后使用正则表达式查找得到匹配的内容标识；
S303：根据查找出的内容标识集合循环删除文件系统中的缓存文件；
在该步骤中，在该步骤中，具体可以为根据指令中的匹配规则，利用内容标识的对应数据，定位出缓存资源的存储路径。优选的，在缓存资源时，使用内容标识中去除alarm和hotrate部分计算md5，根据md5值规划缓存资源的路径。通过md5值规划缓存资源的路径，保证了缓存资源路径的唯一性，同时还使得内容标识具备了获取缓存资源位置的功能。
定位到缓存资源之后，单个循环删除定位到的缓存资源，直至所有定位出的缓存资源删除完毕。基于NGINX构建的CDN服务器支持单内容的删除，因此可循环调用该单内容删除方法，实现批量删除定位出的缓存资源。
S304：清理内存和磁盘中保存的内容标识条目；
在该步骤中，每删除一条缓存资源，便将其对应的内容标识进行删除。
S305：全部删除完成。
本实施例提供了一种缓存资源的批量删除方法，在需要删除指定缓存资源时，下发内容批量删除指令，指令中包含有匹配规则，使用正则表达式查找得到匹配的内容标识，利用这些满足条件的内容标识定位出缓存资源的存储路径，将定位到的缓存资源循环单个删除，实现了自定义删除条件，并且大批量删除CDN服务器中缓存内容的效果。
实施例四：
为了解决相关技术中，基于NGINX构建的CDN服务器支持的内容删除功能比较单一，并不支持及时批量删除具有一些公共特征的内容，因此在需要进行批量删除时效率极低；以及相关技术中，若平台包含敏感或不安全资源时，需要将服务器磁盘格式化，重新缓存所有内容，浪费资源的问题，本实施例提供了一种缓存资源的批量删除装置，如图4所示，包括文件存储模块41、内容缓存模块42、内容标识存储模块43、批量内容标识查找模块44、内容删除模块45。各个模块的功能执行流程图如图5所示。
文件存储模块41，用于存储缓存资源。
内容缓存模块42，用于在缓存资源对应的内容标识中添加关键字。
缓存资源拥有与其对应的内容标识，内容标识中含有缓存资源对应的唯一标识。优选的，唯一标识为文件名或去除参数的URI部分而使用filekey部分的标识。例如，https://www.baidu.com/qq_32595453/article/details/79516787这个参数，去除掉URI部分，剩下的/qq_32595453/article/details/79516787部分即为该资源的唯一标识。
在内容标识中添加关键字，形成特定格式的内容标识。关键字包括内容提供商（Content Provider）、内容提供商的域名、栏目、时间、网站风险等级、缓存资源访问热度等等。内容标识包含上述关键字中的至少一种，并根据包含关键字的种类，归类为静态分类和动态分类两种。
静态归类包括：
（1）按内容提供商归类。通过访问域名可以识别归属CP，这种归类可以涵盖该CP下所有资源，缓存时内容标识中加入该CP的标识。
（2）按内容提供商的域名分类。一般大CP会有多个域名，用于区分不同的业务，缓存时内容标识中加入域名。
（3）按栏目分类。这种归类主要是结合目前网站的栏目划分进行分类，比如视频网站的电视剧、电影等大栏目，以及大栏目下的细分栏目，缓存时内容标识中加入栏目标识。
（4）按时间归类。通过资源URL中的资源上线时间进行识别，这种归类依赖网站资源URL中包含时间信息，比如视频URL中的时间信息，缓存时内容标识中加入资源上线时间信息等等。
动态归类包括：
（1）按网站风险等级归类。先根据源站IP归属区域分类，例如动乱地区网站、域外网站等风险等级比较高，划分为高风险网站，IP归属区域可通过全球IP地址库获取；再根据网站类型分类，例如将ICP备案网站查不到网站信息的划分为高风险网站。可通过HTTP消息交互方式获取网站信息，这些信息在实际回源过程中动态获取并定期更新，最终给每个缓存内容一个风险标识。
可选的，对于网站等级的划分还可通过人工识别的方式，手动添加风险等级。
可选的，将网站的风险等级划分为5个等级，5级为风险最高等级，1级为风险最低等级。
（2）按热度分类。统计缓存资源的访问热度，例如，将缓存资源划分为三天热度、周热度、双周热度等，资源没有达到对应时长时，则该项无统计值，热度值按时滚动更新，内容标识中热度值也按时更新。
可选的，将缓存资源热度值划分为5个等级，5级为最热，1级最冷门，等级与资源访问频度之间的对应关系也可进行人工配置。
内容标识存储模块43，用于单独保存所述内容标识。内容标识存储在磁盘中，与缓存资源分别存放。内容标识的格式如下：内容提供商||内容提供商的域名||栏目||时间||网站风险等级||缓存资源访问热度。例如cpid=xxvideo||domain=xx.com||column=movie||time=2019/1/2||filekey=/abc/123/xxx.mp4||alarm=1||hotrate=5，cpid表示内容提供商；domain表示内容提供商的域名；column表示栏目；time表示时间，优选的，可表示为资源上线时间；filekey表示缓存资源的唯一标识；alarm表示资源资源来源网站的风险等级；hotrate表示资源的访问热度。该示例内容标识代表了来自于xxvideo供应商，域名为xx.com，栏目为电影，上线时间为201年1月2日，资源唯一标识为/abc/123/xxx.mp4，风险等级为1级，资源热度为5级的缓存资源。
批量内容标识查找模块44，用于按照关键字查询出满足条件的内容标识，并使用所述满足条件的内容标识定位缓存资源的路径。批量内容标识查找模块44获取到关键字之后，根据关键字查询出单独存储的内容标识中符合条件的部分。应当理解的是，关键字查询可只查询满足某个关键字的内容标识，也可同时查询多种关键字内容，组合查询出满足条件的内容标识。根据内容标识的部分数据，定位出缓存资源的存储路径。优选的，在缓存资源时，使用内容标识中去除alarm和hotrate部分计算md5，根据md5值规划缓存资源的路径。通过md5值规划缓存资源的路径，保证了缓存资源路径的唯一性，同时还使得内容标识具备了获取缓存资源位置的功能。
内容删除模块45，用于将定位出的缓存资源从文件存储模块41中逐一删除。循环调用内容删除模块45，直至所有定位出的缓存资源删除完毕。在删除定位出的缓存资源之后，将内容标识存储模块43中被删除缓存资源对应的内容标识也进行删除。
可选的，本实施例中的缓存资源的批量删除装置还包括内容老化模块46，用于选取出老化内容，以便进行删除。
本实施例提供了一种缓存资源的批量删除装置，包括文件存储模块、内容缓存模块、内容标识存储模块、批量内容标识查找模块和内容删除模块。内容缓存模块在缓存资源对应的内容标识中添加关键字，内容标识存储模块将内容标识单独保存；批量内容标识查找模块在需要删除指定缓存资源时，按照关键字查询出满足条件的内容标识，利用这些满足条件的内容标识定位出缓存资源的存储路径，通过循环调用内容删除模块，将定位到的缓存资源逐一删除。该缓存资源的批量删除装置解决了相关技术中，基于NGINX构建的CDN服务器支持的内容删除功能比较单一，并且不支持及时批量删除具有一些公共特征的内容，因此在需要进行批量删除时效率极低，以及相关技术中，若平台包含敏感或不安全资源时，需要将服务器磁盘格式化，重新缓存所有内容，导致资源浪费的问题，实现了自定义删除条件，并且能够大批量删除CDN服务器中缓存内容的效果。
实施例五：
为了解决相关技术中，基于NGINX构建的CDN服务器支持的内容删除功能比较单一，并不支持及时批量删除具有一些公共特征的内容，因此在需要进行批量删除时效率极低；以及，相关技术中，若平台包含敏感或不安全资源时，需要将服务器磁盘格式化，重新缓存所有内容，浪费资源的问题，本实施例提供了一种缓存资源的批量删除设备，如图6所示，其包括处理器61、存储器62和通信总线63，其中：
通信总线用于连接处理器和存储器；
处理器用于执行存储器中存储的一个或多个计算机程序，以实现上述实施例一、二、三中的缓存资源的批量删除方法中的至少一个步骤。
本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM（Random Access Memory，随机存取存储器）,ROM（Read-Only Memory，只读存储器）,EEPROM（Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器）、闪存或其他存储器技术、CD-ROM（Compact Disc Read-Only Memory，光盘只读存储器），数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
本实施例中的计算机可读存储介质可用于存储一个或多个计算机程序，其存储的一个或多个计算机程序可被哟个或多个处理器执行，以实现上述实施例一、二、三中的缓存资源的批量删除方法中的至少一个步骤。
本实施例还提供了一种计算机程序（或称计算机软件），该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述实施例一、二、三中的缓存资源的批量删除方法中的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。
本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的任一计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。
可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件（可以用计算装置可执行的计算机程序代码来实现）、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种缓存资源批量删除方法，包括：
在缓存资源对应的内容标识中添加关键字；
单独保存所述内容标识；
按照关键字查询出满足条件的内容标识，其中，所述内容标识的归类规则根据关键字的不同，分为静态归类和动态归类，所述静态归类为按照缓存资源内容标识中的固定关键字进行归类，所述动态归类为按照缓存资源内容标识中的可动态变化关键字进行归类；
使用所述满足条件的内容标识定位缓存资源的存储路径；
将定位到的缓存资源以及内存和磁盘中对应的所述内容标识逐一删除。
2.如权利要求1所述的缓存资源批量删除方法，其特征在于，所述内容标识中还包含所述缓存资源的唯一标识。
3.如权利要求1所述的缓存资源批量删除方法，其特征在于，在所述按照关键字查询出满足条件的内容标识之前，还包括获取关键字信息。
4.一种缓存资源批量删除装置，包括：
文件存储模块，用于存储缓存资源；
内容缓存模块，用于在缓存资源对应的内容标识中添加关键字，其中，所述内容标识的归类规则根据关键字的不同，分为静态归类和动态归类，所述静态归类为按照缓存资源内容标识中的固定关键字进行归类，所述动态归类为按照缓存资源内容标识中的可动态变化关键字进行归类；
内容标识存储模块，用于单独保存所述内容标识；
批量内容标识查找模块，用于按照关键字查询出满足条件的内容标识，并使用所述满足条件的内容标识定位缓存资源的路径；
内容删除模块，用于将定位出的缓存资源以及内存和磁盘中对应的所述内容标识逐一删除。
5.一种缓存资源批量删除设备，包括处理器、存储器和通信总线；
所述通信总线用于将第一处理器和第一存储器连接；
所述处理器用于执行存储器中存储的一个或多个计算机程序，以实现如权利要求1-3任一项的缓存资源批量删除方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或多个计算机程序，所述一个或多个计算机程序可被一个或多个处理器执行，以实现如权利要求1-3任一项的缓存资源批量删除方法的步骤。
CN201911033721.1A 2019-10-28 2019-10-28 缓存内容的批量删除方法、装置、设备和可读存储介质 Active CN112738148B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911033721.1A CN112738148B (zh) 2019-10-28 2019-10-28 缓存内容的批量删除方法、装置、设备和可读存储介质
US17/772,314 US20220405244A1 (en) 2019-10-28 2020-10-21 Batch deletion method and apparatus for cache contents, device and readable storage medium
PCT/CN2020/122504 WO2021083005A1 (zh) 2019-10-28 2020-10-21 缓存内容的批量删除方法、装置、设备和可读存储介质
EP20882205.6A EP4050862A4 (en) 2019-10-28 2020-10-21 METHOD AND DEVICE FOR CLEARING CACHE CONTENT, DEVICE AND READABLE STORAGE MEDIA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911033721.1A CN112738148B (zh) 2019-10-28 2019-10-28 缓存内容的批量删除方法、装置、设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN112738148A CN112738148A (zh) 2021-04-30
CN112738148B true CN112738148B (zh) 2024-05-14

Family

ID=75589379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911033721.1A Active CN112738148B (zh) 2019-10-28 2019-10-28 缓存内容的批量删除方法、装置、设备和可读存储介质

Country Status (4)

Country Link
US (1) US20220405244A1 (zh)
EP (1) EP4050862A4 (zh)
CN (1) CN112738148B (zh)
WO (1) WO2021083005A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001159998A (ja) * 1999-12-03 2001-06-12 Nec Corp Ｗｅｂコンテンツキャッシュシステム及び方法並びに記録媒体
WO2006027590A1 (en) * 2004-09-09 2006-03-16 Surfcontrol Plc System, method and apparatus for use in monitoring or controlling internet access
CN1922606A (zh) * 2003-12-01 2007-02-28 麦特耐芙有限公司 用于面向用户的互联网导航的动态关键字处理系统和方法
CN101216823A (zh) * 2007-01-04 2008-07-09 阿里巴巴公司 网站导航系统及网站导航方法
CN104331257A (zh) * 2014-11-27 2015-02-04 四川秘无痕信息安全技术有限责任公司 一种通过扫描关键字清除安卓手机碎片数据的方法
CN105915619A (zh) * 2016-04-29 2016-08-31 中国地质大学（武汉） 顾及访问热度的网络空间信息服务高性能内存缓存方法
CN107741960A (zh) * 2017-09-25 2018-02-27 厦门集微科技有限公司 Url的分类方法及装置
CN107943387A (zh) * 2017-11-14 2018-04-20 维沃移动通信有限公司 一种文件处理方法及移动终端
CN109089175A (zh) * 2017-06-14 2018-12-25 中兴通讯股份有限公司 一种视频缓存加速的方法及装置
CN110209979A (zh) * 2018-02-28 2019-09-06 佳能株式会社 信息处理装置、方法及存储介质

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080010365A1 (en) * 1997-07-25 2008-01-10 Eric Schneider Methods, products, systems, and devices for processing reusable information
EP1117220A1 (en) * 2000-01-14 2001-07-18 Sun Microsystems, Inc. Method and system for protocol conversion
US7779097B2 (en) * 2000-09-07 2010-08-17 Sonic Solutions Methods and systems for use in network management of content
US7111057B1 (en) * 2000-10-31 2006-09-19 Akamai Technologies, Inc. Method and system for purging content from a content delivery network
US20020199013A1 (en) * 2001-06-25 2002-12-26 Sorensen Lauge S. Method and apparatus for moving HTML/XML information into a HTTP header in a network
US20030018621A1 (en) * 2001-06-29 2003-01-23 Donald Steiner Distributed information search in a networked environment
EP1563389A4 (en) * 2001-08-01 2008-06-25 Actona Technologies Ltd VIRTUAL DATA DISTRIBUTION NETWORK
JP4244572B2 (ja) * 2002-07-04 2009-03-25 ソニー株式会社 キャッシュ装置、およびキャッシュデータ管理方法、並びにコンピュータ・プログラム
US7194460B2 (en) * 2003-03-31 2007-03-20 Kabushiki Kaisha Toshiba Search device, search system, and search method
JP4181061B2 (ja) * 2004-01-30 2008-11-12 株式会社東芝 コンテンツ管理装置、コンテンツ管理方法及びコンテンツ管理プログラム
US20060085519A1 (en) * 2004-10-14 2006-04-20 Brian Goode Method and apparatus providing domain-based cache storage for a mobile internet browser
US7856504B2 (en) * 2005-05-11 2010-12-21 Sony Corporation Server device, inter-server device connection method, program, and recording medium
US8781892B2 (en) * 2006-09-29 2014-07-15 Yahoo! Inc. Digital media benefit attachment mechanism
US8943401B2 (en) * 2006-09-29 2015-01-27 Yahoo! Inc. Script-based content-embedding code generation in digital media benefit attachment mechanism
US9135348B2 (en) * 2008-11-21 2015-09-15 Alcatel Lucent Method and apparatus for machine-learning based profiling
US20100251086A1 (en) * 2009-03-27 2010-09-30 Serge Rene Haumont Method and apparatus for providing hyperlinking in text editing
US20110066676A1 (en) * 2009-09-14 2011-03-17 Vadim Kleyzit Method and system for reducing web page download time
US20120158763A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Bulk operations
US8892680B2 (en) * 2011-01-25 2014-11-18 Openwave Mobility, Inc. System and method for caching content elements with dynamic URLs
US8533767B1 (en) * 2011-03-02 2013-09-10 The Directv Group, Inc. Method and system for prioritizing content in a delivery queue of a content delivery system
US8862602B1 (en) * 2011-10-25 2014-10-14 Google Inc. Systems and methods for improved readability of URLs
US9135269B2 (en) * 2011-12-07 2015-09-15 Egnyte, Inc. System and method of implementing an object storage infrastructure for cloud-based services
US8863298B2 (en) * 2012-01-06 2014-10-14 Mobile Iron, Inc. Secure virtual file management system
US8856944B2 (en) * 2012-09-21 2014-10-07 Sony Corporation Obscuring sensitive portions of universal resource locator
US9015212B2 (en) * 2012-10-16 2015-04-21 Rackspace Us, Inc. System and method for exposing cloud stored data to a content delivery network
WO2014081727A1 (en) * 2012-11-20 2014-05-30 Denninghoff Karl L Search and navigation to specific document content
US10652087B2 (en) * 2012-12-13 2020-05-12 Level 3 Communications, Llc Content delivery framework having fill services
US9535919B2 (en) * 2013-03-15 2017-01-03 Mckesson Financial Holdings Method and apparatus for selectively deleting cached records
US9282160B2 (en) * 2013-07-15 2016-03-08 Neustar, Inc. Method, apparatus, and computer readable medium for flexible caching of resource oriented web services
WO2016036356A1 (en) * 2014-09-03 2016-03-10 Hewlett Packard Enterprise Development Lp Relationship based cache resource naming and evaluation
US9898477B1 (en) * 2014-12-05 2018-02-20 EMC IP Holding Company LLC Writing to a site cache in a distributed file system
US10452619B1 (en) * 2014-12-05 2019-10-22 EMC IP Holding Company LLC Decreasing a site cache capacity in a distributed file system
US11386060B1 (en) * 2015-09-23 2022-07-12 Amazon Technologies, Inc. Techniques for verifiably processing data in distributed computing systems
US10025625B2 (en) * 2016-03-31 2018-07-17 Microsoft Technology Licensing, Llc Batched tasks
US11379418B2 (en) * 2016-12-29 2022-07-05 Dropbox, Inc. File system warnings for moves of shared content items
US11038973B2 (en) * 2017-10-19 2021-06-15 Dropbox, Inc. Contact event feeds and activity updates
US10979235B2 (en) * 2017-10-20 2021-04-13 Dropbox, Inc. Content management system supporting third-party code
US10866963B2 (en) * 2017-12-28 2020-12-15 Dropbox, Inc. File system authentication
US10705922B2 (en) * 2018-01-12 2020-07-07 Vmware, Inc. Handling fragmentation of archived data in cloud/object storage
US20190294659A1 (en) * 2018-03-20 2019-09-26 Dropbox, Inc. Embedding a portion of a source content item
US11151086B2 (en) * 2018-04-27 2021-10-19 Dropbox, Inc. Comment previews displayed in context within content item
CN109976668A (zh) * 2019-03-14 2019-07-05 北京达佳互联信息技术有限公司 数据删除方法、数据删除装置和计算机可读存储介质
US11106386B1 (en) * 2019-05-20 2021-08-31 Amazon Technologies, Inc. Dynamic throttling of capacity reclamation
CN112448979B (zh) * 2019-08-30 2022-09-13 贵州白山云科技股份有限公司 一种缓存信息的更新方法、装置及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001159998A (ja) * 1999-12-03 2001-06-12 Nec Corp Ｗｅｂコンテンツキャッシュシステム及び方法並びに記録媒体
CN1922606A (zh) * 2003-12-01 2007-02-28 麦特耐芙有限公司 用于面向用户的互联网导航的动态关键字处理系统和方法
WO2006027590A1 (en) * 2004-09-09 2006-03-16 Surfcontrol Plc System, method and apparatus for use in monitoring or controlling internet access
CN101216823A (zh) * 2007-01-04 2008-07-09 阿里巴巴公司 网站导航系统及网站导航方法
CN104331257A (zh) * 2014-11-27 2015-02-04 四川秘无痕信息安全技术有限责任公司 一种通过扫描关键字清除安卓手机碎片数据的方法
CN105915619A (zh) * 2016-04-29 2016-08-31 中国地质大学（武汉） 顾及访问热度的网络空间信息服务高性能内存缓存方法
CN109089175A (zh) * 2017-06-14 2018-12-25 中兴通讯股份有限公司 一种视频缓存加速的方法及装置
CN107741960A (zh) * 2017-09-25 2018-02-27 厦门集微科技有限公司 Url的分类方法及装置
CN107943387A (zh) * 2017-11-14 2018-04-20 维沃移动通信有限公司 一种文件处理方法及移动终端
CN110209979A (zh) * 2018-02-28 2019-09-06 佳能株式会社 信息处理装置、方法及存储介质

Also Published As

Publication number Publication date
EP4050862A4 (en) 2022-11-30
CN112738148A (zh) 2021-04-30
WO2021083005A1 (zh) 2021-05-06
EP4050862A1 (en) 2022-08-31
US20220405244A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
US20150199433A1 (en) Method and system for search engine indexing and searching using the index
US8788925B1 (en) Authorized syndicated descriptions of linked web content displayed with links in user-generated content
US20130145099A1 (en) Method, System and Server of Removing a Distributed Caching Object
CN107748790B (zh) 一种线上服务系统、数据加载方法、装置及设备
US11030263B2 (en) System and method for updating a search index
CN102932445A (zh) 网络内容状态的获取方法和装置
CN111198976A (zh) 云上资产关联分析系统、方法、电子设备及介质
CN108829809A (zh) 一种信息展示方法及其终端设备、网络设备
CN105404437B (zh) 一种信息操作的方法及装置
CN106878365B (zh) 一种数据同步方法和设备
CN113918659A (zh) 数据操作方法、装置、存储介质及电子设备
CN112738148B (zh) 缓存内容的批量删除方法、装置、设备和可读存储介质
CN108171559B (zh) 一种用户等级处理、目标对象推送方法和设备
CN113435948B (zh) 一种电商平台数据监测方法及系统
CN108228613B (zh) 数据的读取方法及装置
CN111291127B (zh) 一种数据同步方法、装置、服务器及存储介质
CN111125163A (zh) 用于处理数据的方法和装置
CN114493799A (zh) 一种分库分表管理专车订单数据的方法及系统
CN111966892B (zh) 一种数据处理方法和装置，计算机存储介质和电子设备
GB2524073A (en) Communication method and system for accessing media data
US11023900B2 (en) Routing customer feedback and service request
CN112799863A (zh) 用于输出信息的方法和装置
US11216490B2 (en) Method and system for the creation and maintenance of a web presence data store built automatically for all entities with a social media presence
CN112600918B (zh) 一种基于bs架构的工控边缘大数据高效处理方法与系统
CN116010677B (zh) 空间索引方法、装置及其电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant