CN108900547B - 回源控制方法及装置 - Google Patents

回源控制方法及装置 Download PDF

Info

Publication number
CN108900547B
CN108900547B CN201810921014.5A CN201810921014A CN108900547B CN 108900547 B CN108900547 B CN 108900547B CN 201810921014 A CN201810921014 A CN 201810921014A CN 108900547 B CN108900547 B CN 108900547B
Authority
CN
China
Prior art keywords
source returning
http
search engine
source
https request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810921014.5A
Other languages
English (en)
Other versions
CN108900547A (zh
Inventor
王春鹏
王小虎
石涵
赵晨晖
郭秀莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Knownsec Information Technology Co Ltd
Original Assignee
Beijing Knownsec Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Knownsec Information Technology Co Ltd filed Critical Beijing Knownsec Information Technology Co Ltd
Priority to CN201810921014.5A priority Critical patent/CN108900547B/zh
Publication of CN108900547A publication Critical patent/CN108900547A/zh
Application granted granted Critical
Publication of CN108900547B publication Critical patent/CN108900547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种回源控制方法及装置，涉及网络技术领域。该方法应用于CDN网络的边缘节点，包括：获得配置管理平台下发的搜索引擎回源策略；当获得客户端的http/https请求时，获取客户端的IP地址及访问网站信息；判断IP地址是否与预先建立的搜索引擎爬虫IP库中的爬虫IP匹配；当IP地址与搜索引擎爬虫IP库中的爬虫IP匹配时，依据被访问网站所配置的搜索引擎回源策略对http/https请求进行回源控制。本发明提供的回源控制方法及装置能够对搜索引擎的访问进行灵活控制。

Description

回源控制方法及装置
技术领域
本发明涉及网络技术领域，具体而言，涉及一种回源控制方法及装置。
背景技术
目前大部分的基于云平台的搜索引擎回源方案都是基于DNS组件完成，即当一个域名解析过程来时，判断DNS请求的客户端IP是否是属公开的爬虫IP库中，如果属于公开的爬虫IP库，则直接解析回源站。
由于DNS请求阶段只有域名信息，没有访问资源信息，部分URI 不想让搜索引擎检索的需求无法得到满足，不能够根据需要对搜索引擎的访问进行灵活控制。
发明内容
有鉴于此，本发明实施例的目的在于提供一种回源控制方法及装置。
第一方面，本发明实施例提供了一种回源控制方法，应用于CDN 网络的边缘节点，包括：
获得配置管理平台下发的搜索引擎回源策略；
当获得客户端的http/https请求时，获取所述客户端的IP地址及访问网站信息；
判断所述IP地址是否与预先建立的搜索引擎爬虫IP库中的爬虫 IP匹配；
当所述IP地址与所述搜索引擎爬虫IP库中的爬虫IP匹配时，依据被访问网站所配置的搜索引擎回源策略对所述http/https请求进行回源控制。
可选地，当所述IP地址与所述搜索引擎爬虫IP库中的爬虫IP 匹配时，所述方法还包括：
依据所述IP地址获得对应的搜索引擎类型；
所述依据被访问网站所配置的搜索引擎回源策略对所述 http/https请求进行回源控制，包括：
依据被访问网站所配置的搜索引擎回源策略和所述搜索引擎类型对所述http/https请求进行回源控制。
可选地，所述搜索引擎回源策略包括基于整体域名的回源策略和基于URL的回源策略，所述依据被访问网站所配置的搜索引擎回源策略和所述搜索引擎类型对所述http/https请求进行回源控制，包括：
提取所述http/https请求的URL资源，检索所述基于URL的回源策略是否设置了与所述URL资源对应回源策略；
当所述基于URL的回源策略设置了与所述URL资源对应回源策略时，依据所述基于URL的回源策略对所述http/https请求进行回源控制；否则
依据所述基于整体域名的回源策略和所述搜索引擎类型对所述 http/https请求进行回源控制，或当所述http/https请求不满足所述整体域名的回源策略的条件时按照正常的CDN访问流程执行所述 http/https请求。
可选地，所述依据所述基于URL的回源策略对所述http/https请求进行回源控制，包括：
当所述http/https请求在所述基于URL的回源策略中被设置为允许时，对所述http/https请求回源；
当所述http/https请求在所述基于URL的回源策略中被设置为拒绝时，拒绝所述http/https请求。
可选地，所述方法还包括：
获得所述配置管理平台发送的所述搜索引擎爬虫IP库。
第二方面，本发明实施例提供了一种回源控制装置，应用于CDN 网络的边缘节点，所述回源控制装置包括：
获取模块，用于获得配置管理平台下发的搜索引擎回源策略；以及
当获得客户端的http/https请求时，获取所述客户端的IP地址及访问网站信息；
判断模块，用于判断所述IP地址是否与预先建立的搜索引擎爬虫IP库中的爬虫IP匹配；
回源控制模块，用于当所述IP地址与所述搜索引擎爬虫IP库中的爬虫IP匹配时，依据被访问网站所配置的搜索引擎回源策略对所述http/https请求进行回源控制。
可选地，所述获取模块还用于依据所述IP地址获得对应的搜索引擎类型；
所述回源控制模块用于依据被访问网站所配置的搜索引擎回源策略和所述搜索引擎类型对所述http/https请求进行回源控制。
可选地，所述搜索引擎回源策略包括基于整体域名的回源策略和基于URL的回源策略，所述回源控制模块包括：
提取子模块，用于提取所述http/https请求的URL资源；
检索子模块，用于检索所述基于URL的回源策略是否设置了与所述URL资源对应回源策略；
回源子模块，用于当所述基于URL的回源策略设置了与所述 URL资源对应回源策略时，依据所述基于URL的回源策略对所述 http/https请求进行回源控制；以及
当所述基于URL的回源策略未设置与所述URL资源对应回源策略时，依据所述基于整体域名的回源策略和所述搜索引擎类型对所述 http/https请求进行回源控制，或当所述http/https请求不满足所述整体域名的回源策略的条件时按照正常的CDN访问流程执行所述 http/https请求。
可选地，所述回源子模块用于当所述http/https请求在所述基于 URL的回源策略中被设置为允许时，对所述http/https请求回源；以及
当所述http/https请求在所述基于URL的回源策略中被设置为拒绝时，拒绝所述http/https请求。
可选地，所述获取模块还用于获得所述配置管理平台发送的所述搜索引擎爬虫IP库。
对于现有技术，本发明提供的回源控制方法及装置具有如下的有益效果：
本发明提供的回源控制方法及装置能够在客户端的IP地址与预先建立的搜索引擎爬虫IP库中的爬虫IP匹配时，依据配置管理平台下发的搜索引擎回源策略对http/https请求进行回源控制，从而实现了对搜索引擎的访问进行灵活控制。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的回源控制方法的应用环境示意图。
图2为本发明较佳实施例提供的边缘节点的方框示意图。
图3为本发明较佳实施例提供的回源控制方法的流程图。
图4为图3中步骤S106的子步骤的流程图。
图5为本发明较佳实施例提供的回源控制装置的功能模块示意图。
图6为本发明较佳实施例提供的回源控制模块的功能模块示意图。
图标：100-边缘节点；110-回源控制装置；111-获取模块；112- 判断模块；113-回源控制模块；1131-提取子模块；1132-检索子模块；1133-回源子模块；130-存储器；150-处理器；170-通信单元；200-管理配置平台；300-客户端；400-网络。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，本发明较佳实施例提供的回源控制方法应用于CDN 网络，所述CDN网络包括边缘节点100、管理配置平台200和客户端300，所述边缘节点100通过网络400分别与所述管理配置平台200 和所述客户端300进行通信连接以进行数据通信或交互。边缘节点100为所述CDN网络中离所述客户端300最近的一个节点服务器，所述边缘节点100可以是网络服务器、数据库服务器等。所述管理配置平台200可以是个人电脑(personal computer，PC)、平板电脑等，所述客户端300可以是个人电脑(personal computer，PC)、平板电脑、智能手机、个人数字助理(personal digital assistant，PDA)等。
如图2所示，是所述边缘节点100的方框示意图，所述边缘节点 100包括回源控制装置110、存储器130、处理器150和通信单元170。
所述存储器130、处理器150以及通信单元170各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述回源控制装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器130中或固化在所述边缘节点的操作系统(operating system，OS)中的软件功能模块。所述处理器150用于执行所述存储器130中存储的可执行模块，例如所述回源控制装置110所包括的软件功能模块及计算机程序等。
其中，所述存储器130可以是，但不限于，随机存取存储器 (Random AccessMemory，RAM)，只读存储器(Read Only Memory， ROM)，可编程只读存储器(ProgrammableRead-Only Memory， PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器130 用于存储程序，所述处理器150在接收到执行指令后，执行所述程序。所述通信单元170用于通过网络400建立所述边缘节点100与所述客户端300以及所述管理配置平台200之间的通信连接，并用于通过所述网络400收发数据。
请参阅图3，是本发明较佳实施例提供的应用于图2所示的回源控制装置110的回源控制方法的流程图。下面将对图3所示的具体流程进行详细阐述。
步骤S101，获得配置管理平台发送的搜索引擎爬虫IP库。
搜索服务提供商通过爬虫服务器爬取页面资源，不同搜索服务提供商的爬虫服务器具有不同的IP段，即不同搜索服务提供商的搜索引擎具有不同的IP段，例如百度、谷歌等搜索引擎具有不同的IP段。本发明实施例中，在通过搜索引擎搜索页面资源之前，可先在配置管理平台200建立搜索引擎爬虫IP库，该搜索引擎爬虫IP库中包含了各搜索引擎的爬虫IP。
配置管理平台200建立搜索引擎爬虫IP库后，将建立的搜索引擎爬虫IP库发送给CDN网络中的所述边缘节点100及其他节点，所述边缘节点100获得配置管理平台200发送的搜索引擎爬虫IP库。
步骤S102，获得配置管理平台下发的搜索引擎回源策略。
与此同时，用户可先在配置管理平台200定义一搜索引擎回源策略，所述搜索引擎回源策略定义了在获取页面资源时哪些搜索引擎可以回源以及以何种回源策略进行回源等。
本发明实施例中，所述搜索引擎回源策略包括基于整体域名的回源策略和基于URL的回源策略。
步骤S103，当获得客户端的http/https请求时，获取所述客户端的IP地址及访问网站信息。
当客户端300获取页面资源时，向所述边缘节点100发送 http/https请求，边缘节点100获得客户端300发送的http/https请求。
边缘节点100获得客户端300发送的http/https请求后，获取该客户端300的IP地址及访问网站信息。
步骤S104，判断IP地址是否与预先建立的搜索引擎爬虫IP库中的爬虫IP匹配，如果是，执行步骤S104。
边缘节点100获取到客户端300的IP地址后，将该获取到的IP 地址与搜索引擎爬虫IP库中的爬虫IP匹配进行匹配，判断该获取到的IP地址是否与搜索引擎爬虫IP库中的其中一个爬虫IP相同，如果相同则说明该获取到的IP地址与搜索引擎爬虫IP库中的爬虫IP匹配，执行步骤S104。
如果该获取到的IP地址与搜索引擎爬虫IP库中的所有爬虫IP 均不同，则说明该获取到的IP地址与搜索引擎爬虫IP库中的爬虫IP 不匹配，此时按照正常的CDN访问流程执行即可。
步骤S105，依据IP地址获得对应的搜索引擎类型。
不同的搜索引擎对应不同的IP段，因此边缘节点100在获取到客户端300的IP地址后，可根据该IP地址获得对应的搜索引擎类型 (如百度、谷歌等)。
步骤S106，依据被访问网站所配置的搜索引擎回源策略和搜索引擎类型对http/https请求进行回源控制。
本发明实施例中，所述搜索引擎回源策略包括基于整体域名的回源策略和基于URL的回源策略。在对http/https请求进行回源控制时，基于URL的回源策略的优先级高于基于整体域名的回源策略，即先考虑是否通过基于整体域名的回源策略对http/https请求进行回源控制，再考虑是否通过基于整体域名的回源策略对http/https请求进行回源控制。
具体的，请参阅图4，依据搜索引擎回源策略和搜索引擎类型对 http/https请求进行回源控制包括如下子步骤。
子步骤S1061，提取http/https请求的URL资源。
首先，边缘节点100考虑是否基于URL的回源策略对http/https 请求进行回源控制。此时，边缘节点100提取http/https请求的URL 资源。
子步骤S1062，检索基于URL的回源策略是否设置了与URL资源对应回源策略，并判断基于URL的回源策略是否设置了与URL资源对应回源策略，如果是，执行子步骤S1063；如果否，执行子步骤 S1064。
基于URL的回源策略中定义了包含某些特定URL资源的 http/https请求的回源策略，即允许包括某些特定URL资源的http/https 请求直接回源，或拒绝包括某些特定URL资源的http/https请求。边缘节点100提取http/https请求的URL资源后，检索基于URL的回源策略是否设置了与所述URL资源对应回源策略，并判断该基于 URL的回源策略是否设置了与该URL资源对应回源策略，如果是，执行子步骤S1063；如果否，执行子步骤S1064。
子步骤S1063，依据基于URL的回源策略对http/https请求进行回源控制。
当基于URL的回源策略置了与该URL资源对应回源策略时，边缘节点100基于URL的回源策略和搜索引擎类型对http/https请求进行回源控制。
具体的，当所述http/https请求对应的URL资源在所述基于URL 的回源策略中被设置为允许时，对所述http/https请求回源。当所述 http/https请求在所述基于URL的回源策略中被设置为拒绝，拒绝所述http/https请求，此时边缘节点100向客户端300返回403错误页面。
子步骤S1064，依据基于整体域名的回源策略和搜索引擎类型对 http/https请求进行回源控制，或当http/https请求不满足整体域名的回源策略的条件时按照正常的CDN访问流程执行http/https请求。
当基于URL的回源策略是未设置与URL资源对应回源策略时，边缘节点100再考虑基于整体域名的回源策略和搜索引擎类型对 http/https请求进行回源控制。
例如，当所述http/https请求对应的搜索引擎类型为设定的搜索引擎(如百度)，且所述http/https请求对应的URL资源在所述整体域名的回源策略中被设置为允许(回源)时，则边缘节点100对所述 http/https请求直接回源。当所述http/https请求对应的搜索引擎类型为设定的搜索引擎，且所述http/https请求对应的URL资源在所述整体域名的回源策略中被设置为拒绝时，则拒绝所述http/https请求，此时边缘节点100向客户端300返回403错误页面。
如果所述http/https请求对应的URL资源不满足整体域名的回源策略的条件时(即所述http/https请求对应的搜索引擎类型不是设定的搜索引擎，和/或所述http/https请求对应的URL资源未在所述整体域名的回源策略中被设置为拒绝时)，则对于该http/https请求按照正常的CDN访问流程执行。
请参阅图5，是本发明较佳实施例提供的图2所示的回源控制装置110的功能模块示意图，所述回源控制装置110包括有获取模块 111、判断模块112和回源控制模块113。
所述获取模块111用于获得配置管理平台发送的搜索引擎爬虫 IP库。
可以理解的，所述获取模块111可以用于执行上述的步骤S101。
所述获取模块111还用于获得配置管理平台下发的搜索引擎回源策略。
可以理解的，所述获取模块111还可以用于执行上述的步骤 S102。
所述获取模块111还用于当获得客户端的http/https请求时，获取所述客户端的IP地址及访问网站信息。
可以理解的，所述获取模块111还可以用于执行上述的步骤 S103。
所述判断模块112用于判断IP地址是否与预先建立的搜索引擎爬虫IP库中的爬虫IP匹配。
可以理解的，所述判断模块112可以用于执行上述的步骤S104。
所述获取模块111还用于依据IP地址获得对应的搜索引擎类型。
可以理解的，所述获取模块111还可以用于执行上述的步骤 S105。
所述回源控制模块113用于依据被访问网站所配置的搜索引擎回源策略和搜索引擎类型对http/https请求进行回源控制。
可以理解的，所述回源控制模块113可以用于执行上述的步骤 S106。
请参阅图6，回源控制模块113包括提取子模块1131、检索子模块1132和回源子模块1133。
所述提取子模块1131用于提取http/https请求的URL资源。
可以理解的，所述提取子模块1131可以用于执行上述的子步骤 S1061。
所述检索子模块1132用于检索基于URL的回源策略是否设置了与URL资源对应回源策略。
可以理解的，所述检索子模块1132可以用于执行上述子步骤 S1062中检索基于URL的回源策略是否设置了与URL资源对应回源策略这一过程。
所述回源子模块1133用于当所述基于URL的回源策略设置了与所述URL资源对应回源策略时，依据所述基于URL的回源策略对所述http/https请求进行回源控制；以及当所述基于URL的回源策略未设置与所述URL资源对应回源策略时，依据所述基于整体域名的回源策略和所述搜索引擎类型对所述http/https请求进行回源控制，或当所述http/https请求不满足所述整体域名的回源策略的条件时按照正常的CDN访问流程执行所述http/https请求。
可以理解的，所述回源子模块1133可以用于执行上述子步骤 S1063和子步骤S1064。
综上所述，本发明实施例提供的回源控制方法及装置能够在客户端的IP地址与预先建立的搜索引擎爬虫IP库中的爬虫IP匹配时，依据被访问网站所配置的搜索引擎回源策略，对http/https请求进行回源控制，在对http/https请求进行回源控制的过程中可通过搜索引擎回源策略设置哪些搜索引擎可回源，并通过URL黑名单机制控制搜索引擎拒绝http/https请求，从而实现了对搜索引擎的访问进行灵活控制。同时，在对http/https请求进行回源控制时，优先考虑更加精确的基于URL的回源策略对所述http/https请求进行回源控制，再考虑基于整体域名的回源策略和搜索引擎类型对http/https请求进行回源控制，如此确保对http/https请求准确地进行回源控制。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器 (RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种回源控制方法，应用于CDN网络的边缘节点，其特征在于，包括：
获得配置管理平台下发的搜索引擎回源策略；
当获得客户端的http/https请求时，获取所述客户端的IP地址及访问网站信息；
判断所述IP地址是否与预先建立的搜索引擎爬虫IP库中的爬虫IP匹配；
当所述IP地址与所述搜索引擎爬虫IP库中的爬虫IP匹配时，依据被访问网站所配置的搜索引擎回源策略对所述http/https请求进行回源控制；
其中，所述搜索引擎回源策略包括基于整体域名的回源策略和基于URL的回源策略，所述搜索引擎爬虫IP库是所述配置管理平台发送的；
当所述IP地址与所述搜索引擎爬虫IP库中的爬虫IP匹配时，所述方法还包括：依据所述IP地址获得对应的搜索引擎类型；所述依据被访问网站所配置的搜索引擎回源策略对所述http/https请求进行回源控制，包括：依据被访问网站所配置的搜索引擎回源策略和所述搜索引擎类型对所述http/https请求进行回源控制；
所述依据被访问网站所配置的搜索引擎回源策略和所述搜索引擎类型对所述http/https请求进行回源控制，包括：提取所述http/https请求的URL资源，检索所述基于URL的回源策略是否设置了与所述URL资源对应回源策略；当所述基于URL的回源策略设置了与所述URL资源对应回源策略时，依据所述基于URL的回源策略对所述http/https请求进行回源控制；否则依据所述基于整体域名的回源策略和所述搜索引擎类型对所述http/https请求进行回源控制，或当所述http/https请求不满足所述整体域名的回源策略的条件时按照正常的CDN访问流程执行所述http/https请求。
2.根据权利要求1所述的方法，其特征在于，所述依据所述基于URL的回源策略对所述http/https请求进行回源控制，包括：
当所述http/https请求在所述基于URL的回源策略中被设置为允许时，对所述http/https请求回源；
当所述http/https请求在所述基于URL的回源策略中被设置为拒绝时，拒绝所述http/https请求。
3.一种回源控制装置，应用于CDN网络的边缘节点，其特征在于，所述回源控制装置包括：
获取模块，用于获得配置管理平台下发的搜索引擎回源策略；以及
当获得客户端的http/https请求时，获取所述客户端的IP地址及访问网站信息；
判断模块，用于判断所述IP地址是否与预先建立的搜索引擎爬虫IP库中的爬虫IP匹配；
回源控制模块，用于当所述IP地址与所述搜索引擎爬虫IP库中的爬虫IP匹配时，依据被访问网站所配置的搜索引擎回源策略对所述http/https请求进行回源控制；
其中，所述搜索引擎回源策略包括基于整体域名的回源策略和基于URL的回源策略，所述搜索引擎爬虫IP库是所述配置管理平台发送的；
所述获取模块还用于依据所述IP地址获得对应的搜索引擎类型；所述回源控制模块用于依据被访问网站所配置的搜索引擎回源策略和所述搜索引擎类型对所述http/https请求进行回源控制；
所述回源控制模块包括：提取子模块，用于提取所述http/https请求的URL资源；检索子模块，用于检索所述基于URL的回源策略是否设置了与所述URL资源对应回源策略；
回源子模块，用于当所述基于URL的回源策略设置了与所述URL资源对应回源策略时，依据所述基于URL的回源策略对所述http/https请求进行回源控制；以及当所述基于URL的回源策略未设置与所述URL资源对应回源策略时，依据所述基于整体域名的回源策略和所述搜索引擎类型对所述http/https请求进行回源控制，或当所述http/https请求不满足所述整体域名的回源策略的条件时按照正常的CDN访问流程执行所述http/https请求。
4.根据权利要求3所述的回源控制装置，其特征在于，所述回源子模块用于当所述http/https请求在所述基于URL的回源策略中被设置为允许时，对所述http/https请求回源；以及
当所述http/https请求在所述基于URL的回源策略中被设置为拒绝时，拒绝所述http/https请求。
CN201810921014.5A 2018-08-14 2018-08-14 回源控制方法及装置 Active CN108900547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810921014.5A CN108900547B (zh) 2018-08-14 2018-08-14 回源控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810921014.5A CN108900547B (zh) 2018-08-14 2018-08-14 回源控制方法及装置

Publications (2)

Publication Number Publication Date
CN108900547A CN108900547A (zh) 2018-11-27
CN108900547B true CN108900547B (zh) 2021-06-08

Family

ID=64354255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810921014.5A Active CN108900547B (zh) 2018-08-14 2018-08-14 回源控制方法及装置

Country Status (1)

Country Link
CN (1) CN108900547B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111181782B (zh) * 2019-12-24 2022-09-16 新浪网技术(中国)有限公司 一种回源处理方法及装置
CN114124897B (zh) * 2021-11-30 2023-08-22 北京知道创宇信息技术股份有限公司 Cdn节点控制方法、装置、电子设备及可读存储介质
CN114726616A (zh) * 2022-04-07 2022-07-08 京东科技信息技术有限公司 一种网站访问请求的处理方法及装置
CN114501056A (zh) * 2022-04-18 2022-05-13 深圳市华曦达科技股份有限公司 一种多源站频道自动回源的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101183A (zh) * 2016-05-30 2016-11-09 乐视控股（北京）有限公司 回源请求的中转方法和装置及回源系统
CN106612336A (zh) * 2015-10-21 2017-05-03 北京国双科技有限公司 图片预加载方法和装置
CN107395683A (zh) * 2017-06-26 2017-11-24 网宿科技股份有限公司 一种回源路径的选择方法及服务器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102196060A (zh) * 2011-06-15 2011-09-21 北京蓝汛通信技术有限责任公司 一种Cache服务器选择源站的方法和系统
US11295300B2 (en) * 2015-06-10 2022-04-05 Digital Candy, Inc. Online image retention, indexing, search technology with integrated image licensing marketplace and a digital rights management platform
CN106888171B (zh) * 2015-12-15 2019-10-18 中国移动通信集团公司 一种数据业务的处理方法及装置
CN107517229A (zh) * 2016-06-16 2017-12-26 阿里巴巴集团控股有限公司 一种回源路由信息的生成、传输方法及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106612336A (zh) * 2015-10-21 2017-05-03 北京国双科技有限公司 图片预加载方法和装置
CN106101183A (zh) * 2016-05-30 2016-11-09 乐视控股（北京）有限公司 回源请求的中转方法和装置及回源系统
CN107395683A (zh) * 2017-06-26 2017-11-24 网宿科技股份有限公司 一种回源路径的选择方法及服务器

Also Published As

Publication number Publication date
CN108900547A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN108900547B (zh) 回源控制方法及装置
CN107003877B (zh) 应用的上下文深层链接
US8856168B2 (en) Contextual application recommendations
US11184249B2 (en) Declarative and reactive data layer for component-based user interfaces
JP2020091902A (ja) 分散型データストアのバージョン化された階層型データ構造
US9910895B2 (en) Push subscriptions
RU2619195C2 (ru) Способ и устройство для нахождения файла в устройстве хранения и маршрутизатор
CN109040252A (zh) 文件传输方法、系统、计算机设备和存储介质
US10623470B2 (en) Optimizing internet data transfers using an intelligent router agent
CN106611008B (zh) 一种互联网内容标签的管理方法及装置
CN107103011B (zh) 终端数据搜索的实现方法和装置
CN111786984B (zh) Pod通信连接方法、装置及电子设备、存储介质
US10671686B2 (en) Processing webpage data
CN109634753B (zh) 切换浏览器内核的数据处理方法、装置、终端和存储介质
US20230239376A1 (en) Request processing in a content delivery framework
US9665732B2 (en) Secure Download from internet marketplace
CN109446445B (zh) 一种资源获取方法及装置
CN110717036B (zh) 一种统一资源定位符的去重方法、装置及电子设备
US12001458B2 (en) Multi-cloud object store access
Junior et al. Cost optimization on public cloud provider for big geospatial data
CN107103001B (zh) 基于浏览器获取目标前端资源文件的方法、装置和系统
CN112866356B (zh) Cdn缓存方法、装置及电子设备
CN106815247B (zh) 统一资源定位符获取方法及装置
CN112783842B (zh) 一种日志收集方法和装置
CN112835609B (zh) 一种修改依赖包下载地址的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 311501, Unit 1, Building 5, Courtyard 1, Futong East Street, Chaoyang District, Beijing

Applicant after: Beijing Zhichuangyu Information Technology Co., Ltd.

Address before: Room 311501, Unit 1, Building 5, Courtyard 1, Futong East Street, Chaoyang District, Beijing

Applicant before: Beijing Knows Chuangyu Information Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant