CN107347100B - 一种内容分发网络的透明代理转发方法 - Google Patents

一种内容分发网络的透明代理转发方法 Download PDF

Info

Publication number
CN107347100B
CN107347100B CN201710629045.9A CN201710629045A CN107347100B CN 107347100 B CN107347100 B CN 107347100B CN 201710629045 A CN201710629045 A CN 201710629045A CN 107347100 B CN107347100 B CN 107347100B
Authority
CN
China
Prior art keywords
cdn
source station
domain name
proxy forwarding
cdn node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710629045.9A
Other languages
English (en)
Other versions
CN107347100A (zh
Inventor
王春鹏
王小虎
赵晨晖
石涵
罗意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Knownsec Information Technology Co ltd
Original Assignee
Chengdu Knownsec Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Knownsec Information Technology Co ltd filed Critical Chengdu Knownsec Information Technology Co ltd
Priority to CN201710629045.9A priority Critical patent/CN107347100B/zh
Publication of CN107347100A publication Critical patent/CN107347100A/zh
Application granted granted Critical
Publication of CN107347100B publication Critical patent/CN107347100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/563Data redirection of data network streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services

Abstract

本发明公开了一种内容分发网络的透明代理转发方法,包括步骤:1、在CDN系统中设置域名的代理转发参数,所述代理转发参数包括:源站地址、源站监听端口、CDN和源站之间的传输协议、CDN节点监听该域名请求的端口、外部用户访问CDN节点的传输协议、源站权重;2、将代理转发参数作为一个参数组,所述参数组为一个或者多个,以域名作为键值,将配置的参数组同步到所有的CDN节点的配置数据库中;3、当外部访问用户发起的请求在CDN节点没有命中缓存资源,需要回源时,根据设置的代理转发参数做回源目的地址选择。本发明能够灵活处理CDN节点针对不同端口间,不同传输协议间的代理转发。

Description

一种内容分发网络的透明代理转发方法
技术领域
本发明涉及互联网技术中的代理转发领域,特别是一种内容分发网络的透明代理转发方法。
背景技术
随着互联网的深度发展,越来越多的行业加入到互联网浪潮中,产生了无数基于互联网的应用,提供基于文字、图片、视频、大数据服务等等。但随着应用和用户数的井喷的发展,网络游戏产业逐渐成熟,特别是网络视频等需要高带宽的内容,应用服务对服务器和网络带宽的要求越来越高,外加不同地域的网络基础设施建设水平良莠不齐,信息在网络间传输的压力越来越大,进而导致用户与内容提供商之间信息传输愈来愈慢,降低了互联网应用的使用体验。
为解决上述问题,一种基于分布式网络的内容存储与分发的互联网服务诞生了,这种互联网服务即是CDN(Content Delivery Network,即内容分发网络)。CDN是构建在网络之上的内容分发网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。
CDN网络节点主要起到缓存和代理的功能。在缓存没有命中的情况下,用户的请求可以分解为两个阶段,第一阶段是用户的请求发送到CDN节点,第二个阶段是CDN节点发送到源头站。两个阶段的传输过程可以做到彼此独立,因此如果灵活的配置两个阶段的http传输参数,主要包括传输协议(https、http),转发端口(port),以及源站ip等信息。
现有CDN网络加速主要支持80、443端口的加速,也就是说如果用户要对非上述两个端口加速,不能够很好的支持。CDN对非80、443端口加速不支持,对于http请求两个阶段的链路参数设置不够灵活。
发明内容
本发明所要解决的技术问题是提供一种内容分发网络的透明代理转发方法,通过在节点提取第一阶段的请求中包含的域名信息,再根据域名信息查找该域名配置的代理转发参数,根据代理转发参数来建立第二阶段的请求链接,实现不同域名转发到相同或不同主机的不同端口。
为解决上述技术问题,本发明采用的技术方案是:
一种内容分发网络的透明代理转发方法,包括以下步骤:
步骤1:在CDN系统中设置域名的代理转发参数,所述代理转发参数包括:源站地址、源站监听端口、CDN和源站之间的传输协议、CDN节点监听该域名请求的端口、外部用户访问CDN节点的传输协议、源站权重;
步骤2:将步骤1所述代理转发参数作为一个参数组,所述参数组为一个或者多个,以域名作为键值,将配置的参数组同步到所有的CDN节点的配置数据库中;CDN节点读取域名的配置信息中的所有“CDN节点监听该域名请求的端口”,并监听这些端口;
步骤3:当外部访问用户发起的请求在CDN节点没有命中缓存资源,需要回源时,根据设置的代理转发参数做回源目的地址选择,即:
步骤3.1:提取当前访问链接的参数,包括域名、传输协议和访问CDN节点的端口;
步骤3.2:根据当前访问链接域名,在节点的配置数据库中查询源站管理员的所有源站配置参数组;
步骤3.3:针对每组参数,如果“外部用户访问CDN节点的协议传输”、“CDN节点监听该域名请求的端口”分别与当前请求的传输协议、访问端口匹配,则将该参数组加入备选转发队列;
步骤3.4:根据源站权重随机选择一个满足条件的源站配置的参数组,提取源站的代理转发参数,建立节点与源站的链接。
进一步的,若没有设置CDN和源站之间的传输协议,则继承用户访问CDN节点的传输协议。
与现有技术相比,本发明的有益效果是:1)能对http访问的不同端口、不同主题之间无缝转发。2)能够基于域名配置,实现不同域名转发到相同或不同主机的不同端口。
附图说明
图1是本发明中透明转发基本架构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
为了灵活实现CDN节点在两个阶段的代理转发,本发明通过在节点提取第一阶段的请求中包含的域名信息,再根据域名信息查找该域名配置的代理转发参数,根据代理转发参数来建立第二阶段的请求链接。详述如下:
1、CDN源站管理员根据源站情况(源站配置的情况,比如源站监听的端口、传输协议http或https),在CDN系统中设置域名的代理转发参数,参数包括:
1)源站地址--upstream_ip,必填参数;
2)源站监听端口--upstream_port,默认http转发到80,https转发到443;
3)CDN和源站之间的传输协议--upstream_http_scheme,值为“http”或“https”,如果没有设置,则继承用户访问CDN节点的传输协议;
4)CDN节点监听该域名请求的端口--listen_port,必填写参数;
5)外部用户访问CDN节点的传输协议(http或https)--original_scheme,值为“http”或“https”,必填参数;
6)源站权重--upstream_weight,必填参数。
以上参数作为一个参数组,可以设置一个或者多个参数组。以域名(字域名级别,支持范解析格式)作为键值,将配置的参数组同步到所有的CDN节点的配置数据库中;CDN节点读取域名的配置信息中所有“CDN节点监听该域名请求的端口”,并监听这些端口。
2、当外部访问用户发起的请求在CDN节点没有命中缓存资源,需要回源时,根据上述设置参数做回源目的地址选择,具体为:
1)提取当前访问链接的参数,包括域名host、传输协议scheme、访问CDN节点的端口port。
2)根据当前访问链接的域名,在节点的配置数据库中查询源站管理员的所有源站配置参数组。
3)针对每个参数组,如果scheme(CDN节点实际接收到用户的请求的传输协议)等于original_scheme(配置中“外部用户访问CDN节点的传输协议(http或https)),port等于listen_port,表示当前的参数组满足回源条件,选出所有满足的条件的参数组。
4)通过上述步骤得到满足条件的源站组,根据upstream_weight随机选择一个源站配置,提取源站的参数,如upstream_ip,upstream_port,upstream_http_scheme,建立节点与源站的链接。
最终,CDN实现不同传输协议、不同监听端口之间的透明转发。
如图1所示,www.test.com这个子域名针对221端口,配置的代理参数为:
{“upstream_ip”:10.8.2.1,
“upstream_port”:443,
“upstream_http_scheme”:https,
“listen_port”:221,
“original_scheme”:http,
“upstream_weight”:50,
}
当接收到221端口的http请求后,首先提取出http的host信息--www.test.com,根据host到数据库中查找到www.test.com的代理配置,然后筛选复合条件的配置,作为建立第二阶段请求,即回源站的请求的链接建立的参数。

Claims (2)

1.一种内容分发网络的透明代理转发方法,其特征在于,包括以下步骤:
步骤1:在CDN系统中设置域名的代理转发参数,所述代理转发参数包括:源站地址、源站监听端口、CDN和源站之间的传输协议、CDN节点监听该域名请求的端口、外部用户访问CDN节点的传输协议、源站权重;
步骤2:将步骤1所述代理转发参数作为一个参数组,所述参数组为一个或者多个,以域名作为键值,将配置的参数组同步到所有的CDN节点的配置数据库中;CDN节点读取域名的配置信息中的所有“CDN节点监听该域名请求的端口”,并监听这些端口;
步骤3:当外部访问用户发起的请求在CDN节点没有命中缓存资源,需要回源时,根据设置的代理转发参数做回源目的地址选择,即:
步骤3.1:提取当前访问链接的参数,包括域名、传输协议和访问CDN节点的端口;
步骤3.2:根据当前访问链接域名,在节点的配置数据库中查询源站管理员的所有源站配置参数组;
步骤3.3:针对每组参数, 如果“外部用户访问CDN节点的协议传输”、“CDN节点监听该域名请求的端口”分别与当前请求的传输协议、访问端口匹配,则将该参数组加入备选转发队列;
步骤3.4:根据源站权重随机选择一个满足条件的源站配置的参数组,提取源站的代理转发参数,建立节点与源站的链接。
2.如权利要求1所述的一种内容分发网络的透明代理转发方法,其特征在于,若没有设置CDN和源站之间的传输协议,则继承用户访问CDN节点的传输协议。
CN201710629045.9A 2017-07-28 2017-07-28 一种内容分发网络的透明代理转发方法 Active CN107347100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710629045.9A CN107347100B (zh) 2017-07-28 2017-07-28 一种内容分发网络的透明代理转发方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710629045.9A CN107347100B (zh) 2017-07-28 2017-07-28 一种内容分发网络的透明代理转发方法

Publications (2)

Publication Number Publication Date
CN107347100A CN107347100A (zh) 2017-11-14
CN107347100B true CN107347100B (zh) 2020-04-21

Family

ID=60257095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710629045.9A Active CN107347100B (zh) 2017-07-28 2017-07-28 一种内容分发网络的透明代理转发方法

Country Status (1)

Country Link
CN (1) CN107347100B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110875941A (zh) * 2018-09-03 2020-03-10 阿里巴巴集团控股有限公司 一种源站访问流量的调整方法及装置,电子和存储设备
CN109450991A (zh) * 2018-10-19 2019-03-08 网宿科技股份有限公司 基于移动应用的数据传输加速方法、相关设备和加速系统
CN112235271B (zh) * 2020-09-29 2023-05-02 新浪技术(中国)有限公司 内容分发网络cdn设备及其自适应安全回源方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102196060A (zh) * 2011-06-15 2011-09-21 北京蓝汛通信技术有限责任公司 一种Cache服务器选择源站的方法和系统
CN102710765A (zh) * 2012-05-28 2012-10-03 蓝汛网络科技(北京)有限公司 一种cdn服务器实现透明代理的方法、装置及系统
CN103036969A (zh) * 2012-12-10 2013-04-10 北京奇虎科技有限公司 用于提供文件下载地址的管理设备及方法
CN103716348A (zh) * 2012-09-29 2014-04-09 北京百度网讯科技有限公司 基于cdn网络的数据访问方法、系统及装置
CN103731404A (zh) * 2012-10-12 2014-04-16 北京百度网讯科技有限公司 基于cdn网络的数据访问方法、系统及装置
CN105450780A (zh) * 2015-12-31 2016-03-30 深圳市网心科技有限公司 一种cdn系统及其回源方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030079027A1 (en) * 2001-10-18 2003-04-24 Michael Slocombe Content request routing and load balancing for content distribution networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102196060A (zh) * 2011-06-15 2011-09-21 北京蓝汛通信技术有限责任公司 一种Cache服务器选择源站的方法和系统
CN102710765A (zh) * 2012-05-28 2012-10-03 蓝汛网络科技(北京)有限公司 一种cdn服务器实现透明代理的方法、装置及系统
CN103716348A (zh) * 2012-09-29 2014-04-09 北京百度网讯科技有限公司 基于cdn网络的数据访问方法、系统及装置
CN103731404A (zh) * 2012-10-12 2014-04-16 北京百度网讯科技有限公司 基于cdn网络的数据访问方法、系统及装置
CN103036969A (zh) * 2012-12-10 2013-04-10 北京奇虎科技有限公司 用于提供文件下载地址的管理设备及方法
CN105450780A (zh) * 2015-12-31 2016-03-30 深圳市网心科技有限公司 一种cdn系统及其回源方法

Also Published As

Publication number Publication date
CN107347100A (zh) 2017-11-14

Similar Documents

Publication Publication Date Title
US11336614B2 (en) Content node network address selection for content delivery
WO2020228505A1 (zh) 一种移动边缘计算节点的选择方法、装置及系统
US11425088B2 (en) Content delivery network optimization system
US9923786B2 (en) System and method for performing a service discovery for virtual networks
EP2088719B1 (en) Method and device for distributing file data
US10491657B2 (en) Network acceleration method, apparatus and device based on router device
CN101873358B (zh) 一种基于域名解析的链路负载均衡方法和设备
US10263950B2 (en) Directing clients based on communication format
US20140280803A1 (en) Optimized Content Distribution Based on Metrics Derived from the End User
US20110055845A1 (en) Technique for balancing loads in server clusters
WO2019061522A1 (zh) 域名解析方法、客户端、边缘节点及域名解析系统
RU2464722C2 (ru) Способ, устройство и система для распределения сообщений
US20160006645A1 (en) Increased data transfer rate method and system for regular internet user
US20100115613A1 (en) Cacheable Mesh Browsers
CN107347100B (zh) 一种内容分发网络的透明代理转发方法
CN105450703A (zh) 一种数据缓存方法和装置
CN113179187B (zh) 一种cdn节点加速配置分发方法
US9356824B1 (en) Transparently cached network resources
WO2017097092A1 (zh) 缓存集群服务的处理方法及系统
US11444996B2 (en) Two-level cache architecture for live video streaming through hybrid ICN
CN110958186A (zh) 网络设备数据处理方法及系统
KR100450605B1 (ko) 웹-어플리케이션 서버 및 그의 동적 컨텐츠 제공 방법
KR20050046974A (ko) 클러스터링 환경에서의 모바일 비즈니스 응용 서버간콘텐츠 캐쉬 동기화 방법
JP2009147578A (ja) Ipネットワークにおけるスイッチ装置及びダウンストリームデータ分散配信方法
Guan et al. Status-based content sharing mechanism for content-centric network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 9/F, Building C, No. 28, North Tianfu Avenue, China (Sichuan) Pilot Free Trade Zone, Hi tech Zone, Chengdu, 610000, Sichuan

Patentee after: CHENGDU KNOWNSEC INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 610000, 11th floor, building 2, No. 219, Tianfu Third Street, hi tech Zone, Chengdu, Sichuan Province

Patentee before: CHENGDU KNOWNSEC INFORMATION TECHNOLOGY Co.,Ltd.