CN113381904B - 轻量级的cdn节点快速检测系统及方法 - Google Patents

轻量级的cdn节点快速检测系统及方法 Download PDF

Info

Publication number
CN113381904B
CN113381904B CN202110544222.XA CN202110544222A CN113381904B CN 113381904 B CN113381904 B CN 113381904B CN 202110544222 A CN202110544222 A CN 202110544222A CN 113381904 B CN113381904 B CN 113381904B
Authority
CN
China
Prior art keywords
domain name
cdn
detection
subsystem
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110544222.XA
Other languages
English (en)
Other versions
CN113381904A (zh
Inventor
许翨
谷大武
刘军荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110544222.XA priority Critical patent/CN113381904B/zh
Publication of CN113381904A publication Critical patent/CN113381904A/zh
Application granted granted Critical
Publication of CN113381904B publication Critical patent/CN113381904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种轻量级的CDN节点快速检测系统，包括：URL域名采集子系统、CDN厂商DNS记录匹配子系统、CNAME记录查询匹配子系统、分布式DNS记录检测子系统、分布式主动检测匹配子系统、ANYCAST节点检测子系统、应用层响应检测子系统和域名重定向检测子系统，本发明能够在不依赖大量数据库的情况下，快速、准确地对目标站点或站点群进行分析和检测，判断目标站点是否使用CDN技术，从而帮助网站的维护人员或是安全审计人员评估网站的安全性状况。

Description

轻量级的CDN节点快速检测系统及方法
技术领域
本发明涉及的是一种计算机网络领域的技术，具体是一种轻量级的CDN节点快速检测系统及方法。
背景技术
内容分发网络(Content Delivery Network，简称CDN)是建立并覆盖在承载网之上，由分布在不同区域的边缘节点服务器群组成的分布式网络。目前判断一个网站是否使用CDN技术进行内容分发和站点防护，依然没有一个快速、准确的通用方法，现有的检测技术大多依赖于大量的IP地址数据库，不具有普遍性，也不适用于大规模测试，同时还缺乏时效性。
发明内容
本发明针对现有技术存在的上述不足，提出一种轻量级的CDN节点快速检测系统及方法，能够在不依赖大量数据库的情况下，快速、准确地对目标站点或站点群进行分析和检测，判断目标站点是否使用CDN技术，从而帮助网站的维护人员或是安全审计人员评估网站的安全性状况。
本发明是通过以下技术方案实现的：
本发明涉及一种轻量级的CDN节点快速检测系统，包括：URL域名采集子系统(URLDomain name Acquisition Subsystem，UDAS)、CDN厂商DNS记录匹配子系统(CDN DNSrecords Matching Subsystem，CDMS)、CNAME记录查询匹配子系统(CNAME records QueryMatching Subsystem，CQMS)、分布式DNS记录检测子系统(Distributed DNS recordsDetection Subsystem, 3DS)、分布式主动检测匹配子系统(Distributed ActiveInspection Matching Subsystem,DAIMS)、 ANYCAST节点检测子系统(Anycast DetectionSubsystem,ADS)、应用层响应检测子系统 (Application layer Responses DetectionSubsystem,ARDS)和域名重定向检测子系统(Domain name Redirection DetectionSubsystem,DRDS)，其中：UDAS接收待测目标信息，建立域名列表并将待测域名信息分别输出至CDMS和CQMS，CDMS根据内置已知的CDN节点查询接口，通过查询待测域名的DNS信息得到其A类型的记录，即当前域名通过DNS系统解析得到的IP 地址从而通过匹配查询接口进行CDN技术判断，CQMS根据内置已知的CNAME集合，通过正则匹配待测域名的CNAME信息并查询CNAME集合进行CDN技术判断，3DS通过若干分布探测节点进行DNS的A类记录检测并通过汇总节点进行CDN技术判断，DAIMS通过若干分布探测节点进行连通性检测并通过汇总节点进行CDN技术判断，ADS根据内置ANYCAST地址集合，通过匹配待测域名的IP地址进行CDN技术判断，ARDS根据内置已知的HTTP响应报头，通过匹配待测域名的探测响应进行CDN技术判断，DRDS根据内置已知的CDN使用的重定向域名集合，通过匹配待测域名的重定向地址进行CDN技术判断。
所述的3DS中每个探测节点各自单独获取待测域名DNS中的A类记录，并将结果向汇总节点传输，汇总节点在收集到探测节点回传的数据后进行判断，当返回的A类记录值并不一致且数量超过阈值，则认为待测域名使用CDN技术，否则需要进一步判断。
所述的DAIMS中每个探测节点检测待测域名的连通性状况(比如使用PING命令)，并将收到的响应结果向汇总节点传输，汇总节点在收集到由探测节点回传的数据之后进行判断，当返回的响应IP地址内容不同且数量超过阈值，则认为待测域名使用CDN技术，否则需要进行下一步判断。
本发明涉及上述系统的轻量级的CDN节点快速检测方法，具体包括：
步骤1)通过I/O设备向UDAS传入一个或一组待测的域名，UDAS提取出域名中的有效部分并且同时向CDMS和CQMS传递；
步骤2)CDMS使用已知且公开的(例如各大CDN厂商官方提供的)CDN节点检测接口(API) 进行匹配，当检查是CDN节点时，则直接返回待测域名使用CDN技术，否则需要进一步判断；
步骤3)CQMS使用已知且公开的(例如各大CDN厂商在官方说明文档中可以查询到的)CNAME信息，当检查符合CDN厂商所公开的CNAME信息时，则直接返回待测域名使用CDN技术，否则需要进一步判断；
步骤4)3DS通过分布在不同位置的探测节点发送DNS解析请求，并将返回的地址记录传送到汇总节点上，由汇总节点根据出现不同记录的个数主动实时检测待测域名是否使用了 CDN技术，当各探测点返回的结果均相同或低于判断阈值时，则需要进一步判断；
步骤5)DAIMS通过分布在不同位置的探测节点发送连通性请求(如PING命令)，并将返回的地址记录传送到汇总节点上，由汇总节点根据出现不同记录的个数主动实时检测待测域名是否使用了CDN技术，当各探测点返回的结果均相同或低于判断阈值时，则需要进一步判断；
步骤6)ADS将待测域名的响应IP地址与ANYCAST地址数据库中的值进行比较，当匹配成功，则说明该域名使用CDN技术，否则需要进一步判断；
步骤7)ARDS通过检测节点向待测域名发送HTTP请求，对接收到的HTTP响应进行主动实时内容匹配，当出现预先设置的关键字如X-Cache、X-CDN等，则说明该域名使用CDN技术，否则需要进一步判断；
步骤8)DRDS通过检测节点向待测域名发送访问请求，当待测域名使用重定向设置，则检测节点跟随跳转并记录跳转的域名，然后主动实时检查所有跳转的域名中是否含有预先设置的关键字如*cdn.com等，若找到匹配则说明该域名使用了CDN技术，否则认为该域名没有使用CDN，结束判断。
技术效果
本发明整体解决现有CDN节点检测技术在测试准确性、时效性和适用范围上的不足：现在CDN节点检测技术大多只能依靠海量数据库作为判断依据，数据的更新周期有限，不能实时对目标进行CDN节点检测，而测试结果的准确性则严重依赖于IP地址数据库的准确程度；同时由于现有的检测技术没有采用通用型的检测方法，因此适用的范围是有限的，对于小众的 CDN提供商或是自建系统，则不能提供有效的检测结果。
与现有技术相比，本发明对CDN在现实环境中的技术特点和表现形式进行了分类和总结，针对CDN所有可能的表现形式和技术特点确定检测子方法，结果准确性高同时误报率低。本发明采用了主动探测与被动监控相结合的方式改善了现有技术在时效性上的不足，同时较少地使用数据库来源的内容可以使检测方法更具轻量性。
附图说明
图1为本发明系统示意图；
图2为实施例应用示意图。
具体实施方式
如图1所示，为本实施例涉及一种轻量级的CDN节点快速检测系统，包括：用于收集待检测的域名信息，并将采集到的域名地址存储到域名库中，并建立相应表项的URL域名采集子系统、用于检测待测域名的直接响应IP地址是否属于CDN的加速节点，通过调用CDN官方提供的测试接口(API)可以对单个IP地址进行准确的分类判断的CDN厂商DNS记录匹配子系统、用于获取待测域名的CNAME记录，然后与CDN常见的CNAME进行匹配，当满足条件则直接认为待测域名使用CDN技术，当不满足则传入下一子系统继续判断的CNAME记录查询匹配子系统、包括多个地理位置分离的探测节点，用于初步判断被测域名是否满足CDN的主要特征，当探测节点返回结果的不同个数超过阈值，则认为待测域名使用CDN技术，否则进入下一个子系统继续判断的分布式DNS记录检测子系统、通过分布在多地的探测节点向待测域名发送PING 请求，根据接收到响应的地址判断是否使用CDN的分布式主动检测匹配子系统、用于检测那些使用ANYCAST技术的CDN域名的ANYCAST节点检测子系统、用于从应用层的响应信息检测判断域名是否使用CDN技术的应用层响应检测子系统以及用于检测那些使用CDN重定向的域名的域名重定向检测子系统。
经过具体实际实验，在如图2所示的1vCPU 2GiB,CentOS 7.364-bit,and 1Mbpsof bandwidth的具体环境设置下，本实例对教育网内112所重点高校的所有子域名站点进行测试，能够得到的实验数据是：所有待检测的域名有31681个，其中处于可连接状态下的有19533 个，通过本发明对这19533个域名进行测试后，其中有591个域名被判定接入了CDN技术。通过对测试结果进行人工核验后发现，实际接入CDN的域名有579个，误报的域名有12个， CDN节点检测正确率97.9％。其中产生误差的主要原因包括：没有正确区分出采用负载均衡的情况(4例)、系统产生误报(1例)，分布式探测节点连接请求失败(3例)、域名的DNS配置不正确(4例)。
综上，本发明通过应用层响应检测子系统ARDS收集和对比HTTP响应头的内容在应用层上判断待测节点是否具有CDN的特征。与之前方法通过网络层IP地址判断相比，ARDS的检测粒度更小，精细化程度更高，还可以结合人工智能等方法对HTTP响应报头进行语义分析，判断目标站点是否使用了CDN技术。本发明提出的方法一方面可以规避IP地址复用带来的模糊效应，同时还能提高CDN节点的检出效率。相比现有技术，本方法的系统配置要求低，不依赖于高性能的处理器，同时检测速度快，单个域名的平均检测时间为40秒，最佳实践下可以在1秒内得到检测结果。与现有技术相比，本方法适应性较好，能够用于分布模式下大规模的检测，同时检测的代价低，不会占用大量的网络带宽。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (3)

1.一种轻量级的CDN节点快速检测系统的CDN节点快速检测方法，其特征在于，所述的检测系统包括：URL域名采集子系统、CDN厂商DNS记录匹配子系统、CNAME记录查询匹配子系统、分布式DNS记录检测子系统、分布式主动检测匹配子系统、ANYCAST节点检测子系统、应用层响应检测子系统和域名重定向检测子系统，其中：URL域名采集子系统接收待测目标信息，建立域名列表并将待测域名信息分别输出至CDN厂商DNS记录匹配子系统和CNAME记录查询匹配子系统，CDN厂商DNS记录匹配子系统根据内置已知的CDN节点查询接口，通过查询待测域名的DNS信息得到其A类记录，即当前域名通过DNS系统解析得到的IP地址从而通过匹配查询接口进行CDN技术判断，CNAME记录查询匹配子系统根据内置已知的CNAME集合，通过匹配待测域名的CNAME信息并查询CNAME集合进行CDN技术判断，分布式DNS记录检测子系统通过若干分布探测节点进行DNS的A类记录查询并通过汇总节点实施CDN技术判断，分布式主动检测匹配子系统通过若干分布探测节点进行连通性检测并通过汇总节点进行CDN技术判断，ANYCAST节点检测子系统根据内置ANYCAST地址集合，通过匹配待测域名的IP地址进行CDN技术判断，应用层响应检测子系统根据内置已知的HTTP响应报头，通过匹配待测域名的探测响应进行CDN技术判断，域名重定向检测子系统根据内置已知的CDN使用的重定向域名集合，通过匹配待测域名的重定向地址进行CDN技术判断；
所述的CDN节点快速检测方法具体包括：
步骤1)通过I/O设备向URL域名采集子系统传入一个或一组待测的域名，URL域名采集子系统提取出域名中的有效部分并且同时向CDN厂商DNS记录匹配子系统和CNAME记录查询匹配子系统传递；
步骤2)CDN厂商DNS记录匹配子系统使用已知且公开的CDN节点检测接口(API)进行匹配，当检查是CDN节点时，则直接返回待测域名使用CDN技术，否则需要进一步判断；
步骤3)CNAME记录查询匹配子系统使用已知且公开的CNAME信息进行正则匹配，当检查符合CDN厂商所公开的CNAME信息时，则直接返回待测域名使用CDN技术，否则需要进一步判断；
步骤4)分布式DNS记录检测子系统通过分布在不同位置的探测节点发送DNS解析请求，并将返回的地址记录传送到汇总节点上，由汇总节点根据出现不同记录的个数主动实时检测是否使用CDN技术，当各探测点返回的结果均相同或低于判断阈值则需要进一步判断；
步骤5)分布式主动检测匹配子系统通过分布在不同位置的探测节点发送连通性请求，并将返回的地址记录传送到汇总节点上，由汇总节点根据出现不同记录的个数主动实时检测是否使用CDN技术，当各探测点返回的结果均相同或低于判断阈值则需要进一步判断；
步骤6)ANYCAST节点检测子系统将待测域名的响应IP地址与ANYCAST地址数据库进行比较，当匹配成功，则说明该域名使用CDN技术，否则需要进一步判断；
步骤7)应用层响应检测子系统通过检测节点向待测域名发送HTTP请求，对接收到的HTTP响应进行主动实时内容匹配，当出现预先设置的关键字，则说明该域名使用CDN技术，否则需要进一步判断；
步骤8)域名重定向检测子系统通过检测节点向待测域名发送访问请求，当待测域名使用重定向设置，则检测节点跟随跳转并记录跳转的域名，然后主动实时检查所有跳转的域名中是否含有预先设置的关键字，当有则说明该域名使用CDN，否则认为该域名没有使用CDN，结束判断。
2.根据权利要求1所述的CDN节点快速检测方法，其特征是，所述的分布式DNS记录检测子系统中每个探测节点各自单独获取待测域名DNS中的A类记录，并将结果向汇总节点传输，汇总节点在收集到探测节点回传的数据后进行判断，当返回的A记录地址并不一致且数量超过阈值，则认为待测域名使用CDN技术，否则需要进一步判断。
3.根据权利要求1所述的CDN节点快速检测方法，其特征是，所述的分布式主动检测匹配子系统中每个探测节点检测待测域名的连通性状况，并将收到的响应结果向汇总节点传输，汇总节点在收集到由探测节点回传的数据之后进行判断，当返回的响应IP地址内容不同且数量超过阈值，则认为待测域名使用CDN技术，否则需要进行下一步判断。
CN202110544222.XA 2021-05-19 2021-05-19 轻量级的cdn节点快速检测系统及方法 Active CN113381904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110544222.XA CN113381904B (zh) 2021-05-19 2021-05-19 轻量级的cdn节点快速检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110544222.XA CN113381904B (zh) 2021-05-19 2021-05-19 轻量级的cdn节点快速检测系统及方法

Publications (2)

Publication Number Publication Date
CN113381904A CN113381904A (zh) 2021-09-10
CN113381904B true CN113381904B (zh) 2022-06-21

Family

ID=77571311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110544222.XA Active CN113381904B (zh) 2021-05-19 2021-05-19 轻量级的cdn节点快速检测系统及方法

Country Status (1)

Country Link
CN (1) CN113381904B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115361358B (zh) * 2022-08-19 2024-02-06 山石网科通信技术股份有限公司 Ip的提取方法、装置、存储介质及电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741643A (zh) * 2009-12-24 2010-06-16 北京世纪互联宽带数据中心有限公司 内容分发网络节点检测方法及系统
CN105025025A (zh) * 2015-07-22 2015-11-04 国家计算机网络与信息安全管理中心 一种基于云平台的域名主动检测方法和系统
CN107342913A (zh) * 2017-05-24 2017-11-10 恒安嘉新（北京）科技股份公司 一种cdn节点的探测方法和装置
CN107347015A (zh) * 2016-05-06 2017-11-14 阿里巴巴集团控股有限公司 一种内容分发网络的识别方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10069787B2 (en) * 2014-04-01 2018-09-04 Cloudflare, Inc. Domain name system CNAME record management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741643A (zh) * 2009-12-24 2010-06-16 北京世纪互联宽带数据中心有限公司 内容分发网络节点检测方法及系统
CN105025025A (zh) * 2015-07-22 2015-11-04 国家计算机网络与信息安全管理中心 一种基于云平台的域名主动检测方法和系统
CN107347015A (zh) * 2016-05-06 2017-11-14 阿里巴巴集团控股有限公司 一种内容分发网络的识别方法、装置及系统
CN107342913A (zh) * 2017-05-24 2017-11-10 恒安嘉新（北京）科技股份公司 一种cdn节点的探测方法和装置

Also Published As

Publication number Publication date
CN113381904A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN102761449B (zh) 一种web服务性能分析方法和装置
CN108702397A (zh) 一种获取并收集客户端本地dns服务器的方法以及系统
CN109150561B (zh) 一种域名系统解析配置方法、装置和系统
CN107342913B (zh) 一种cdn节点的探测方法和装置
CN113381904B (zh) 轻量级的cdn节点快速检测系统及方法
CN105072120A (zh) 基于域名服务状态分析的恶意域名检测方法及装置
CN114244564B (zh) 攻击防御方法、装置、设备及可读存储介质
CN109905288A (zh) 一种应用服务分类方法及装置
CN111031025B (zh) 一种自动化检测验证Webshell的方法及装置
CN109165334A (zh) 一种建立cdn厂家基础知识库的方法
CN115134099A (zh) 基于全流量的网络攻击行为分析方法及装置
CN109729058B (zh) 一种流量劫持分析方法和装置
CN107147662B (zh) 域名劫持发现的方法
CN106453256A (zh) 具有自动学习功能的密码特征库系统及其学习方法
CN110955544A (zh) 一种web系统的可用性检测方法、装置及系统
CN109597869A (zh) 恶意网站制作的犯罪团伙筛选方法
CN110311888A (zh) 一种Web异常流量检测方法、装置、设备及介质
CN111786990B (zh) 一种针对web主动推送跳转页面的防御方法和系统
CN103475531A (zh) 异常处理方法、自动巡检控制台和知识库系统
CN105763391A (zh) 一种会话数据流处理系统、方法和相关设备
CN111294257A (zh) 应用服务器自动压力测试的方法、装置和系统
CN110769076A (zh) 一种dns测试方法和系统
CN110661677B (zh) 一种dns测试方法、装置和系统
CN111865724B (zh) 视频监控设备信息采集控制实现方法
CN106506727B (zh) 一种定位域名解析错误的本地域名系统的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant