CN113411377B - 一种基于大型内容网站dns解析的cdn场景判定方法 - Google Patents

一种基于大型内容网站dns解析的cdn场景判定方法 Download PDF

Info

Publication number
CN113411377B
CN113411377B CN202110530135.9A CN202110530135A CN113411377B CN 113411377 B CN113411377 B CN 113411377B CN 202110530135 A CN202110530135 A CN 202110530135A CN 113411377 B CN113411377 B CN 113411377B
Authority
CN
China
Prior art keywords
ips
cdn
dns server
large content
website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110530135.9A
Other languages
English (en)
Other versions
CN113411377A (zh
Inventor
王永
戚伟
申文凯
李腾飞
任国明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Evan Technology Co.,Ltd.
Original Assignee
Zhengzhou Aiwen Computer Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Aiwen Computer Technology Co ltd filed Critical Zhengzhou Aiwen Computer Technology Co ltd
Priority to CN202110530135.9A priority Critical patent/CN113411377B/zh
Publication of CN113411377A publication Critical patent/CN113411377A/zh
Application granted granted Critical
Publication of CN113411377B publication Critical patent/CN113411377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种基于大型内容网站DNS解析的CDN场景判定方法，步骤1、采集多个来源的全球公开的DNS服务器IP，并筛选获取有效的开放DNS服务器IP；步骤2、利用网络爬虫技术，获取目标数量的大型内容服务网站；步骤3、基于有效的开放DNS服务器IP，获取大型内容服务网站对应的IP，并对获取的IP进行CDN场景判定。本发明提出基于全球开放的DNS服务器，能够获取大型内容服务网站域名所使用的全部IP，并将其判定为CDN场景的IP，实现对CDN场景IP的全面判断。

Description

一种基于大型内容网站DNS解析的CDN场景判定方法
技术领域
本发明涉及IP应用场景划分领域，具体而言，涉及了一种基于大型内容网站DNS解析的CDN场景判定方法。
背景技术
大型内容服务网站往往使用CDN技术，使用户就近获取所需内容，降低网络拥塞，以提高用户访问响应速度和命中率。目前，通过在全球部署探测机器获取大型内容服务网站所使用的IP。但是，这种方法受限于探测机器的数量和地理分布情况，无法获取大型内容服务网站所使用的全部IP，无法全面地判定全球的CND场景IP。
因此，有必要提出一种基于大型内容网站DNS解析的CDN场景判定方法，能够基于全球开放的DNS服务器，获取大型内容网站域名所使用的IP，全面判断CDN场景的IP。
发明内容
为了解决背景技术中所存在的问题，本发明提出了一种基于大型内容网站DNS解析的CDN场景判定方法。
一种基于大型内容网站DNS解析的CDN场景判定方法，包括
步骤1、采集多个来源的全球公开的DNS服务器IP，并筛选获取有效的开放DNS服务器IP；
步骤2、利用网络爬虫技术，获取目标数量的大型内容服务网站；
步骤3、基于有效的开放DNS服务器IP，获取大型内容服务网站对应的IP，并对获取的IP进行CDN场景判定。
基于上述，步骤1中，采集互联网多个来源的全球公开DNS服务器IP列表，在去掉重复的IP后，利用dig工具，获取未使用CDN技术的网站域名对应的IP信息；根据结果到的IP信息，确定全球公开DNS服务器的有效性，去掉不可用的和受污染的流氓DNS服务器IP并获取有效的开放DNS服务器IP。
基于上述，步骤3中，基于有效的全球开放DNS服务器IP，使用dig工具获取大型内容服务网站域名对应的IP；如果一个网站得到了多个不同的IP，则将这些IP判定为CDN场景IP。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明基于全球开放的DNS服务器，能够获取大型内容服务网站域名所使用的全部IP，并将其判定为CDN场景的IP，实现对CDN场景IP的全面判断。
附图说明
图1是本发明的流程示意图。
图2为针对www.ipplus360.com网站，分别使用有效的、不可用的和受污染的流氓DNS服务器进行DNS解析的结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于大型内容网站DNS解析的CDN场景判定方法，以解析大型内容服务网站www.baidu.com为例进行说明。
步骤1、采集多个来源的全球公开的DNS服务器IP，并通过去重复、去掉不可用的、去掉流氓DNS服务器等手段得到有效的开放DNS服务器IP。
首先，采集多个来源的全球公开的DNS服务器IP，得到了如图2中的8.8.8.8、1.11.71.4和103.14.246.1等DNS服务器IP；其次，在去重复的基础上，使用所有的DNS服务器IP解析www.ippplus360.com，根据返回的结果IP，去掉无法得到结果的不可用的DNS服务器IP和返回错误结果的流氓DNS服务器IP(如图2中的1.11.71.4和103.14.246.1)，得到有效的DNS服务器IP。
步骤2、利用网络爬虫技术，通过采集类似Alexa的网站排名发布网站，获取大型内容服务网站。
利用网络爬虫技术，采集类似Alexa的网站排名发布网站，获取排名靠前的前1000个网站，得到了大型内容服务网站https://www.baidu.com/。
步骤3、基于有效的开放DNS服务器IP，获取大型内容服务网站对应的IP，并对获取的IP判定为CDN场景。基于有效的全球开放DNS服务器IP，使用dig工具获取大型内容服务网站域名对应的IP。如果一个网站得到了多个不同的IP，则将这些IP判定为CDN场景IP。否则，网站域名对应的IP不是CDN场景的IP。
基于有效的全球开放DNS服务器IP，使用dig工具获取大型内容服务网站域名www.baidu.com对应的IP,得到www.baidu.com网站对应的IP有103.235.46.39、112.80.248.75和112.80.248.76等，因此，将这些IP判断为CDN场景的IP。
针对图1中所示的动态IP块，使用基于密度的DBSCAN聚类方法对它们的历史基准点数据进行聚类，聚类结果以一个中心位置的经度、纬度和对应的半径表示，如图1中的圈所示的聚类结果，实现对动态IP的定位。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (3)

1.一种基于大型内容网站DNS解析的CDN场景判定方法，其特征在于：包括
步骤1、采集多个来源的全球公开的DNS服务器IP，并筛选获取有效的开放DNS服务器IP；
步骤2、利用网络爬虫技术，获取目标数量的大型内容服务网站；
步骤3、基于有效的开放DNS服务器IP，获取大型内容服务网站对应的IP，并对获取的IP进行CDN场景判定，如果一个网站得到了多个不同的IP，则将这些IP判定为CDN场景IP。
2.根据权利要求1所述的基于大型内容网站DNS解析的CDN场景判定方法，其特征在于：步骤1中，采集互联网多个来源的全球公开DNS服务器IP列表，在去掉重复的IP后，利用dig工具，获取未使用CDN技术的网站域名对应的IP信息；根据结果到的IP信息，确定全球公开DNS服务器的有效性，去掉不可用的和受污染的流氓DNS服务器IP并获取有效的开放DNS服务器IP。
3.根据权利要求1所述的基于大型内容网站DNS解析的CDN场景判定方法，其特征在于：步骤3中，基于有效的全球开放DNS服务器IP，使用dig工具获取大型内容服务网站域名对应的IP；如果一个网站得到了多个不同的IP，则将这些IP判定为CDN场景IP。
CN202110530135.9A 2021-05-14 2021-05-14 一种基于大型内容网站dns解析的cdn场景判定方法 Active CN113411377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110530135.9A CN113411377B (zh) 2021-05-14 2021-05-14 一种基于大型内容网站dns解析的cdn场景判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110530135.9A CN113411377B (zh) 2021-05-14 2021-05-14 一种基于大型内容网站dns解析的cdn场景判定方法

Publications (2)

Publication Number Publication Date
CN113411377A CN113411377A (zh) 2021-09-17
CN113411377B true CN113411377B (zh) 2023-08-18

Family

ID=77678680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110530135.9A Active CN113411377B (zh) 2021-05-14 2021-05-14 一种基于大型内容网站dns解析的cdn场景判定方法

Country Status (1)

Country Link
CN (1) CN113411377B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116132249A (zh) * 2023-01-18 2023-05-16 马上消费金融股份有限公司 网站内容分发网络架构确定方法、装置及可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038363A (zh) * 2013-10-24 2014-09-10 南京汇吉递特网络科技有限公司 一种对ccdn提供商信息进行采集及统计的方法
CN104427005A (zh) * 2013-08-20 2015-03-18 阿里巴巴集团控股有限公司 在cdn上实现请求精确调度的方法及系统
CN106302862A (zh) * 2016-09-28 2017-01-04 大唐软件技术股份有限公司 一种dns递归服务器的收集方法和系统
CN106603734A (zh) * 2015-10-16 2017-04-26 任子行网络技术股份有限公司 Cdn服务ip检测方法和系统
CN107342913A (zh) * 2017-05-24 2017-11-10 恒安嘉新（北京）科技股份公司 一种cdn节点的探测方法和装置
CN107347015A (zh) * 2016-05-06 2017-11-14 阿里巴巴集团控股有限公司 一种内容分发网络的识别方法、装置及系统
CN108090188A (zh) * 2017-12-18 2018-05-29 国家计算机网络与信息安全管理中心 基于海量数据分析挖掘cdn域名的方法
CN108881516A (zh) * 2018-07-27 2018-11-23 网宿科技股份有限公司 一种调度多cdn服务系统的方法和装置
CN109274702A (zh) * 2017-07-12 2019-01-25 武汉安天信息技术有限责任公司 一种网站内容采集方法及装置
CN111510512A (zh) * 2019-08-20 2020-08-07 国家计算机网络与信息安全管理中心 一种快速获取域名所有ip的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012097030A1 (en) * 2011-01-12 2012-07-19 Level 3 Communications, Llc Customized domain names in a content delivery network (cdn)

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427005A (zh) * 2013-08-20 2015-03-18 阿里巴巴集团控股有限公司 在cdn上实现请求精确调度的方法及系统
CN104038363A (zh) * 2013-10-24 2014-09-10 南京汇吉递特网络科技有限公司 一种对ccdn提供商信息进行采集及统计的方法
CN106603734A (zh) * 2015-10-16 2017-04-26 任子行网络技术股份有限公司 Cdn服务ip检测方法和系统
CN107347015A (zh) * 2016-05-06 2017-11-14 阿里巴巴集团控股有限公司 一种内容分发网络的识别方法、装置及系统
CN106302862A (zh) * 2016-09-28 2017-01-04 大唐软件技术股份有限公司 一种dns递归服务器的收集方法和系统
CN107342913A (zh) * 2017-05-24 2017-11-10 恒安嘉新（北京）科技股份公司 一种cdn节点的探测方法和装置
CN109274702A (zh) * 2017-07-12 2019-01-25 武汉安天信息技术有限责任公司 一种网站内容采集方法及装置
CN108090188A (zh) * 2017-12-18 2018-05-29 国家计算机网络与信息安全管理中心 基于海量数据分析挖掘cdn域名的方法
CN108881516A (zh) * 2018-07-27 2018-11-23 网宿科技股份有限公司 一种调度多cdn服务系统的方法和装置
CN111510512A (zh) * 2019-08-20 2020-08-07 国家计算机网络与信息安全管理中心 一种快速获取域名所有ip的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yutaro Inaba ; Yosuke Tanigawa ; Hideki Tode.Content retrieval method in cooperation with CDN and ICN-based in-network guidance over IP network.《2015 IEEE 40th Conference on Local Computer Networks (LCN)》.2016,全文. *

Also Published As

Publication number Publication date
CN113411377A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
Guerreiro et al. Detection of continental-scale intensification of hourly rainfall extremes
Aguilera et al. Application of land use regression modelling to assess the spatial distribution of road traffic noise in three European cities
Wang et al. Towards {Street-Level}{Client-Independent}{IP} Geolocation
US10361931B2 (en) Methods and apparatus to identify an internet domain to which an encrypted network communication is targeted
CN104038363A (zh) 一种对ccdn提供商信息进行采集及统计的方法
RU2702048C1 (ru) Способ анализа источника и адресата интернет-трафика
CN103004102A (zh) 地理定位系统及方法
CN104537105B (zh) 一种基于Web地图的网络实体地标自动挖掘方法
WO2009151739A3 (en) Methods for collecting and analyzing network performance data
CN107342913B (zh) 一种cdn节点的探测方法和装置
CN104572956A (zh) 确定poi信息有效性的系统及方法
CN113411377B (zh) 一种基于大型内容网站dns解析的cdn场景判定方法
EP2692119A1 (en) Non-existent domain names traffic analysis
Chow et al. Geographic disparity of positional errors and matching rate of residential addresses among geocoding solutions
CN104572957A (zh) 一种基于聚类的poi名称确定系统及方法
Ahrabian et al. Data analysis as a web service: A case study using IoT sensor data
CN104202418B (zh) 为内容提供商推荐商业的内容分发网络的方法和系统
Logan et al. Risk of isolation increases the expected burden from sea-level rise
CN109818821B (zh) 一种网站cdn架构的检测方法及装置
Castellana et al. Noise-induced transitions of the Atlantic Meridional Overturning Circulation in CMIP5 models
US20210234790A1 (en) Geolocation system and method
CN103973526B (zh) 基于网络拓扑结构的定位方法及装置
CN104392000B (zh) 确定移动站点抓取配额的方法和装置
CN113590909A (zh) 一种基于多源信息定位域名根镜像节点地理位置的方法
CN107508925A (zh) 一种用于确定ip地址的地域信息的方法与设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No. 608, 6th Floor, Building 2, South Xinghua Science and Technology Industrial Park, West 2nd Street, Jingnan 1st Road, Zhengzhou Economic and Technological Development Zone, Zhengzhou City, Henan Province, 450000

Patentee after: Zhengzhou Evan Technology Co.,Ltd.

Address before: No.608, 6th floor, building 2, South Xinghua science and Technology Industrial Park, No.2 Street West, Jingnan 1st Road, Zhengzhou Economic and Technological Development Zone, Henan Province, 450000

Patentee before: ZHENGZHOU AIWEN COMPUTER TECHNOLOGY CO.,LTD.

CP03 Change of name, title or address