CN112153171B - 域名的建站情况探测系统和探测方法 - Google Patents

域名的建站情况探测系统和探测方法 Download PDF

Info

Publication number
CN112153171B
CN112153171B CN202011023919.4A CN202011023919A CN112153171B CN 112153171 B CN112153171 B CN 112153171B CN 202011023919 A CN202011023919 A CN 202011023919A CN 112153171 B CN112153171 B CN 112153171B
Authority
CN
China
Prior art keywords
domain name
detection
list
database
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011023919.4A
Other languages
English (en)
Other versions
CN112153171A (zh
Inventor
郭汉磊
高雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INTERNET DOMAIN NAME SYSTEM BEIJING ENGINEERING RESEARCH CENTER
Original Assignee
INTERNET DOMAIN NAME SYSTEM BEIJING ENGINEERING RESEARCH CENTER
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INTERNET DOMAIN NAME SYSTEM BEIJING ENGINEERING RESEARCH CENTER filed Critical INTERNET DOMAIN NAME SYSTEM BEIJING ENGINEERING RESEARCH CENTER
Priority to CN202011023919.4A priority Critical patent/CN112153171B/zh
Publication of CN112153171A publication Critical patent/CN112153171A/zh
Application granted granted Critical
Publication of CN112153171B publication Critical patent/CN112153171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/50Address allocation
    • H04L61/5046Resolving address allocation conflicts; Testing of addresses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/562Brokering proxy services
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种域名的建站情况探测系统和探测方法,通过域名探测生产者从第一数据库中获取域名列表,并对域名列表中的域名进行补全,得到域名地址列表。之后将域名地址列表部署在消息中间件中,每个探测节点在检测到访问消息时从消息中间件中消费域名地址列表中的域名地址,并探测获取域名地址的建站情况。得到探测结果后反馈至消息中间件中,域名探测生产者从消息中间件中获取对各个探测节点反馈的探测结果,并将探测结果存储至第二数据库。在该技术方案中,当有大量域名需要探测时,通过每个探测节点从消息中间件中消费域名地址,探测获取域名地址的建站情况并得到探测结果,节省了时间,提高了准确率和效率。

Description

域名的建站情况探测系统和探测方法
技术领域
本申请涉及通信技术领域,尤其涉及一种域名的建站情况探测系统和探测方法。
背景技术
随着互联网的飞速发展,越来越多的人选择通过网络进行通讯联系或获取资讯。在网络访问过程中域名主要是实现域名到网际互连协议(Internet Protocol,IP)对应关系的解析,能够使网络使用者更方便的访问网络中的应用服务,而不用去记忆复杂的IP地址内容。然而,有些域名并没有架设网络,还有些域名虽然表面上看起来有网页展示,但实际上却展示的是像广告、垃圾信息等之类的信息,容易造成域名资源的浪费。因此探测域名是否有架设网站是非常有必要的。
现有技术中,检测该域名是否建站主要通过获取指令集数据目录文件后并从中解析出域名列表,检查域名是否存在域名服务器(Name Server,NS)记录来判断域名是否建站。
然而,现有的检测方法准确度较低,且当有大量域名需要探测时,会耗费大量时间,效率较低。
发明内容
本申请提供一种域名的建站情况探测系统和探测方法,用于解决现有的检测方法准确度较低,且当有大量域名需要探测时,会耗费大量时间,效率较低的问题。
第一方面,本申请实施例提供一种域名的建站情况探测系统,包括:
域名列表采集装置,第一数据库,第二数据库,分布式建站探测系统;
所述第一数据库用于存储所述域名列表采集装置采集获取到的域名列表;所述第二数据库用于存储所述分布式建站探测系统探测得到的探测结果;
其中,所述分布式建站探测系统包括:域名探测生产者,消息中间件以及多个探测节点;所述域名探测生产者用于从所述第一数据库中获取域名列表,并基于所述域名列表生成域名地址列表,将所述域名地址列表中的域名地址部署在所述消息中间件中;每个探测节点在有消息时从所述消息中间件中消费域名地址,探测所述域名地址的建站情况,得到探测结果;每个探测节点在得到探测结果之后将所述探测结果返回所述消息中间件中,所述域名探测生产者从所述消息中间件中获取对各个探测节点反馈的探测结果,并将获取到的探测结果存储在所述第二数据库中。
可选的,所述第一数据库和所述第二数据库为同一数据库或者不同数据库。
在一种具体的实现方式中,所述消息中间件包括:探测命令队列和探测结果队列,所述探测命令队列用于部署所述域名地址列表,所述探测结果队列用于部署各个探测节点反馈的探测结果。
在一种具体的实现方式中,所述域名的建站情况探测系统还包括:
统计设备,所述统计设备用于从所述第二数据库中获取对所述域名列表的探测结果,并根据对所述域名列表的探测结果获取建站率和/或域名停靠情况。
第二方面,本申请实施例提供一种域名的建站情况探测方法,包括:
域名探测生产者从第一数据库中获取域名列表,并对所述域名列表中的域名进行补全,得到域名地址列表;
所述域名探测生产者将所述域名地址列表部署在消息中间件中;
每个探测节点在检测到访问消息时从所述消息中间件中消费所述域名地址列表中的域名地址,并探测获取所述域名地址的建站情况得到探测结果;
每个探测节点将得到的探测结果反馈至所述消息中间件中;
所述域名探测生产者从所述消息中间件中获取对各个探测节点反馈的探测结果,并将所述探测结果存储至第二数据库。
可选的,所述第一数据库和所述第二数据库为同一数据库或者不同数据库。
在一种具体的实现方式中,所述消息中间件包括:探测命令队列和探测结果队列,则所述域名探测生产者将所述域名地址列表部署在消息中间件中,包括:
所述域名探测生产者将所述域名地址列表部署在所述探测命令队列中;
相应的,所述每个探测节点将得到的探测结果反馈至所述消息中间件中,包括:
每个探测节点将得到的探测结果反馈至所述探测结果队列中。
在一种具体的实现方式中,所述域名探测生产者从第一数据库中获取域名列表之前,所述方法还包括:
域名列表采集装置解析下载得到的数据目录文件,获取所述域名列表;
所述域名列表采集装置将所述域名列表存储至所述第一数据库。
在一种具体的实现方式中,所述方法还包括:
域名列表采集装置从所述第二数据库中获取对所述域名列表的探测结果;
所述域名列表采集装置根据对所述域名列表的探测结果获取建站率和/或域名停靠情况。
在一种具体的实现方式中,所述域名的建站情况探测系统还包括统计设备;则所述方法还包括:
所述统计设备从所述第二数据中获取对所述域名列表的探测结果;
所述统计设备根据对所述域名列表的探测结果获取建站率和/或域名停靠情况。
本申请实施例提供的域名的建站情况探测系统和探测方法,通过域名探测生产者从第一数据库中获取域名列表,并对域名列表中的域名进行补全,得到域名地址列表。之后,将域名地址列表部署在消息中间件中,每个探测节点在检测到访问消息时从消息中间件中消费域名地址列表中的域名地址,并探测获取域名地址的建站情况。得到探测结果后反馈至消息中间件中,域名探测生产者从消息中间件中获取对各个探测节点反馈的探测结果,并将探测结果存储至第二数据库。在该技术方案中,当有大量域名需要探测时,通过每个探测节点从消息中间件中消费域名地址,探测获取域名地址的建站情况并得到探测结果,代替了通过检查域名是否存在NS记录来判断域名是否建站的过程,节省了时间,提高了准确率和效率。
附图说明
图1为本申请实施例提供的域名的建站情况探测系统实施例一的结构示意图;
图2为本申请实施例提供的域名的建站情况探测系统另一实施例的结构示意图;
图3为本申请实施例提供域名的建站情况探测方法实施例一的流程示意图;
图4为本申请实施例提供域名的建站情况探测方法另一实施例的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着社会经济的快速发展和科学技术的不断进步,互联网的出现打破了传统信息交互的时空局限性,让人们充分共享到全社会的智慧。作为一种新的信息传播载体,互联网改变了人类的生活和生产方式,引发了空前的信息和产业革命。在网络访问过程中域名主要是实现域名到IP对应关系的解析,方便网络使用者访问网络中的应用服务。然而,有一些域名并没有架设网络,还有一些域名表面上看起来有网页展示,但是其实展示的是一些像广告、垃圾信息等之类的信息,会造成域名资源的浪费。现有技术中,检测该域名是否建站主要通过获取指令集数据目录文件后并从中解析出域名列表,检查域名是否存在NS记录来判断域名是否建站。但该方法准确度较低,且当有大量域名需要探测时,会耗费大量时间,效率较低。
针对上述问题,本申请实施例提供了一种域名的建站情况探测系统和探测方法,通过域名探测生产者从第一数据库中获取域名列表,并对域名列表中的域名进行补全,得到域名地址列表。之后,将域名地址列表部署在消息中间件中,每个探测节点在检测到访问消息时从消息中间件中消费域名地址列表中的域名地址,并探测获取域名地址的建站情况。得到探测结果后反馈至消息中间件中,域名探测生产者从消息中间件中获取对各个探测节点反馈的探测结果,并将探测结果存储至第二数据库。在该技术方案中,当有大量域名需要探测时,通过每个探测节点从消息中间件中消费域名地址,探测获取域名地址的建站情况并得到探测结果,代替了通过检查域名是否存在NS记录来判断域名是否建站的过程,节省了时间,提高了准确率和效率。
下面,通过具体实施例对本申请的技术方案进行详细说明。
需要说明的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图1为本申请实施例提供的域名的建站情况探测系统实施例一的结构示意图。如图1所示,该域名的建站情况探测系统包括如下装置:
域名列表采集装置110,第一数据库120,第二数据库130,分布式建站探测系统140,统计设备150。
在本申请实施例中,分布式建站探测系统140包括域名探测生产者141,消息中间件142以及多个探测节点143。
分布式建站探测系统140主要用于从第一数据库120中获取域名列表,并基于域名列表生成域名地址列表,探测域名地址的建站情况得到探测结果,并将探测结果发送到探测系统140进行储存。
具体来说,域名探测生产者141主要用于周期性从第一数据库120获取域名列表,将域名列表中不完整的域名补充完整,举例来说,如发现域名列表中的存在一个域名地址为www.example,则将该域名地址补全,生成完整的域名地址www.example.com。再比如说,如发现域名列表中的存在一个域名地址为example.com,则将该域名地址补全,生成完整的域名地址http://example.com、http://www.example.com、https//:example.com以及https://www.example.com。将域名地址补全后生成相应的域名地址列表,部署在消息中间件142的探测命令队列中。
域名探测生产者141还用于获取消息中间件142探测结果队列中各个探测节点143反馈的探测结果,并将探测结果发送至第二数据库130进行储存。
消息中间件142包括探测命令队列和探测结果队列两个部分,其中,探测命令队列主要用于接收并部署域名探测生产者141发送的域名地址列表,方便每个探测节点143提取域名地址;探测结果队列主要用于接收每个探测节点143对域名地址建站情况的检测结果,方便域名探测生产者141获取各个探测节点143反馈的探测结果。
在本实施例中,消息中间件142可以采用RocketMQ消息中间件。RocketMQ消息中间件是一款分布式、队列模型的消息中间件,天然支持集群模型,消费者负载均衡、水平扩展能力,支持广播模式和集群模式。是阿里巴巴集团自主研发的专业消息中间件,借鉴参考了JMS规范的MQ实现,实现了业务消峰、分布式事务的优秀框架。基于它的分布式特性构建分布式域名建站情况探测集群,能够实现大规模域名建站率探测。本方案仅以RocketMQ消息中间件作为举例说明,不做具体限制。
探测节点143主要用于探测域名地址的建站情况并反馈到消息中间件142探测结果队列中。具体来说,域名地址列表部署到消息中间件142探测命令队列中的信息后,向探测节点143发起访问。探测节点143检测到有访问信息后,从消息中间件142探测命令队列中部署好的域名地址列表中消费域名地址,探测域名地址的建站情况,得到检测结果。具体的,通过使用WebClient发起对目标域名和该域名的www子域名(如:example和www.example.com)的http和https访问(如:example和http://example.com、http://www.example.com、https//:example.com、https://www.example.com)。当该域名的域名、www子域名的http、https协议的组合返回状态码为http 200时,则认为该域名有建站。获取到检测结果后,将该检测结果反馈到消息中间件142的探测结果队列中。WebClient是个非阻塞响应超文本传输协议(HyperText Transfer Protocol,HTTP)协议请求客户端框架。它相比传统上使用的HttpClient框架具有应用程序接口(Application ProgrammingInterface,API)简易、清晰的特性。
在本申请实施例中,域名列表采集装置110主要用于周期性从中央区域数据系统(Centralized Zone Data Service,CZDS)中下载数据目录文件,之后从下载下来的数据目录文件中解析出域名列表,并将域名列表周期性发送到第一数据库120进行储存。
第一数据库120主要用于接收域名列表采集装置110发送的域名列表并储存。第二数据库130用于接收消息中间件142探测结果队列发送的检测结果并存储。可选的,第一数据库120和第二数据库130可以是不同数据库,也可以是同一数据库的不同分区,本方案对此不做限制。
统计设备150主要用于从第二数据库130中获取该域名列表中的探测结果,分别进行统计计算,获取建站率和/或域名停靠情况。其中,建站率指的是探测域名中已建站域名占总探测域名的百分比;域名停靠情况指的是有一些站点存在表面上看起来有网页展示,但是实际却展示的是像广告、垃圾信息等信息的情况。具体的,统计设备150从第二数据库130中获取该域名列表中的探测结果,统计所有探测域名的总数量和已建站域名的数量,计算已建站域名的数量占所有探测域名的总数量的百分比,得到建站率。获取已建站域名下页面的内容,并提取该页面下所有的超链接并进行分析。当该页面上80%的超链接数量都不是链接到探测域名时,则认为该站点存在域名停靠情况。
图2为本申请实施例提供的域名的建站情况探测系统另一实施例的结构示意图。从图2中可以看出,域名列表采集装置需要周期性从CZDS中下载数据目录文件,并从下载下来的数据目录文件中解析出域名列表。将域名列表发送至分布式建站探测系统,分布式建站探测系统中的域名探测生产者获取域名列表,并对域名列表中的域名进行补全,得到域名地址列表。将域名地址部署到消息中间件探测命令队列中。多个探测节点对消息中间件探测命令队列中的域名进行消费,探测节点消费到域名后,对域名进行是否建站情况的探测,获取得到探测结果,并将结果反馈到消息中间件的探测结果队列中。域名探测生产者获取消息中间件探测结果队列中各个探测节点反馈的探测结果,分别进行统计计算,获取建站率和/或域名停靠情况,生成统计报告。
本申请实施例提供的域名的建站情况探测系统,域名探测生产者从第一数据库中获取域名列表,通过对域名列表中的域名进行补全,从而得到域名地址列表,之后将域名地址列表部署在消息中间件中。每个探测节点在检测到访问消息时从消息中间件中消费域名地址列表中的域名地址,并探测获取域名地址的建站情况得到探测结果并反馈至消息中间件中,域名探测生产者从消息中间件中获取对各个探测节点反馈的探测结果,并将探测结果存储至第二数据库。当有大量域名需要探测的时候,多个探测节点可以同时工作,节省了时间,提高了准确率和效率。
图3为本申请实施例提供的域名的建站情况探测方法实施例一的流程示意图,具体步骤如下:
S101:获取域名列表,并对域名列表中的域名进行补全,得到域名地址列表。
在本实施例中,域名列表采集装置需要周期性从CZDS中下载数据目录文件,之后从下载下来的数据目录文件中解析出域名列表,并将域名列表周期性发送到第一数据库进行储存,方便后续对域名列表中的域名地址进行检测。
第一数据库主要用于接收域名列表采集装置发送的域名列表并储存。
在本步骤中,域名探测生产者周期性从第一数据库获取域名列表,将域名列表中不完整的域名补充完整。举例来说,如发现域名列表中的存在一个域名地址为www.example,则将该域名地址补全,生成完整的域名地址www.example.com。再比如说,如发现域名列表中的存在一个域名地址为example.com,则将该域名地址补全,生成完整的域名地址http://example.com、http://www.example.com、https//:example.com以及https://www.example.com。将域名地址补全后,将所有域名地址进行统计,生成相域名地址列表。
S102:将域名地址列表部署在消息中间件中。
在本步骤中,消息中间件包括探测命令队列和探测结果队列两个部分,其中,探测命令队列主要用于接收并部署域名探测生产者发送的域名地址列表,方便每个探测节点提取域名地址;探测结果队列主要用于接收每个探测节点对域名地址建站情况的检测结果,方便域名探测生产者获取对各个探测节点反馈的探测结果。
域名探测生产者生成域名列表后,将域名列表部署在消息中间件的探测命令队列中,方便探测节点对域名地址进行消费。
S103:在检测到访问消息时从消息中间件中消费域名地址列表中的域名地址,并探测获取域名地址的建站情况得到探测结果。
在本步骤中,分布式建站探测系统里包含多个探测节点,多个探测检点同时工作,能够有效提高检测效率,减少检测时间。域名地址列表部署到消息中间件探测命令队列中后,向探测节点发起访问。探测节点检测到有访问信息后,从消息中间件部署好的域名地址列表中获取域名地址信息,探测该域名地址的建站情况,得到检测结果。具体的,通过使用WebClient发起对目标域名和该域名的www子域名(如:example和www.example.com)的http和https访问(如:example和http://example.com、http://www.example.com、https//:example.com、https://www.example.com)。当该域名的域名、www子域名的http、https协议的组合返回状态码为http 200时,则认为该域名有建站。
S104:将得到的探测结果反馈至消息中间件中。
在本步骤中,各个探测节点获得探测结果后,将该结果发送至域到消息中间件的探测结果队列中。中间件的探测结果队列接收探测结果并进行保存,方便域名探测生产者获取该探测结果。
S105:获取对各个探测节点反馈的探测结果,并将探测结果存储至第二数据库。
在本步骤中,域名探测生产者从消息中间件的探测结果队列中获取对各个探测节点反馈的探测结果,将探测结果发送给第二数据库,第二数据库接收并保存探测结果。
第二数据库用于接收消息中间件探测结果队列发送的检测结果并存储。可选的,第一数据库和第二数据库可以是不同数据库,也可以是同一数据库的不同分区,本方案对此不做限制。
统计设备从第二数据库中获取该域名列表中的探测结果,分别进行统计计算,获取建站率和/或域名停靠情况。具体的,统计设备从第二数据库中获取该域名列表中的探测结果,统计所有探测域名的总数量和已建站域名的数量,计算已建站域名的数量占所有探测域名的总数量的百分比,得到建站率。获取已建站域名下页面的内容,并提取该页面下所有的超链接并进行分析。当该页面上80%的超链接数量都不是链接到该探测域名时,则认为该站点存在域名停靠情况。
图4为本申请实施例提供域名的建站情况探测方法另一实施例的流程示意图,如图4所示,第一步,域名列表采集模块从CZDS中下载数据目录文件。第二步,域名列表采集模块从下载下来的数据目录文件中解析出域名列表。第三步,域名列表采集模块将域名列表存入第一数据库。第四步,域名探测生产者从第一数据库获取域名列表,将域名列表中不完整的域名补全,生成相应的域名地址列表。第五步,域名探测生产者将域名地址列表部署在消息中间件的探测命令队列中,向探测节点发起访问。第六步,探测节点检测到有访问信息后,使用WebClient发起对目标域名和该域名的www子域名的http和https访问。当该域名的域名、www子域名的http、https协议的组合返回状态码为http 200时,则认为该域名有建站。第六步,消息中间件将该检测结果反馈到消息中间件的探测结果队列中。第七步,域名探测生产者获取消息中间件探测结果队列中各个探测节点反馈的探测结果,并将探测结果发送至第二数据库进行储存。第八步,对探测结果进行统计计算,获取建站率和/或域名停靠情况,生成相应报告。
本申请实施例提供的域名的建站情况探测方法,通过域名探测生产者从第一数据库中获取域名列表,并对域名列表中的域名进行补全,得到域名地址列表。之后将域名地址列表部署在消息中间件中,每个探测节点在检测到访问消息时从消息中间件中消费域名地址列表中的域名地址,并探测获取域名地址的建站情况得到探测结果并反馈至消息中间件中,域名探测生产者从消息中间件中获取对各个探测节点反馈的探测结果,并将探测结果存储至第二数据库。通过每个探测节点从消息中间件中消费域名地址,探测获取域名地址的建站情况并得到探测结果,节省了时间,提高了准确率和效率。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘solid state disk,SSD)等。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系;在公式中,字符“/”,表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中,a,b,c可以是单个,也可以是多个。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。在本申请的实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种域名的建站情况探测系统,其特征在于,包括:
域名列表采集装置,第一数据库,第二数据库,分布式建站探测系统;
所述第一数据库用于存储所述域名列表采集装置采集获取到的域名列表;所述第二数据库用于存储所述分布式建站探测系统探测得到的探测结果;
其中,所述分布式建站探测系统包括:域名探测生产者,消息中间件以及多个探测节点;所述域名探测生产者用于周期性从所述第一数据库中获取域名列表,并对所述域名列表中的域名进行补全,基于所述域名列表生成域名地址列表,将所述域名地址列表中的域名地址部署在所述消息中间件中;每个探测节点在有消息时从所述消息中间件中消费域名地址,探测所述域名地址的建站情况,得到探测结果;每个探测节点在得到探测结果之后将所述探测结果返回所述消息中间件中,所述域名探测生产者从所述消息中间件中获取对各个探测节点反馈的探测结果,并将获取到的探测结果存储在所述第二数据库中,其中,每个探测节点在有消息时从所述消息中间件中消费域名地址,探测所述域名地址的建站情况具体为:
通过使用WebClient发起对目标域名和域名的www子域名的http和https访问;
当所述域名的域名、www子域名的http、https协议的组合返回状态码为http 200时,则所述域名有建站。
2.根据权利要求1所述的系统,其特征在于,所述第一数据库和所述第二数据库为同一数据库或者不同数据库。
3.根据权利要求2所述的系统,其特征在于,所述消息中间件包括:探测命令队列和探测结果队列,所述探测命令队列用于部署所述域名地址列表,所述探测结果队列用于部署各个探测节点反馈的探测结果。
4.根据权利要求1至3任一项所述的系统,其特征在于,所述域名的建站情况探测系统还包括:
统计设备,所述统计设备用于从所述第二数据库中获取对所述域名列表的探测结果,并根据对所述域名列表的探测结果获取建站率和/或域名停靠情况。
5.一种域名的建站情况探测方法,其特征在于,应用于权利要求1至4任一项所述的域名的建站情况探测系统,所述方法包括:
域名探测生产者周期性从第一数据库中获取域名列表,并对所述域名列表中的域名进行补全,得到域名地址列表;
所述域名探测生产者将所述域名地址列表部署在消息中间件中;
每个探测节点在检测到访问消息时从所述消息中间件中消费所述域名地址列表中的域名地址,并探测获取所述域名地址的建站情况得到探测结果;
每个探测节点将得到的探测结果反馈至所述消息中间件中;
所述域名探测生产者从所述消息中间件中获取对各个探测节点反馈的探测结果,并将所述探测结果存储至第二数据库;
其中,每个探测节点在检测到访问消息时从所述消息中间件中消费所述域名地址列表中的域名地址,并探测获取所述域名地址的建站情况具体为:
通过使用WebClient发起对目标域名和域名的www子域名的http和https访问;
当所述域名的域名、www子域名的http、https协议的组合返回状态码为http 200时,则所述域名有建站。
6.根据权利要求5所述的方法,其特征在于,所述第一数据库和所述第二数据库为同一数据库或者不同数据库。
7.根据权利要求6所述的方法,其特征在于,所述消息中间件包括:探测命令队列和探测结果队列,则所述域名探测生产者将所述域名地址列表部署在消息中间件中,包括:
所述域名探测生产者将所述域名地址列表部署在所述探测命令队列中;
相应的,所述每个探测节点将得到的探测结果反馈至所述消息中间件中,包括:
每个探测节点将得到的探测结果反馈至所述探测结果队列中。
8.根据权利要求5至7任一项所述方法,其特征在于,所述域名探测生产者从第一数据库中获取域名列表之前,所述方法还包括:
域名列表采集装置解析下载得到的数据目录文件,获取所述域名列表;
所述域名列表采集装置将所述域名列表存储至所述第一数据库。
9.根据权利要求5至7任一项所述的方法,其特征在于,所述方法还包括:
域名列表采集装置从所述第二数据库中获取对所述域名列表的探测结果;
所述域名列表采集装置根据对所述域名列表的探测结果获取建站率和/或域名停靠情况。
10.根据权利要求5至7任一项所述的方法,其特征在于,所述域名的建站情况探测系统还包括统计设备;则所述方法还包括:
所述统计设备从所述第二数据中获取对所述域名列表的探测结果;
所述统计设备根据对所述域名列表的探测结果获取建站率和/或域名停靠情况。
CN202011023919.4A 2020-09-25 2020-09-25 域名的建站情况探测系统和探测方法 Active CN112153171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011023919.4A CN112153171B (zh) 2020-09-25 2020-09-25 域名的建站情况探测系统和探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011023919.4A CN112153171B (zh) 2020-09-25 2020-09-25 域名的建站情况探测系统和探测方法

Publications (2)

Publication Number Publication Date
CN112153171A CN112153171A (zh) 2020-12-29
CN112153171B true CN112153171B (zh) 2023-07-25

Family

ID=73898066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011023919.4A Active CN112153171B (zh) 2020-09-25 2020-09-25 域名的建站情况探测系统和探测方法

Country Status (1)

Country Link
CN (1) CN112153171B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272407A (zh) * 2008-04-28 2008-09-24 杭州华三通信技术有限公司 域名系统的缓存探测方法、缓存探测装置和探测响应装置
CN101310502A (zh) * 2005-09-30 2008-11-19 趋势科技股份有限公司 安全管理设备、通信系统及访问控制方法
CN102035696A (zh) * 2010-12-22 2011-04-27 中国工商银行股份有限公司 一种网站访问性能监测方法、装置及系统
CN109347998A (zh) * 2018-12-27 2019-02-15 网宿科技股份有限公司 一种DNS出口服务器ip地址的探测方法及系统
KR101996471B1 (ko) * 2019-01-21 2019-07-05 (주)휴먼스타 네트워크 보안장치 및 보안방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020116491A1 (en) * 2000-09-01 2002-08-22 Boyd Eric L. Method and system for probing a network
US8285870B2 (en) * 2007-09-05 2012-10-09 Echostar Technologies L.L.C. Systems and methods for statistical resolution of domain name service (DNS) requests
US9223456B2 (en) * 2012-01-20 2015-12-29 Cimpress Schweiz Gmbh Digital image editing
US11115384B2 (en) * 2016-10-31 2021-09-07 Guest Tek Interactive Entertainment Ltd. Walled garden system with cleared IPS list automatically generated from DNS queries
CN107087001B (zh) * 2017-05-15 2019-12-17 华中科技大学 一种分布式的互联网重要地址空间检索系统
CN108600054B (zh) * 2018-05-10 2020-11-20 中国互联网络信息中心 一种基于域名区文件的网站数量判定方法和系统
CN108880883B (zh) * 2018-06-15 2021-11-05 恒安嘉新(北京)科技股份公司 一种基于主被动数据的互联网接入网站数量的计算方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101310502A (zh) * 2005-09-30 2008-11-19 趋势科技股份有限公司 安全管理设备、通信系统及访问控制方法
JP2012108947A (ja) * 2005-09-30 2012-06-07 Trend Micro Inc セキュリティ管理装置、通信システムおよびアクセス制御方法
CN101272407A (zh) * 2008-04-28 2008-09-24 杭州华三通信技术有限公司 域名系统的缓存探测方法、缓存探测装置和探测响应装置
CN102035696A (zh) * 2010-12-22 2011-04-27 中国工商银行股份有限公司 一种网站访问性能监测方法、装置及系统
CN109347998A (zh) * 2018-12-27 2019-02-15 网宿科技股份有限公司 一种DNS出口服务器ip地址的探测方法及系统
KR101996471B1 (ko) * 2019-01-21 2019-07-05 (주)휴먼스타 네트워크 보안장치 및 보안방법

Also Published As

Publication number Publication date
CN112153171A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN101902505B (zh) 一种分布式dns查询日志的实时统计装置及方法
CN111917687B (zh) 一种循环推送提醒消息的方法和装置
CN102957712A (zh) 网站资源加载方法和系统
CN104092555B (zh) 一种更新参数值的方法、装置和系统
CN103377240B (zh) 信息提供方法、处理服务器及合并服务器
CN107181821A (zh) 一种基于sse规范的消息推送方法及装置
CN103069421A (zh) 用于处理针对分区式索引的搜索请求的方法和装置
Khanli et al. FRDT: footprint resource discovery tree for grids
CN103246963B (zh) 基于物联网的员工培训系统
CN112732756B (zh) 数据查询方法、装置、设备及存储介质
CN101355590B (zh) 下载提示方法、系统及装置
CN102253948B (zh) 在多源信息系统中搜索信息的方法和装置
Hogan et al. Linked dataset description papers at the semantic web journal: A critical assessment
Ochian et al. Big data search for environmental telemetry
CN100489861C (zh) 数据查找方法、系统及设备
CN103647663A (zh) 一种服务器集群内资源管理方法
CN112153171B (zh) 域名的建站情况探测系统和探测方法
CN101895550B (zh) 一种应用于互联网网站的兼容动静态内容的缓冲加速方法
Antunes et al. Semantic-based publish/subscribe for M2M
CN109710604A (zh) 数据处理方法、装置、系统、计算机可读存储介质
CN111400608B (zh) 数据处理方法及装置、存储介质及电子设备
CN108959041A (zh) 信息发送的方法、服务器及计算机可读存储介质
CN114039801A (zh) 一种短链接生成方法、解析方法和系统、设备、存储介质
CN105337930B (zh) 一种对数据进行处理的方法及装置
Saxena Vector method for ranking of sensors in IoT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant