CN111447291B - 基于dns的调度方法、系统及电子设备 - Google Patents
基于dns的调度方法、系统及电子设备 Download PDFInfo
- Publication number
- CN111447291B CN111447291B CN201811632911.0A CN201811632911A CN111447291B CN 111447291 B CN111447291 B CN 111447291B CN 201811632911 A CN201811632911 A CN 201811632911A CN 111447291 B CN111447291 B CN 111447291B
- Authority
- CN
- China
- Prior art keywords
- preset
- dns
- target object
- domain name
- preset target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000006854 communication Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
- H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
- H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于DNS的调度方法、系统及电子设备,方法包括:当确定接收到的针对预设链接发出的访问请求由预设目标对象发起时,生成并返回与预设链接相对应的随机域名,以供预设目标对象访问与随机域名相对应的预设DNS服务器,以收集预设目标对象的对象信息;当接收到DNS解析请求时,根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求;若是,按照预设的目标对象调度规则返回与DNS解析请求相对应的DNS解析结果。采用该方式,能够识别特定目标对象发起的域名解析请求,并按照预设调度规则针对特定目标对象发起的DNS解析请求进行解析,能够将特定目标对象请求解析的域名调度到特定的IP地址上。
Description
技术领域
本发明涉及互联网技术领域,具体涉及一种基于DNS的调度方法、系统及电子设备。
背景技术
互联网内容资源普遍存在多节点的情况,导致DNS查询通常会得到多个解析结果IP地址,这些解析结果可能分布在不同的运营商网络、不同物理地点的服务节点,服务节点的IP地址不一样,但是都以相同的用户对外进行服务。例如CDN调度系统,CDN是将源站内容分发至全国所有的节点,从而缩短用户查看对象的延迟,提高用户访问网站的响应速度与网站的可用性的技术,能够有效解决网络带宽小、用户访问量大、网点分布不均等问题。
但是,发明人在实现本发明的过程中发现,对于做了CDN的网站来说,由于CDN的节点数量较多,为该网站调度的IP地址并不是唯一固定的,一个网站对应多个IP地址有助于提升访问网站的响应速度,但同时也会对网站产生一些不好的影响。例如,根据搜索引擎的排名策略,当确定一个网站的IP地址不稳定时,则会降低该网站的排名。由此可知,现有的调度方式存在一定的局限性。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于DNS的调度方法、系统及电子设备。
根据本发明的一个方面,提供了一种基于DNS的调度方法,包括:
当确定接收到的针对预设链接发出的访问请求由预设目标对象发起时,生成并返回与预设链接相对应的随机域名,以供预设目标对象访问与随机域名相对应的预设DNS服务器,以收集预设目标对象的对象信息;
当接收到DNS解析请求时,根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求;
若是,按照预设的目标对象调度规则返回与DNS解析请求相对应的DNS解析结果。
可选地,收集预设目标对象的对象信息包括:
将针对预设链接发出的访问请求中包含的预设目标对象的第一对象标识与随机域名关联存储;
获取接收到的针对随机域名发起的域名解析请求中包含的第二对象标识;
根据与随机域名关联存储的第一对象标识以及第二对象标识收集预设目标对象的对象信息。
可选地,针对预设链接发出的访问请求中进一步包含预设目标对象的对象归属信息,则预设目标对象的对象信息包括:与对象归属信息关联存储的第一对象标识以及第二对象标识。
可选地,预设目标对象的第一对象标识包括:与预设搜索引擎相对应的网络设备标识,针对随机域名发起的域名解析请求中包含的第二对象标识包括:与预设搜索引擎相对应的本地DNS的设备标识,预设目标对象的对象归属信息包括:搜索引擎标识。
可选地,根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求具体包括:
获取接收到的DNS解析请求中包含的请求方标识,当请求方标识与已收集的预设目标对象的对象信息匹配时,确定接收到的DNS解析请求为与预设目标对象相对应的解析请求。
可选地,按照预设的目标对象调度规则返回与DNS解析请求相对应的DNS解析结果具体包括:
根据与DNS解析请求中包含的请求方标识相匹配的预设目标对象的对象信息以及DNS解析请求中包含的待解析域名,查询预设的调度结果表中是否已存储有与DNS解析请求相匹配的解析记录;
若是,根据与DNS解析请求相匹配的解析记录返回与DNS解析请求相对应的DNS解析结果;
若否,根据与待解析域名相对应的候选解析结果返回与DNS解析请求相对应的DNS解析结果,并在调度结果表中存储与DNS解析请求相对应的解析记录。
可选地,调度结果表中存储的每条解析记录包括以下记录项:DNS解析请求中包含的请求方标识、与请求方标识相匹配的预设目标对象的对象信息、DNS解析请求中包含的待解析域名、与DNS解析请求相对应的DNS解析结果。
可选地,根据与待解析域名相对应的候选解析结果返回与DNS解析请求相对应的DNS解析结果具体包括:
结合预设调度策略返回与DNS解析请求相对应的DNS解析结果;
其中,预设调度策略包括:基于地域的调度策略、和/或基于主机设备得分的调度策略。
可选地,根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求具体包括:
判断DNS解析请求中包含的待解析域名是否属于预设域名列表;
若是,则根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求。
可选地,生成并返回与预设链接相对应的随机域名具体包括:
确定与预设链接相对应的原始域名;
生成与预设链接相对应的随机标识;
根据随机标识以及原始域名生成与预设链接相对应的随机域名。
可选地,生成与预设链接相对应的随机标识具体包括:
根据预设目标对象的第一对象标识与以及预设的随机数生成与预设链接相对应的随机标识。
可选地,确定接收到的针对预设链接发出的访问请求由预设目标对象发起具体包括:
根据接收到的针对预设链接发出的访问请求中是否携带预设目标对象的对象标识,若是,则确定接收到的针对预设链接发出的访问请求由预设目标对象发起。
根据本发明的另一方面,提供了一种基于DNS的调度系统,包括:
随机域名生成模块,适于当确定接收到的针对预设链接发出的访问请求由预设目标对象发起时,生成并返回与预设链接相对应的随机域名,以供预设目标对象访问与随机域名相对应的预设DNS服务器,以收集预设目标对象的对象信息;
预设DNS服务器,适于在预设目标对象访问与随机域名相对应的预设DNS服务器的情况下,收集预设目标对象的对象信息;以及,
当接收到DNS解析请求时,根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求;若是,按照预设的目标对象调度规则返回与DNS解析请求相对应的DNS解析结果。
可选地,预设DNS服务器进一步适于:
将针对预设链接发出的访问请求中包含的预设目标对象的第一对象标识与随机域名关联存储;
获取接收到的针对随机域名发起的域名解析请求中包含的第二对象标识;
根据与随机域名关联存储的第一对象标识以及第二对象标识收集预设目标对象的对象信息。
可选地,针对预设链接发出的访问请求中进一步包含预设目标对象的对象归属信息,则预设目标对象的对象信息包括:与对象归属信息关联存储的第一对象标识以及第二对象标识。
可选地,预设目标对象的第一对象标识包括:与预设搜索引擎相对应的网络设备标识,针对随机域名发起的域名解析请求中包含的第二对象标识包括:与预设搜索引擎相对应的本地DNS的设备标识,预设目标对象的对象归属信息包括:搜索引擎标识。
可选地,预设DNS服务器进一步适于:
获取接收到的DNS解析请求中包含的请求方标识,当请求方标识与已收集的预设目标对象的对象信息匹配时,确定接收到的DNS解析请求为与预设目标对象相对应的解析请求。
可选地,预设DNS服务器进一步适于:
根据与DNS解析请求中包含的请求方标识相匹配的预设目标对象的对象信息以及DNS解析请求中包含的待解析域名,查询预设的调度结果表中是否已存储有与DNS解析请求相匹配的解析记录;
若是,根据与DNS解析请求相匹配的解析记录返回与DNS解析请求相对应的DNS解析结果;
若否,根据与待解析域名相对应的候选解析结果返回与DNS解析请求相对应的DNS解析结果,并在调度结果表中存储与DNS解析请求相对应的解析记录。
可选地,调度结果表中存储的每条解析记录包括以下记录项:DNS解析请求中包含的请求方标识、与请求方标识相匹配的预设目标对象的对象信息、DNS解析请求中包含的待解析域名、与DNS解析请求相对应的DNS解析结果。
可选地,预设DNS服务器进一步适于:
结合预设调度策略返回与DNS解析请求相对应的DNS解析结果;
其中,预设调度策略包括:基于地域的调度策略、和/或基于主机设备得分的调度策略。
可选地,预设DNS服务器进一步适于:
判断DNS解析请求中包含的待解析域名是否属于预设域名列表;
若是,则根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求。
可选地,随机域名生成模块进一步适于:
确定与预设链接相对应的原始域名;
生成与预设链接相对应的随机标识;
根据随机标识以及原始域名生成与预设链接相对应的随机域名。
可选地,随机域名生成模块进一步适于:
根据预设目标对象的第一对象标识与以及预设的随机数生成与预设链接相对应的随机标识。
可选地,随机域名生成模块进一步适于:
根据接收到的针对预设链接发出的访问请求中是否携带预设目标对象的对象标识,若是,则确定接收到的针对预设链接发出的访问请求由预设目标对象发起。
根据本发明的又一方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述基于DNS的调度方法对应的操作。
根据本发明的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述基于DNS的调度方法对应的操作。
根据本发明所提供的基于DNS的调度方法、系统及电子设备,方法包括:当确定接收到的针对预设链接发出的访问请求由预设目标对象发起时,生成并返回与预设链接相对应的随机域名,以供预设目标对象访问与随机域名相对应的预设DNS服务器,以收集预设目标对象的对象信息;当接收到DNS解析请求时,根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求;若是,按照预设的目标对象调度规则返回与DNS解析请求相对应的DNS解析结果。采用该方式,能够识别特定目标对象发起的域名解析请求,并按照预设调度规则针对特定目标对象发起的DNS解析请求进行解析,能够将特定目标对象请求解析的域名调度到特定的IP地址上。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的基于DNS的调度方法的流程示意图;
图2示出了根据本发明另一个实施例的基于DNS的调度方法的流程示意图;
图3示出了预设的调度结果表中一条解析记录所包含的记录项的示意图;
图4示出了根据本发明又一个实施例的基于DNS的调度系统的结构示意图;
图5示出了根据本发明的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的基于DNS的调度方法的流程示意图,如图1所示,该方法包括:
步骤S101,当确定接收到的针对预设链接发出的访问请求由预设目标对象发起时,生成并返回与预设链接相对应的随机域名,以供预设目标对象访问与随机域名相对应的预设DNS服务器,以收集预设目标对象的对象信息。
其中,预设链接可以设置在预设的CDN官网里面,或者设置在其他web页面中,预设链接可以是图片链接或者其他形式的连接,预设链接中可以包含预设的PHP脚本或者处理程序,本发明对此不做限定,
当预设链接被点击触发时,判断接收到的预设链接发出的访问请求是否由预设目标对象发起,若是,则根据预设链接生成与预设链接相对应的随机域名。具体可以判断接收到的针对预设链接发出的访问请求中是否携带有预设目标对象的对象标识,若是,则确定接收到的针对预设链接发出的访问请求是预设目标对象发出的。
若访问请求是由预设目标对象发起的,则根据预设链接生成随机域名,随机域名是一次性的,并且随机域名的解析权属于预设DNS服务器,因此,当预设目标对象点击预设链接之后,以该随机域名访问预设DNS服务器,并且由于预设目标对象要与预设DNS服务器之间进行通信,那么,预设DNS服务器能够获取到预设目标对象的对象信息。以预设目标对象为网络爬虫为例,网络爬虫访问预设DNS服务器的整个过程,至少能够收集到网络爬虫的设备IP地址,以及网络爬虫对应的搜索引擎所对应的本地DNS的IP地址。
步骤S102,当接收到DNS解析请求时,根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求。
本步骤相当于,当接收到DNS解析请求时,判断接收到的DNS解析请求的请求方是否为预设目标对象,具体可以判断接收到的DNS解析请求所包含的请求方标识是否与已收集的预设目标对象的对象信息相匹配,若匹配,则判定DNS解析请求的请求方是预设目标对象。
步骤S103,若判断接收到的DNS解析请求是与预设目标对象相对应的解析请求,按照预设的目标对象调度规则返回与DNS解析请求相对应的DNS解析结果。
若判断接收到的DNS解析请求是与预设目标对象相对应的解析请求,则按照预设的目标对象调度规则,对DNS解析请求中包含的待解析的域名进行解析,并返回解析所得到的IP地址。由此可见,本实施的方法实质上是识别出特定对象发起的域名解析请求,并通过设置特定的调度规则,针对特定对象发起的域名解析请求进行特殊解析处理。
由此可见,本实施例提供了一种针对特定目标发起的域名解析进行特殊解析的方式,具体通过预设链接预先收集预设目标对象的对象信息,根据已收集的对象信息判定接收到的DNS解析请求是否是由预设目标对象发起的,若是,则按照预设的调度规则针对预设目标对象发起的DNS解析请求进行解析,能够将预设目标对象请求解析的域名调度到特定的IP地址上。
图2示出了根据本发明另一个实施例的基于DNS的调度方法的流程示意图,本实施例中具体以预设目标对象为网络爬虫为例进行说明,如图2所示,该方法包括:
步骤S201,当确定接收到的针对预设链接发出的访问请求由预设目标对象发起时,生成并返回与预设链接相对应的随机域名,以供预设目标对象访问与随机域名相对应的预设DNS服务器,以收集预设目标对象的对象信息。
本步骤的执行主体可以为CDN,但本发明对此不做限定。以网络爬虫为例,网络爬虫可以简单的理解为一个用户。当用户点击网页中的预设链接时,则触发客户端向CDN发送针对预设链接的访问请求。与普通用户不同的是,网络爬虫发出的针对预设链接的访问请求中还包含有一些能够标识其身份的对象标识,例如网络爬虫的身份标识,根据网络爬虫的身份标识能够确定该访问请求的是由网络爬虫发起的,以及搜索引擎标识,根据搜索引擎标识能够确定该网络爬虫具体是对应于哪个搜索引擎的,以及其他相关的身份标识。
因此,确定接收到的针对预设链接发出的访问请求由预设目标对象发起的具体实施方式为:根据接收到的针对预设链接发出的访问请求中是否携带预设目标对象的对象标识,若是,则确定接收到的针对预设链接发出的访问请求是由预设目标对象发起。
当确定接收到的针对预设链接发出的访问请求由预设目标对象发起时,生成并返回与预设链接相对应的随机域名,其中,生成与预设链接相对应的随机域名的具体实施方式如下:确定与预设链接相对应的原始域名,生成与预设链接相对应的随机标识,根据随机标识以及原始域名生成与预设链接相对应的随机域名。其中,与预设链接相对应的原始域名就是预设链接所在页面的域名,然后生成一个随机标识,将随机标识与原始域名组合起来形成与预设链接相对应的随机域名。可选地,生成随机标识的具体实施方式为:根据预设目标对象的第一对象标识与以及预设的随机数生成与预设链接相对应的随机标识,其中,预设目标对象的第一对象标识包括:预设目标对象对应的网络设备的IP地址,进一步可选地,预设目标对象对应的网络设备的IP地址与随机数进行异或运算得到随机标识。
随机域名是一个一次性的域名,并且随机域名的解析权是归属于预设DNS服务器,因此,预设目标对象在点击了预设链接之后,经过上述处理之后,最终访问预设DNS服务器,也即向预设DNS服务器发起随机域名的解析请求。
下面以预设目标对象为网络爬虫为例解释预设目标对象访问与随机域名相对应的预设DNS服务器的过程:
在生成了随机域名之后,在浏览器中嵌入该随机域名,网络爬虫访问对应的搜索引擎相对应的本地DNS,本地DNS对随机域名进行解析,本地DNS一级一级地查询随机域名,查询随机域名的解析权归具体归属于哪个DNS服务器,而随机域名的解析权是归属于预设DNS服务器的,则本地DNS根据通信协议向预设DNS服务器发送查询信息,预设DNS服务器根据接收到的查询信息对随机域名进行解析。
根据上述内容,网络爬虫访问与预设链接相对应的预设DNS服务器主要包括两个通信过程,第一:网络爬虫与搜索引擎相对应的本地DNS之间的通信,第二:搜索引擎相对应的本地DNS与预设DNS之间的通信。基于上述两个通信过程,预设DNS服务器可以收集到网络爬虫的对象信息。
预设DNS服务器收集预设目标对象的对象信息的实施方式如下:将针对预设链接发出的访问请求中包含的预设目标对象的第一对象标识与随机域名关联存储;获取接收到的针对随机域名发起的域名解析请求中包含的第二对象标识;根据与随机域名关联存储的第一对象标识以及第二对象标识收集预设目标对象的对象信息。其中,随机域名具有标识作用,也可以称其为标识域名,通过该标识域名将预设目标对象的全部对象信息关联获取并存储。
根据上述内容,由于与预设搜索引擎相对应的本地DNS要与预设DNS服务器进行通信,则预设DNS服务器可以获取到与预设搜索引擎相对应的本地DNS的IP地址,并且,预设搜索引擎相对应的网络标识可以包含在查询信息中,由本地DNS发给预设DNS服务器。由此可见,本实施例中的预设目标对象是与预设搜索引擎相关的目标对象,例如,网络爬虫。
由此可见,通过上述网络爬虫的IP地址(预设目标对象的第一对象标识)与预设搜索引擎相对应的本地DNS的IP地址(预设目标对象的第二对象标识)之间的通信,以及与预设搜索引擎相对应的本地DNS的IP地址与预设DNS服务的IP地址之间的通信,能够收集到网络爬虫(预设目标对象)的对象信息。
具体地,针对预设链接发出的访问请求中包含预设目标对象的对象归属信息,则预设目标对象的对象信息具体包括:与对象归属信息关联存储的第一对象标识以及第二对象标识。也就是说,预设DNS服务器收集到的预设目标对象的对象信息至少包括以下3个信息项:对象归属信息、第一对象标识以及第二对象标识,并且需要将上述信息项相关联存储起来。
本实施例中,对象归属信息具体为搜索引擎标识,搜索引擎标识用于标识预设目标对象所属的搜索引擎,则预设目标对象的第一对象标识包括:与预设搜索引擎相对应的网络设备标识,针对随机域名发起的域名解析请求中包含的第二对象标识包括:与预设搜索引擎相对应的本地DNS的设备标识。在此情况下,预设目标对象可以为网络爬虫。
具体实施时,还可以将搜索引擎标识一致的多组预设目标对象的对象信息相关联进行存储。例如,将同一个搜索引擎对象的多个网络爬虫的相关信息关联存储,当然,本发明对此不做限定。
步骤S202,当接收到DNS解析请求时,在判断出DNS解析请求中包含的待解析域名属于预设域名列表的情况下,根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求。
实际应用中,对于加入CDN的域名来说,由于CDN的节点较多,针对同一网站每次返回的IP地址都有可能不一致,在此情况下,搜索引擎认为网站的不稳定,则会降低该网站的排名,对于一些有SEO优化的网站来说,这种调度规则显然会对其排名造成影响。因此,可以根据具有SEO优化需求的域名形成预设域名列表,仅针对预设域名列表中的域名进行特殊的调度,但这仅仅是一种可选的实施方式。
当接收到DNS解析请求时,判断DNS解析请求中包含的待解析域名是否属于预设域名列表,若待解析域名属于预设域名列表,则执行判断DNS解析请求是否为预设目标对象相对应的解析请求的步骤;若待解析域名不属于预设域名列表,则按照常规的方式对该DNS解析请求进行解析,为待解析域名调度IP地址。
其中,根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求的实施方式如下:
获取接收到的DNS解析请求中包含的请求方标识,当请求方标识与已收集的预设目标对象的对象信息匹配时,确定接收到的DNS解析请求为与预设目标对象相对应的解析请求。
根据请求方发起解析请求方式的不同,接收到的DNS解析请求包括两种:第一,本地DNS发送的DNS解析请求;第二,网络设备发送的基于HTTP协议实现的DNS解析请求。那么接收到的DNS解析请求中包含的请求方标识可能包含:本地DNS的IP地址或者网络设备的IP地址。另外,仍以网络爬虫对象为例,网络爬虫发起的DNS解析请求中还包含能够标识其身份的标识信息,例如网络爬虫的身份标识信息,以及网络爬虫对应的搜索引擎标识,因此,DNS解析请求中包含的请求方标识还可能包含请求方的身份标识信息、搜索引擎标识等等。
根据上述内容,预先收集的预设目标对象的对象信息具体包括:具有关联关系的搜索引擎标识、与预设搜索引擎相对应的网络设备的IP地址以及预设搜索引擎相对应的本地DNS的IP地址,则可以判断获取到的DNS解析请求中包含的请求方标识是否与预先收集到的预设目标对象的对象信息相匹配,也即判断请求方标识是否包含已收集的搜索引擎标识,或者判断请求方标识是否包含与已收集的预设搜索引擎相对应的网络设备的IP地址,或者判断请求方标识是否包含已收集的与预设搜索引擎相对应的本地DNS的IP地址,也就是说,该步骤相当于判断接收到的DNS解析请求是否为与搜索引擎相关的DNS解析请求。
若是,则确定接收到的DNS解析请求是与预设目标对象相对应的解析请求。若否,表明接收到的DNS解析请请求不是与预设目标对象相对应的解析请求,则按照常规的解析方式对该DNS解析请求进行解析。其中,针对于网络爬虫发起的DNS解析请求来说,比较快捷的方法是将DNS解析请求中包含的搜索引擎标识与预先收集的预设目标对象对应的搜索引擎标识进行比对,若匹配,则确定接收到的DNS解析请求是与预设目标对象相对应的解析请求。
步骤S203,若判断接收到的DNS解析请求是与预设目标对象相对应的解析请求,根据与DNS解析请求中包含的请求方标识相匹配的预设目标对象的对象信息以及DNS解析请求中包含的待解析域名,查询预设的调度结果表中是否已存储有与DNS解析请求相匹配的解析记录。
若判断接收到的DNS解析请求是与预设目标对象相对应的解析请求,则在预设的调度结果表中查询该DNS解析请求相匹配的解析记录。例如,预设的调度结果表中主要记录的信息项包括:预设目标对象的对象信息、域名以及域名的解析结果之间的对应关系,在查询过程中,根据DNS解析请求中所包含的请求方标识以及DNS解析请求中包含的待解析域名查询相匹配的解析记录。举例来说,预设的调度结果表中的一条记录信息项为:网络爬虫A的对象信息、域名A以及IP地址A,则若DNS解析请求中包含的请求方标识与网络爬虫A的对象信息相匹配,并且DNS解析请求中包含的待解析域名与域名A一致,则确定预设的调度结果表中已存储有与DNS解析请求相匹配的解析记录。
可选地,为了保证查询结果的准确性,预设的调度结果表中存储的每条解析记录包括以下记录项:DNS解析请求中包含的请求方标识、与请求方标识相匹配的预设目标对象的对象信息、DNS解析请求中包含的待解析域名、与DNS解析请求相对应的DNS解析结果。
为了便于描述,本实施例中将每条解析记录的包含的记录项分成三种类别,图3示出了解析记录所包含的记录项的示意图,如图3所示,每一条解析记录包含第一类别记录项、第二类别记录项以及第三类别记录项。第一类别记录项包含:DNS解析请求中包含的请求方标识、与请求方标识相匹配的预设目标对象的对象信息;第二类别记录项包含:DNS解析请求中包含的待解析域名;第三类类别记录项包含:与DNS解析请求相对应的DNS解析结果。则在查询过程中,分别将DNS解析请求中包含的请求方标识与已记录的第一类别记录项进行对比,将该DNS解析请求中包含的待解析域名与已记录的第二类别记录项进行对比,然后,根据比对结果则确定预设的调度结果表中是否已存储有与DNS解析请求相匹配的解析记录。
步骤S204,若预设的调度结果表中未存储有与DNS解析请求相匹配的解析记录,根据与待解析域名相对应的候选解析结果返回与DNS解析请求相对应的DNS解析结果,并在调度结果表中存储与DNS解析请求相对应的解析记录。
若预设的调度结果表中未存储有与DNS解析请求相匹配的解析记录,则从候选解析结果中确定与待解析域名相对应的候选解析结果,作为与DNS解析请求相对应的DNS解析结果并返回,完成对DNS解析请求的解析处理,并在调度结果表中存储于DNS解析请求相对应的解析记录,该DNS解析请求相对应的解析记录包含上述各个记录项。
具体地,当预设的调度结果表中未存储有与DNS解析请求相匹配的解析记录时,可以结合预设调度策略返回与DNS解析请求相对应的DNS解析结果;其中,调度策略包括:基于地域的调度策略、和/或基于主机设备得分的调度策略。
具体地,结合基于地域的调度策略返回与DNS解析请求相对应的DNS解析结果包括:根据DNS解析请求相对应的网络设备标识,确定与该网络设备标识相对应的地域信息;根据与该网络设备标识相对应的地域信息以及与DNS解析请求中所包含的待解析域名相对应的候选解析结果,确定与DNS解析请求中所包含的待解析域名相对应的域名解析结果。具体地,首先根据DNS解析请求相对应的网络设备标识,确定与该网络设备标识相对应的地域信息,从而确定发送该DNS解析请求的设备所在的地域(如北京、上海等),相应地,从与DNS解析请求中包含的待解析的域名相对应的多个候选解析结果中选择与该地域相匹配的一个候选解析结果作为与该DNS解析请求中所包含的待解析域名相对应的域名解析结果。具体实施时,可根据地域邻近原则,选择地域相隔最近的设备所对应的域名解析结果,以便于实现就近访问,从而提升访问速度。
具体地,结合基于主机设备得分调度策略返回与DNS解析请求相对应的DNS解析结果包括:根据预设的动态调度表,确定与该DNS解析请求中所包含的待解析域名相对应的各个候选解析结果所对应的设备分值;根据各个候选解析结果所对应的设备分值,确定与该DNS解析请求中所包含的待解析域名相对应的域名解析结果。
步骤S205,若预设的调度结果表中已存储有与DNS解析请求相匹配的解析记录,根据与DNS解析请求相匹配的解析记录返回与DNS解析请求相对应的DNS解析结果。
若预设的调度结果表中已存储有与DNS解析请求相匹配的解析记录,则将已存储的相匹配的解析记录中所包含的解析结果,确定该解析结果为DNS解析请求相对应的DNS解析结果并进行返回。
沿用图3的示例,在查询过程中,将DNS解析请求中包含的请求方标识与第一类别记录项中的一条解析记录的各个记录项进行比对,当DNS解析请求中包含的请求方标识与已解析记录中的第一类别记录项中任一记录项一致时,则认为DNS解析请求中包含的请求方标识与第一类比记录项匹配;将DNS解析请求中包含的待解析域名与该解析记录中第二类别记录项进行比对,若一致,则认为DNS解析请求中包含的待解析域名与第二类别记录项匹配,则可以确定该DNS解析请求所对应的解析结果就是该解析记录中的第三类别记录项,得到该DNS解析请求所对应的解析结果。也就是说,当DNS解析请求所包含的各项信息分别与已存储的同一条解析记录的第一类别记录项以及第二类别记录项匹配时,则可以确定该DNS解析请求所对应的解析结果,并返回与DNS解析请求所对应的解析结果。
在实际应用中,往往主要依据搜索引擎标识来进行比对。举例来说,搜索引擎A对应的网络爬虫a1、a2、a3,网络爬虫a1针对域名A发起DNS解析请求,查询预设的调度结果表中发现预设的调度结果表中未存储有与该DNS解析请求相匹配的解析记录,则根据预设调度策略确定返回与该DNS解析请求相对应的解析结果,解析结果为IP地址A,则存储该解析记录。存储的解析记录中的第一类别记录项具体为:网络爬虫a1的网络设备标识、网络爬虫a1对应的搜索引擎A的搜索引擎标识、网络爬虫a1对应的搜索引擎A相对应的本地DNS的设备标识;存储的第二类别记录项为:域名A;存储的第三类别记录项为:IP地址A。
可以知道的是:网络爬虫a1、网络爬虫a2以及网络爬虫a3有一个相同的标识,即搜索引擎A的搜索引擎标识,而为了提升查询解析结果的效率,在实际应用中,可以主要根据网络爬虫对应的搜索引擎标识查找DNS解析请求对应的解析结果。具体解释如下:
当网络爬虫a2针对域名A发起DNS解析请求时,很显然网络爬虫a2所对应的搜索引擎标识与已存储的第一类别记录项中的搜索引擎标识一致,待解析的域名为域名A,也与已存储的第二类别记录项中的待解析域名一致,则可以确定网络爬虫a2针对域名A发起的DNS解析请求对应的解析结果也为IP地址A。同理,当网络爬虫a3针对域名A发起DNS解析请求时,由于网络爬虫a3对应的搜索引擎标识与已存储的第一类别记录项中的搜索引擎标识一致,网络爬虫a3针对域名A发起的DNS解析请求对应的解析结果也为IP地址A。
其中,IP地址A可以是一个单独的IP地址,也可以是IP地址集合,包含多个IP地址,当IP地址A中包含多个IP地址时,虽然说返回给各个网络爬虫的IP地址可能会不一致,但由于其数量是有限的,相对来说,返回个各个网络的IP地址是固定的。
由此可知,根据本实施例的调度方法,对于同一搜索引擎对应的多个网络爬虫时,当各个网络爬虫针对同一域名发起DNS解析请求,各个网络爬虫的设备标识等标识信息有可能不一致,而各个网络爬虫对应的搜索引擎标识却是一致的,因此,针对各个DNS解析请求所返回的解析结果都是固定的。那么,搜索引擎通过不同的网络爬虫能够获得的同一域名的IP地址是固定的,则不会影响该域名对应的网站的排名。
上述步骤S202-步骤S205的执行主体为预设DNS服务器,实际应用中,可以将CDN与预设DNS服务器设置在同一主机上,还可以在同一主机上部署预设DNS服务器和HTTP服务器,其中,DNS解析请求所对应的解析结果指向该HTTP服务器。当然,本发明并不以此为限,本领域技术人员可根据实际需要进行设置。
由此可见,本实施例提供了一种针对特定目标发起的域名解析进行特殊解析的方式,具体通过预设链接预先收集预设目标对象的对象信息,将采集到的预设目标对象的对象信息提供给调度系统,调度系统具体根据已收集的对象信息判定接收到的DNS解析请求是否是由预设目标对象发起的,若是,则按照预设的调度规则针对预设目标对象发起的DNS解析请求进行解析,通过该预设的调度规则,能够将与搜索引擎相对应的DNS解析请求中包含的待解析域名调度到固定的IP地址上,从而稳定该待解析域名对应的IP地址,避免因IP地址频繁变化而影响其在搜索引擎中的排名。
图4示出了根据本发明又一个实施例的基于DNS的调度系统的结构示意图,如图4所示,该系统包括:
随机域名生成模块41,适于当确定接收到的针对预设链接发出的访问请求由预设目标对象发起时,生成并返回与预设链接相对应的随机域名,以供预设目标对象访问与随机域名相对应的预设DNS服务器,以收集预设目标对象的对象信息;
预设DNS服务器42,适于在预设目标对象访问与随机域名相对应的预设DNS服务器的情况下,收集预设目标对象的对象信息;以及,当接收到DNS解析请求时,根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求;若是,按照预设的目标对象调度规则返回与DNS解析请求相对应的DNS解析结果。
可选地,预设DNS服务器42进一步适于:
将针对预设链接发出的访问请求中包含的预设目标对象的第一对象标识与随机域名关联存储;
获取接收到的针对随机域名发起的域名解析请求中包含的第二对象标识;
根据与随机域名关联存储的第一对象标识以及第二对象标识收集预设目标对象的对象信息。
可选地,针对预设链接发出的访问请求中进一步包含预设目标对象的对象归属信息,则预设目标对象的对象信息包括:与对象归属信息关联存储的第一对象标识以及第二对象标识。
可选地,预设目标对象的第一对象标识包括:与预设搜索引擎相对应的网络设备标识,针对随机域名发起的域名解析请求中包含的第二对象标识包括:与预设搜索引擎相对应的本地DNS的设备标识,预设目标对象的对象归属信息包括:搜索引擎标识。
可选地,预设DNS服务器42进一步适于:
获取接收到的DNS解析请求中包含的请求方标识,当请求方标识与已收集的预设目标对象的对象信息匹配时,确定接收到的DNS解析请求为与预设目标对象相对应的解析请求。
可选地,预设DNS服务器42进一步适于:
根据与DNS解析请求中包含的请求方标识相匹配的预设目标对象的对象信息以及DNS解析请求中包含的待解析域名,查询预设的调度结果表中是否已存储有与DNS解析请求相匹配的解析记录;
若是,根据与DNS解析请求相匹配的解析记录返回与DNS解析请求相对应的DNS解析结果;
若否,根据与待解析域名相对应的候选解析结果返回与DNS解析请求相对应的DNS解析结果,并在调度结果表中存储与DNS解析请求相对应的解析记录。
可选地,调度结果表中存储的每条解析记录包括以下记录项:DNS解析请求中包含的请求方标识、与请求方标识相匹配的预设目标对象的对象信息、DNS解析请求中包含的待解析域名、与DNS解析请求相对应的DNS解析结果。
可选地,预设DNS服务器42进一步适于:
结合预设调度策略返回与DNS解析请求相对应的DNS解析结果;
其中,预设调度策略包括:基于地域的调度策略、和/或基于主机设备得分的调度策略。
可选地,预设DNS服务器42进一步适于:
判断DNS解析请求中包含的待解析域名是否属于预设域名列表;
若是,则根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求。
可选地,随机域名生成模块41进一步适于:
确定与预设链接相对应的原始域名;
生成与预设链接相对应的随机标识;
根据随机标识以及原始域名生成与预设链接相对应的随机域名。
可选地,随机域名生成模块41进一步适于:
根据预设目标对象的第一对象标识与以及预设的随机数生成与预设链接相对应的随机标识。
可选地,随机域名生成模块41进一步适于:
根据接收到的针对预设链接发出的访问请求中是否携带预设目标对象的对象标识,若是,则确定接收到的针对预设链接发出的访问请求由预设目标对象发起。
上述各个模块的具体结构和工作原理可参照方法实施例中相应步骤的描述,此处不再赘述。
本申请实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的基于DNS的调度方法。
图5示出了根据本发明实施例的一种电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图5所示,该电子设备可以包括:处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中:
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502,用于执行程序510,具体可以执行上述基于DNS的调度方法实施例中的相关步骤。
具体地,程序510可以包括程序代码,该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器506,用于存放程序510。存储器506可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作:
当确定接收到的针对预设链接发出的访问请求由预设目标对象发起时,生成并返回与预设链接相对应的随机域名,以供预设目标对象访问与随机域名相对应的预设DNS服务器,以收集预设目标对象的对象信息;
当接收到DNS解析请求时,根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求;
若是,按照预设的目标对象调度规则返回与DNS解析请求相对应的DNS解析结果。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:
将针对预设链接发出的访问请求中包含的预设目标对象的第一对象标识与随机域名关联存储;
获取接收到的针对随机域名发起的域名解析请求中包含的第二对象标识;
根据与随机域名关联存储的第一对象标识以及第二对象标识收集预设目标对象的对象信息。
在一种可选的方式中,针对预设链接发出的访问请求中进一步包含预设目标对象的对象归属信息,则预设目标对象的对象信息包括:与对象归属信息关联存储的第一对象标识以及第二对象标识。
在一种可选的方式中,预设目标对象的第一对象标识包括:与预设搜索引擎相对应的网络设备标识,针对随机域名发起的域名解析请求中包含的第二对象标识包括:与预设搜索引擎相对应的本地DNS的设备标识,预设目标对象的对象归属信息包括:搜索引擎标识。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:
获取接收到的DNS解析请求中包含的请求方标识,当请求方标识与已收集的预设目标对象的对象信息匹配时,确定接收到的DNS解析请求为与预设目标对象相对应的解析请求。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:
根据与DNS解析请求中包含的请求方标识相匹配的预设目标对象的对象信息以及DNS解析请求中包含的待解析域名,查询预设的调度结果表中是否已存储有与DNS解析请求相匹配的解析记录;
若是,根据与DNS解析请求相匹配的解析记录返回与DNS解析请求相对应的DNS解析结果;
若否,根据与待解析域名相对应的候选解析结果返回与DNS解析请求相对应的DNS解析结果,并在调度结果表中存储与DNS解析请求相对应的解析记录。
在一种可选的方式中,DNS解析请求中包含的请求方标识、与请求方标识相匹配的预设目标对象的对象信息、DNS解析请求中包含的待解析域名、与DNS解析请求相对应的DNS解析结果。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:
结合预设调度策略返回与DNS解析请求相对应的DNS解析结果;
其中,预设调度策略包括:基于地域的调度策略、和/或基于主机设备得分的调度策略。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:
判断DNS解析请求中包含的待解析域名是否属于预设域名列表;
若是,则根据已收集的预设目标对象的对象信息判断接收到的DNS解析请求是否为与预设目标对象相对应的解析请求。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:
确定与预设链接相对应的原始域名;
生成与预设链接相对应的随机标识;
根据随机标识以及原始域名生成与预设链接相对应的随机域名。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:
根据预设目标对象的第一对象标识与以及预设的随机数生成与预设链接相对应的随机标识。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:
根据接收到的针对预设链接发出的访问请求中是否携带预设目标对象的对象标识,若是,则确定接收到的针对预设链接发出的访问请求由预设目标对象发起。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的电子设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (26)
1.一种基于DNS的调度方法,包括:
当确定接收到的针对预设链接发出的访问请求由预设目标对象发起时,生成并返回与所述预设链接相对应的随机域名,以供所述预设目标对象访问与所述随机域名相对应的预设DNS服务器,以收集所述预设目标对象的对象信息;
当接收到DNS解析请求时,根据已收集的所述预设目标对象的对象信息判断接收到的DNS解析请求是否为与所述预设目标对象相对应的解析请求;
若是,按照预设的目标对象调度规则返回与所述DNS解析请求相对应的DNS解析结果。
2.根据权利要求1所述的方法,其中,所述收集所述预设目标对象的对象信息包括:
将所述针对预设链接发出的访问请求中包含的预设目标对象的第一对象标识与所述随机域名关联存储;
获取接收到的针对所述随机域名发起的域名解析请求中包含的第二对象标识;
根据与所述随机域名关联存储的第一对象标识以及所述第二对象标识收集所述预设目标对象的对象信息。
3.根据权利要求2所述的方法,其中,所述针对预设链接发出的访问请求中进一步包含所述预设目标对象的对象归属信息,则所述预设目标对象的对象信息包括:与所述对象归属信息关联存储的第一对象标识以及第二对象标识。
4.根据权利要求3所述的方法,其中,所述预设目标对象的第一对象标识包括:与预设搜索引擎相对应的网络设备标识,所述针对所述随机域名发起的域名解析请求中包含的第二对象标识包括:与所述预设搜索引擎相对应的本地DNS的设备标识,所述预设目标对象的对象归属信息包括:搜索引擎标识。
5.根据权利要求1-4任一所述的方法,其中,所述根据已收集的所述预设目标对象的对象信息判断接收到的DNS解析请求是否为与所述预设目标对象相对应的解析请求具体包括:
获取所述接收到的DNS解析请求中包含的请求方标识,当所述请求方标识与所述已收集的所述预设目标对象的对象信息匹配时,确定所述接收到的DNS解析请求为与所述预设目标对象相对应的解析请求。
6.根据权利要求1-4任一所述的方法,其中,所述按照预设的目标对象调度规则返回与所述DNS解析请求相对应的DNS解析结果具体包括:
根据与所述DNS解析请求中包含的请求方标识相匹配的预设目标对象的对象信息以及所述DNS解析请求中包含的待解析域名,查询预设的调度结果表中是否已存储有与所述DNS解析请求相匹配的解析记录;
若是,根据所述与所述DNS解析请求相匹配的解析记录返回与所述DNS解析请求相对应的DNS解析结果;
若否,根据与所述待解析域名相对应的候选解析结果返回与所述DNS解析请求相对应的DNS解析结果,并在所述调度结果表中存储与所述DNS解析请求相对应的解析记录。
7.根据权利要求6所述的方法,其中,所述调度结果表中存储的每条解析记录包括以下记录项:所述DNS解析请求中包含的请求方标识、与所述请求方标识相匹配的预设目标对象的对象信息、所述DNS解析请求中包含的待解析域名、与所述DNS解析请求相对应的DNS解析结果。
8.根据权利要求6所述的方法,其中,所述根据与所述待解析域名相对应的候选解析结果返回与所述DNS解析请求相对应的DNS解析结果具体包括:
结合预设调度策略返回与所述DNS解析请求相对应的DNS解析结果;
其中,所述预设调度策略包括:基于地域的调度策略、和/或基于主机设备得分的调度策略。
9.根据权利要求1-4任一所述的方法,其中,所述根据已收集的所述预设目标对象的对象信息判断接收到的DNS解析请求是否为与所述预设目标对象相对应的解析请求具体包括:
判断所述DNS解析请求中包含的待解析域名是否属于预设域名列表;
若是,则根据已收集的所述预设目标对象的对象信息判断接收到的DNS解析请求是否为与所述预设目标对象相对应的解析请求。
10.根据权利要求1-4任一所述的方法,其中,所述生成并返回与所述预设链接相对应的随机域名具体包括:
确定与所述预设链接相对应的原始域名;
生成与所述预设链接相对应的随机标识;
根据所述随机标识以及所述原始域名生成与所述预设链接相对应的随机域名。
11.根据权利要求10所述的方法,其中,所述生成与所述预设链接相对应的随机标识具体包括:
根据预设目标对象的第一对象标识与以及预设的随机数生成与所述预设链接相对应的随机标识。
12.根据权利要求1所述的方法,其中,确定接收到的针对预设链接发出的访问请求由预设目标对象发起具体包括:
根据接收到的针对预设链接发出的访问请求中是否携带预设目标对象的对象标识,若是,则确定接收到的针对预设链接发出的访问请求由预设目标对象发起。
13.一种基于DNS的调度系统,包括:
随机域名生成模块,适于当确定接收到的针对预设链接发出的访问请求由预设目标对象发起时,生成并返回与所述预设链接相对应的随机域名,以供所述预设目标对象访问与所述随机域名相对应的预设DNS服务器,以收集所述预设目标对象的对象信息;
所述预设DNS服务器,适于在所述预设目标对象访问与所述随机域名相对应的预设DNS服务器的情况下,收集所述预设目标对象的对象信息;以及,
当接收到DNS解析请求时,根据已收集的所述预设目标对象的对象信息判断接收到的DNS解析请求是否为与所述预设目标对象相对应的解析请求;若是,按照预设的目标对象调度规则返回与所述DNS解析请求相对应的DNS解析结果。
14.根据权利要求13所述的系统,其中,所述预设DNS服务器进一步适于:
将所述针对预设链接发出的访问请求中包含的预设目标对象的第一对象标识与所述随机域名关联存储;
获取接收到的针对所述随机域名发起的域名解析请求中包含的第二对象标识;
根据与所述随机域名关联存储的第一对象标识以及所述第二对象标识收集所述预设目标对象的对象信息。
15.根据权利要求14所述的系统,其中,所述针对预设链接发出的访问请求中进一步包含所述预设目标对象的对象归属信息,则所述预设目标对象的对象信息包括:与所述对象归属信息关联存储的第一对象标识以及第二对象标识。
16.根据权利要求15所述的系统,其中,所述预设目标对象的第一对象标识包括:与预设搜索引擎相对应的网络设备标识,所述针对所述随机域名发起的域名解析请求中包含的第二对象标识包括:与所述预设搜索引擎相对应的本地DNS的设备标识,所述预设目标对象的对象归属信息包括:搜索引擎标识。
17.根据权利要求13-16任一所述的系统,其中,所述预设DNS服务器进一步适于:
获取所述接收到的DNS解析请求中包含的请求方标识,当所述请求方标识与所述已收集的所述预设目标对象的对象信息匹配时,确定所述接收到的DNS解析请求为与所述预设目标对象相对应的解析请求。
18.根据权利要求13-16任一所述的系统,其中,所述预设DNS服务器进一步适于:
根据与所述DNS解析请求中包含的请求方标识相匹配的预设目标对象的对象信息以及所述DNS解析请求中包含的待解析域名,查询预设的调度结果表中是否已存储有与所述DNS解析请求相匹配的解析记录;
若是,根据所述与所述DNS解析请求相匹配的解析记录返回与所述DNS解析请求相对应的DNS解析结果;
若否,根据与所述待解析域名相对应的候选解析结果返回与所述DNS解析请求相对应的DNS解析结果,并在所述调度结果表中存储与所述DNS解析请求相对应的解析记录。
19.根据权利要求18所述的系统,其中,所述调度结果表中存储的每条解析记录包括以下记录项:所述DNS解析请求中包含的请求方标识、与所述请求方标识相匹配的预设目标对象的对象信息、所述DNS解析请求中包含的待解析域名、与所述DNS解析请求相对应的DNS解析结果。
20.根据权利要求18所述的系统,其中,所述预设DNS服务器进一步适于:
结合预设调度策略返回与所述DNS解析请求相对应的DNS解析结果;
其中,所述预设调度策略包括:基于地域的调度策略、和/或基于主机设备得分的调度策略。
21.根据权利要求13-16任一所述的系统,其中,所述预设DNS服务器进一步适于:
判断所述DNS解析请求中包含的待解析域名是否属于预设域名列表;
若是,则根据已收集的所述预设目标对象的对象信息判断接收到的DNS解析请求是否为与所述预设目标对象相对应的解析请求。
22.根据权利要求13-16任一所述的系统,其中,所述随机域名生成模块进一步适于:
确定与所述预设链接相对应的原始域名;
生成与所述预设链接相对应的随机标识;
根据所述随机标识以及所述原始域名生成与所述预设链接相对应的随机域名。
23.根据权利要求22所述的系统,其中,所述随机域名生成模块进一步适于:
根据预设目标对象的第一对象标识与以及预设的随机数生成与所述预设链接相对应的随机标识。
24.根据权利要求13所述的系统,其中,所述随机域名生成模块进一步适于:
根据接收到的针对预设链接发出的访问请求中是否携带预设目标对象的对象标识,若是,则确定接收到的针对预设链接发出的访问请求由预设目标对象发起。
25.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-12中任一项所述的基于DNS的调度方法对应的操作。
26.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-12中任一项所述的基于DNS的调度方法对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811632911.0A CN111447291B (zh) | 2018-12-29 | 2018-12-29 | 基于dns的调度方法、系统及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811632911.0A CN111447291B (zh) | 2018-12-29 | 2018-12-29 | 基于dns的调度方法、系统及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111447291A CN111447291A (zh) | 2020-07-24 |
CN111447291B true CN111447291B (zh) | 2024-04-05 |
Family
ID=71648435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811632911.0A Active CN111447291B (zh) | 2018-12-29 | 2018-12-29 | 基于dns的调度方法、系统及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111447291B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115442331B (zh) * | 2022-08-29 | 2023-11-03 | 天翼云科技有限公司 | 一种域名访问方法、装置、网络设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103389983A (zh) * | 2012-05-08 | 2013-11-13 | 阿里巴巴集团控股有限公司 | 一种用于网络爬虫系统的网页内容抓取方法及装置 |
WO2015179244A1 (en) * | 2014-05-20 | 2015-11-26 | Alibaba Group Holding Limited | Method and system for acquiring web pages |
CN105959433A (zh) * | 2016-07-22 | 2016-09-21 | 无锡华云数据技术服务有限公司 | 一种域名解析方法及其域名解析系统 |
CN106686020A (zh) * | 2017-03-29 | 2017-05-17 | 北京奇虎科技有限公司 | 域名安全性的检测方法、装置及系统 |
WO2017173766A1 (zh) * | 2016-04-08 | 2017-10-12 | 网宿科技股份有限公司 | 一种域名解析加速方法、系统和装置 |
CN107302584A (zh) * | 2017-07-11 | 2017-10-27 | 上海精数信息科技有限公司 | 一种高效的数据采集方法 |
CN108881516A (zh) * | 2018-07-27 | 2018-11-23 | 网宿科技股份有限公司 | 一种调度多cdn服务系统的方法和装置 |
CN108924274A (zh) * | 2018-09-14 | 2018-11-30 | Oppo广东移动通信有限公司 | 域名系统dns处理方法、装置、存储介质及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9843601B2 (en) * | 2011-07-06 | 2017-12-12 | Nominum, Inc. | Analyzing DNS requests for anomaly detection |
CN105323173B (zh) * | 2014-07-18 | 2019-02-12 | 中兴通讯股份有限公司 | 网络规则条目的设置方法及装置 |
-
2018
- 2018-12-29 CN CN201811632911.0A patent/CN111447291B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103389983A (zh) * | 2012-05-08 | 2013-11-13 | 阿里巴巴集团控股有限公司 | 一种用于网络爬虫系统的网页内容抓取方法及装置 |
WO2015179244A1 (en) * | 2014-05-20 | 2015-11-26 | Alibaba Group Holding Limited | Method and system for acquiring web pages |
WO2017173766A1 (zh) * | 2016-04-08 | 2017-10-12 | 网宿科技股份有限公司 | 一种域名解析加速方法、系统和装置 |
CN105959433A (zh) * | 2016-07-22 | 2016-09-21 | 无锡华云数据技术服务有限公司 | 一种域名解析方法及其域名解析系统 |
CN106686020A (zh) * | 2017-03-29 | 2017-05-17 | 北京奇虎科技有限公司 | 域名安全性的检测方法、装置及系统 |
CN107302584A (zh) * | 2017-07-11 | 2017-10-27 | 上海精数信息科技有限公司 | 一种高效的数据采集方法 |
CN108881516A (zh) * | 2018-07-27 | 2018-11-23 | 网宿科技股份有限公司 | 一种调度多cdn服务系统的方法和装置 |
CN108924274A (zh) * | 2018-09-14 | 2018-11-30 | Oppo广东移动通信有限公司 | 域名系统dns处理方法、装置、存储介质及电子设备 |
Non-Patent Citations (1)
Title |
---|
域名请求行为特征与构成特征相结合的域名变换检测;张永斌;陆寅;张艳宁;;西安交通大学学报(第08期);60-66 * |
Also Published As
Publication number | Publication date |
---|---|
CN111447291A (zh) | 2020-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107426302B (zh) | 访问调度方法、装置、系统、终端、服务器及存储介质 | |
US6324580B1 (en) | Load balancing for replicated services | |
CN108494891A (zh) | 一种域名解析方法、服务器及系统 | |
US9264358B2 (en) | Alias resource record sets | |
CN109587290B (zh) | 一种域名解析的方法及相关装置 | |
US10530738B2 (en) | DNS resolution replay for bare domain names that map to “A” records | |
CN110430188B (zh) | 一种快速url过滤方法及装置 | |
CN109067936B (zh) | 一种域名解析的方法及装置 | |
WO2015006349A1 (en) | Domain classification using domain co-occurrence information | |
WO2017166524A1 (zh) | 域名解析方法及装置 | |
CN106850572B (zh) | 目标资源的访问方法和装置 | |
CN106790593B (zh) | 一种页面处理方法和装置 | |
CN111787129A (zh) | 为客户端配置本地dns服务器的方法及系统 | |
CN111010460A (zh) | 域名解析方法和装置 | |
US10404651B2 (en) | Domain name system network traffic management | |
WO2021057369A1 (zh) | HttpDNS调度方法、装置、介质及设备 | |
CN111447291B (zh) | 基于dns的调度方法、系统及电子设备 | |
CN108494870A (zh) | 基于cdn的动态数据加载方法及装置 | |
CN110943876A (zh) | Url状态检测方法、装置、设备和系统 | |
EP2426894B1 (en) | System and method of processing DNS request and DNS reply | |
CN115442329B (zh) | 域名信息查询方法、系统、装置、设备及存储介质 | |
KR20010035965A (ko) | 인터넷 주소 부가정보 서비스 제공을 위한 기관 및 지역별 인터넷 주소 묶음결정 방법, 인터넷 주소 묶음별 사용지역 정보 획득 방법 | |
CN103078968A (zh) | 域名查询方法、ip分族方法、装置和设备 | |
CN110769020B (zh) | 一种资源请求处理方法、装置、设备及系统 | |
KR100347985B1 (ko) | 인터넷 주소 부가정보 제공 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240315 Address after: Room 03, 2nd Floor, Building A, No. 20 Haitai Avenue, Huayuan Industrial Zone (Huanwai), Binhai New Area, Tianjin, 300450 Applicant after: 3600 Technology Group Co.,Ltd. Country or region after: Zhong Guo Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Applicant before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Country or region before: Zhong Guo |
|
GR01 | Patent grant | ||
GR01 | Patent grant |