CN104184846A - 一种互联网端口的整理方法及装置 - Google Patents

一种互联网端口的整理方法及装置 Download PDF

Info

Publication number
CN104184846A
CN104184846A CN201410459112.3A CN201410459112A CN104184846A CN 104184846 A CN104184846 A CN 104184846A CN 201410459112 A CN201410459112 A CN 201410459112A CN 104184846 A CN104184846 A CN 104184846A
Authority
CN
China
Prior art keywords
domain name
port
address
transfer
http80
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410459112.3A
Other languages
English (en)
Other versions
CN104184846B (zh
Inventor
周丰杰
康向荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING HAOHAN DATA INFORMATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING HAOHAN DATA INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING HAOHAN DATA INFORMATION TECHNOLOGY Co Ltd filed Critical BEIJING HAOHAN DATA INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410459112.3A priority Critical patent/CN104184846B/zh
Publication of CN104184846A publication Critical patent/CN104184846A/zh
Application granted granted Critical
Publication of CN104184846B publication Critical patent/CN104184846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明实施例公开了一种互联网端口的整理方法及装置,用于完善现有的爬虫程序在某些场景下无法取出所需的非http80端口的域名的技术缺陷。本发明实施例的方法包括:获取域名及与域名相对应的ip地址;建立与域名相对应的中转ip地址;通过重定向方式将域名分组解析至中转ip地址;依次分析每组域名的端口,并提取非http80端口相对应的域名。

Description

一种互联网端口的整理方法及装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种互联网端口的整理方法及装置。
背景技术
在基于互联网的服务端口使用不统一不规范,常常面临着程序员使用非常规的80端口作为http的服务端口,如:8080、8090等端口,以及为了提高访问用户登陆网站用户数据的安全性,使用了https的ssl数据加密传输,相当部分的网站会选择在同一个域名底下使用http和https两种协议等,基于这样两种互联网技术中的cache缓存技术,通常使用爬虫程序,对互联网页面进行爬取,然后将页面内的目标取出,通过判断协议和域名后面的端口来将非http80端口服务的域名挑出来。
然而,上述的通过爬虫程序对非http80端口服务的域名挑出来的技术,当页面不是通过页面牵引,而是直接通过浏览器输入进行访问的,以及页面的可访问内容不在根域名底下时,是无法通过爬虫程序将所需的非http80端口的域名给取出的,从而导致cache缓存错误的技术问题。
因此,为了完善爬虫程序基于某些场景下无法取出所需的非http80端口的域名的技术缺陷,本领域技术人员亟待解决前述的技术问题。
发明内容
本发明实施例提供了一种互联网端口的整理方法及装置,用于完善现有的爬虫程序在某些场景下无法取出所需的非http80端口的域名的技术缺陷。
本发明实施例提供的一种互联网端口的整理方法,包括:
获取域名及与所述域名相对应的ip地址;
建立与所述域名相对应的中转ip地址;
通过重定向方式将所述域名分组解析至所述中转ip地址;
依次分析每组所述域名的端口,并提取非http80端口相对应的所述域名。
可选地,
获取域名及与所述域名相对应的ip地址之前还包括:
提取cache缓存中的所有的所述域名。
可选地,
建立与所述域名相对应的中转ip地址具体包括:
建立多组中转ip地址;
将所述域名分组对应所述中转ip地址。
可选地,
通过重定向方式将所述域名分组解析至所述中转ip地址具体包括:
对所述域名通过nat平台分进行nat映射;
通过重定向方式将所述域名分组解析至所述中转ip地址。
可选地,
依次分析每组所述域名的端口,并提取非http80端口相对应的所述域名具体包括:
通过日志分析每组所述域名;
通过所述域名和与之对应的所述中转ip地址获取相对应的所述端口,并写入数据库;
提取非http80端口相对应的所述域名。
本发明实施例中提供的一种互联网端口的整理装置,包括:
获取单元,用于获取域名及与所述域名相对应的ip地址;
建立单元,用于建立与所述域名相对应的中转ip地址;
解析单元,用于通过重定向方式将所述域名分组解析至所述中转ip地址;
提取单元,用于依次分析每组所述域名的端口,并提取非http80端口相对应的所述域名。
可选地,
所述的互联网端口的整理装置还包括:
提取单元,用于提取cache缓存中的所有的所述域名。
可选地,
建立单元具体包括:
建立子单元,用于建立多组中转ip地址;
分组子单元,用于将所述域名分组对应所述中转ip地址。
可选地,
解析单元具体包括:
映射子单元,用于对所述域名通过nat平台分进行nat映射;
解析子单元,用于通过重定向方式将所述域名分组解析至所述中转ip地址。
可选地,
提取单元具体包括:
分析子单元,用于通过日志分析每组所述域名;
获取写入子单元,用于通过所述域名和与之对应的所述中转ip地址的相对应的所述端口,并写入数据库;
提取子单元,用于提取非http80端口相对应的所述域名。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例提供了一种互联网端口的整理方法及装置,方法包括:获取域名及与域名相对应的ip地址;建立与域名相对应的中转ip地址;通过重定向方式将域名分组解析至中转ip地址;依次分析每组域名的端口,并提取非http80端口相对应的域名。本实施例中,通过先建立与域名相对应的中转ip地址,再通过重定向方式将域名分组解析至中转ip地址,然后依次分析每组域名的端口,最后提取非http80端口相对应的域名的方法,便解决了现有的爬虫程序基于页面不是通过页面牵引,而是直接通过浏览器输入进行访问的,以及页面的可访问内容不在根域名底下时,是无法通过爬虫程序将所需的非http80端口的域名给取出的,从而避免了cache缓存加速时,在非http80端口服务的影响客户端对真正源站的访问的错误的技术产生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种互联网端口的整理方法的一个实施例的流程示意图;
图2为本发明实施例提供的一种互联网端口的整理方法另一个实施例的流程示意图;
图3为本发明实施例提供的一种互联网端口的整理方法的另一个实施例的流程示意图;
图4为本发明实施例提供的一种互联网端口的整理装置的一个实施例的结构示意图;
图5为本发明实施例提供的一种互联网端口的整理装置的另一个实施例的结构示意图;
图6为本发明实施例提供的一种互联网端口的整理装置的另一个实施例的结构示意图。
具体实施方式
本发明实施例提供了一种互联网端口的整理方法及装置,用于完善现有的爬虫程序在某些场景下无法取出所需的非http80端口的域名的技术缺陷。
HTTP(Hypertext transfer protocol,超文本传输协议),是一种详细规定了浏览器和万维网服务器之间互相通信的规则,通过因特网传送万维网文档的数据传送协议。
NAT(Network Address Translation,网络地址转换)是将IP数据包头中的IP地址转换为另一个IP地址的过程。在实际应用中,NAT主要用于实现私有网络访问公共网络的功能。这种通过使用少量的公有IP地址代表较多的私有IP地址的方式,将有助于减缓可用IP地址空间的枯竭。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例提供的一种互联网端口的整理方法的一个实施例包括:
101、获取域名及与域名相对应的ip地址;
本实施例中,当需要面对大量客户端对大量域名进行访问时,常常面对的域名端口的混乱,需要对互联网端口进行直观的整理时,首先需要获取域名及与之相对应的ip地址。
可以理解的是,前述的获取域名及与之相对应的ip地址可以是在运营商网内进行解析,获取到域名对应的源站server的ip地址形成相对应的关系。
102、建立与域名相对应的中转ip地址;
当获取域名及与域名相对应的ip地址之后,需要建立与域名相对应的中转ip地址,例如域名为a.qq.com,源站的ip地址为1.1.1.1,建立的与域名a.qq.com相对应的中转ip地址为10.10.10.1,则域名,源站ip地址和中转ip地址的对应关系为a.qq.com 1.1.1.1 10.10.10.1,此处具体不做限定。
103、通过重定向方式将域名分组解析至中转ip地址;
当建立与域名相对应的中转ip地址之后,需要通过重定向方式将域名分组解析至中转ip地址,需要说明的是,前述的重定向方式可以是通过DNS重定向的技术手段,比如LDNS做解析、DNS抢先应答等方法,此处具体不做限定,将域名解析到中转ip;比如:a.qq.com,源站解析的ip地址为1.1.1.1的地址,通过重定向手段给予客户端一个前述的不做102建立的中转ip地址,例如是10.10.10.1的地址,此处具体不做限定。
需要说明的是,前述的分组解析过程将在后续的实施例中进行详细的描述,此处不再赘述。
104、依次分析每组域名的端口,并提取非http80端口相对应的域名。
本实施例中,通过重定向方式将域名分组解析至中转ip地址之后,需要依次分析每组域名的端口,并提取非http80端口相对应的域名,在提取非http80端口之后,还可以进一步提取http80端口。
需要说明的是,前述的依次分析每组域名的端口的具体过程将在后续实施例中进行详细的描述,此处不再详细的赘述。
本实施例中,通过先建立与域名相对应的中转ip地址,再通过重定向方式将域名分组解析至中转ip地址,然后依次分析每组域名的端口,最后提取非http80端口相对应的域名的方法,便解决了现有的爬虫程序基于页面不是通过页面牵引,而是直接通过浏览器输入进行访问的,以及页面的可访问内容不在根域名底下时,是无法通过爬虫程序将所需的非http80端口的域名给取出的,从而避免了cache缓存加速时,在非http80端口服务的影响客户端对真正源站的访问的错误的技术产生。
上面是对互联网端口的整理方法的过程进行详细的描述,下面将对建立与域名相对应的中转ip地址的具体过程进行详细的描述,请参阅图2,本发明实施例提供的一种互联网端口的整理方法的另一个实施例包括:
201、提取cache缓存中的所有的域名;
本实施例中,当需要面对大量客户端对大量域名进行访问时,常常面对的域名端口的混乱,需要对互联网端口进行直观的整理时,需要提取cache缓存中的所有的域名,需要说明的是,前述的提取域名可以是从Local DNS设备上,提取客户端请求的所有精确域名,然后调出cache缓存需要的域名,例如要分析*.qq.com这个域底下的所有域名,那么就将所有qq.com的精确子域名都拿出来。
202、获取域名及与域名相对应的ip地址;
当提取cache缓存中的所有的域名之后,首先需要获取域名及与之相对应的ip地址。
可以理解的是,前述的获取域名及与之相对应的ip地址可以是在运营商网内进行解析,获取到域名对应的源站server的ip地址形成相对应的关系。
203、建立多组中转ip地址,并将域名分组对应中转ip地址;
当获取域名及与域名相对应的ip地址之后,需要建立多组中转ip地址,并将域名分组对应中转ip地址,例如域名为a.qq.com,源站的ip地址为1.1.1.1,建立的与域名a.qq.com相对应的中转ip地址为10.10.10.1,则域名,源站ip地址和中转ip地址的对应关系为a.qq.com 1.1.1.1 10.10.10.1,此处具体不做限定。
需要说明的是,前述的多组中转ip地址及将域名分组对应中转ip地址可以是当源站ip地址为1.1.1.1,2.2.2.2,3.3.3.3……为源站点ip,10.10.10.0/24为申请到的可用中转ip,分组如下:
第一组:
a.qq.com 1.1.1.1 10.10.10.1
b.qq.com 2.2.2.2 10.10.10.2
………………
第二组:
c.qq.com 3.3.3.3 10.10.10.1
d.qq.com 4.4.4.4 10.10.10.2,此处具体不做限定。
204、通过重定向方式将域名分组解析至中转ip地址;
当建立多组中转ip地址,并将域名分组对应中转ip地址之后,需要通过重定向方式将域名分组解析至中转ip地址,需要说明的是,前述的重定向方式可以是通过DNS重定向的技术手段,比如LDNS做解析、DNS抢先应答等方法,此处具体不做限定,将域名解析到中转ip;比如:a.qq.com,源站解析的ip地址为1.1.1.1的地址,通过重定向手段给予客户端一个前述的不做102建立的中转ip地址,例如是10.10.10.1的地址,此处具体不做限定。
需要说明的是,前述的分组解析过程将在后续的实施例中进行详细的描述,此处不再赘述。
205、依次分析每组域名的端口,并提取非http80端口相对应的域名。
本实施例中,通过重定向方式将域名分组解析至中转ip地址之后,需要依次分析每组域名的端口,并提取非http80端口相对应的域名,在提取非http80端口之后,还可以进一步提取http80端口。
需要说明的是,前述的依次分析每组域名的端口的具体过程将在后续实施例中进行详细的描述,此处不再详细的赘述。
本实施例中,通过先建立与域名相对应的中转ip地址,再通过重定向方式将域名分组解析至中转ip地址,然后依次分析每组域名的端口,最后提取非http80端口相对应的域名的方法,便解决了现有的爬虫程序基于页面不是通过页面牵引,而是直接通过浏览器输入进行访问的,以及页面的可访问内容不在根域名底下时,是无法通过爬虫程序将所需的非http80端口的域名给取出的,从而避免了cache缓存加速时,在非http80端口服务的影响客户端对真正源站的访问的错误的技术产生,同时,解析根域名下的所有子域名,进一步提高了后续的端口整理的精确度。
上面是对建立与域名相对应的中转ip地址的具体过程进行详细的描述,下面将对分组解析至中转ip地址的过程进行详细的描述,请参阅图3,本发明实施例提供的一种互联网端口的整理方法的另一个实施例包括:
301、提取cache缓存中的所有的域名;
本实施例中,当需要面对大量客户端对大量域名进行访问时,常常面对的域名端口的混乱,需要对互联网端口进行直观的整理时,需要提取cache缓存中的所有的域名,需要说明的是,前述的提取域名可以是从Local DNS设备上,提取客户端请求的所有精确域名,然后调出cache缓存需要的域名,例如要分析*.qq.com这个域底下的所有域名,那么就将所有qq.com的精确子域名都拿出来。
302、获取域名及与域名相对应的ip地址;
当提取cache缓存中的所有的域名之后,首先需要获取域名及与之相对应的ip地址。
可以理解的是,前述的获取域名及与之相对应的ip地址可以是在运营商网内进行解析,获取到域名对应的源站server的ip地址形成相对应的关系。
303、建立多组中转ip地址,并将域名分组对应中转ip地址;
当获取域名及与域名相对应的ip地址之后,需要建立多组中转ip地址,并将域名分组对应中转ip地址,例如域名为a.qq.com,源站的ip地址为1.1.1.1,建立的与域名a.qq.com相对应的中转ip地址为10.10.10.1,则域名,源站ip地址和中转ip地址的对应关系为a.qq.com 1.1.1.1 10.10.10.1,此处具体不做限定。
需要说明的是,前述的多组中转ip地址及将域名分组对应中转ip地址可以是当源站ip地址为1.1.1.1,2.2.2.2,3.3.3.3……为源站点ip,10.10.10.0/24为申请到的可用中转ip,分组如下:
第一组:
a.qq.com 1.1.1.1 10.10.10.1
b.qq.com 2.2.2.2 10.10.10.2
………………
第二组:
c.qq.com 3.3.3.3 10.10.10.1
d.qq.com 4.4.4.4 10.10.10.2,此处具体不做限定。
304、对域名通过nat平台分进行nat映射;
当建立多组中转ip地址,并将域名分组对应中转ip地址之后,需要对域名通过nat平台分进行nat映射,可以理解的是,nat映射可以是依据前述的步骤303的域名分组对应中转ip地址进行对应分组依次的一对一的nat映射。
需要说明的是,前述的nat映射可以是做ip地址的转发,端口不会做改变,只会做ip地址的转换,例如80的端口会转换成80,90的端口会转换成90,所有的端口都会转发。
305、通过重定向方式将域名分组解析至中转ip地址;
当对域名通过nat平台分进行nat映射之后,需要通过重定向方式将域名分组解析至中转ip地址,需要说明的是,前述的重定向方式可以是通过DNS重定向的技术手段,比如LDNS做解析、DNS抢先应答等方法,此处具体不做限定,将域名解析到中转ip;比如:a.qq.com,源站解析的ip地址为1.1.1.1的地址,通过重定向手段给予客户端一个前述的不做102建立的中转ip地址,例如是10.10.10.1的地址,此处具体不做限定。
需要说明的是,前述的分组解析过程将在后续的实施例中进行详细的描述,此处不再赘述。
306、通过日志分析每组域名;
本实施例中,通过重定向方式将域名分组解析至中转ip地址之后,需要通过日志分析每组域名,可以理解的是,前述的日志可以是在前述的nat平台上开启日志。
307、通过域名和与之对应的中转ip地址获取相对应的端口,并写入数据库;
当通过日志分析每组域名之后,需要通过域名和与之对应的中转ip地址获取相对应的端口,并写入数据库,可以理解的是,前述的通过域名和与之对应的中转ip地址获取相对应的端口可以是在日志中记录下第一组ip地址转发关系和与之对应的端口,通过域名和中转ip地址的对应关系得到了此域名下的端口。
需要说明的是,当完成第一组的域名分析和写入之后,重复此步骤依次对其它分组的域名进行分析和写入。
308、提取非http80端口相对应的域名。
本实施例中,当通过域名和与之对应的中转ip地址获取相对应的端口,并写入数据库之后,需要提取非http80端口相对应的域名,在提取非http80端口之后,还可以进一步提取http80端口。
本实施例中,通过先建立与域名相对应的中转ip地址,再通过重定向方式将域名分组解析至中转ip地址,然后依次分析每组域名的端口,最后提取非http80端口相对应的域名的方法,便解决了现有的爬虫程序基于页面不是通过页面牵引,而是直接通过浏览器输入进行访问的,以及页面的可访问内容不在根域名底下时,是无法通过爬虫程序将所需的非http80端口的域名给取出的,从而避免了cache缓存加速时,在非http80端口服务的影响客户端对真正源站的访问的错误的技术产生,同时,解析根域名下的所有子域名,进一步提高了后续的端口整理的精确度,以及通过nat映射和分组的方法,更优地提高了互联网端口的整理技术。
请参阅图4,本发明实施例中提供的一种互联网端口的整理装置的一个实施例包括:
获取单元401,用于获取域名及与域名相对应的ip地址;
建立单元402,用于建立与域名相对应的中转ip地址;
解析单元403,用于通过重定向方式将域名分组解析至中转ip地址;
提取单元404,用于依次分析每组域名的端口,并提取非http80端口相对应的域名。
本实施例中,通过建立单元402先建立与域名相对应的中转ip地址,再通过解析单元403重定向方式将域名分组解析至中转ip地址,然后依次分析每组域名的端口,最后提取单元404提取非http80端口相对应的域名的方法,便解决了现有的爬虫程序基于页面不是通过页面牵引,而是直接通过浏览器输入进行访问的,以及页面的可访问内容不在根域名底下时,是无法通过爬虫程序将所需的非http80端口的域名给取出的,从而避免了cache缓存加速时,在非http80端口服务的影响客户端对真正源站的访问的错误的技术产生。
上面是对互联网端口的整理装置的各单元进行详细的描述,下面将对附加单元进行详细的描述,请参阅图5,本发明实施例中提供的一种互联网端口的整理装置的另一个实施例包括:
提取单元501,用于提取cache缓存中的所有的域名;
获取单元502,用于获取域名及与域名相对应的ip地址;
建立单元503,用于建立与域名相对应的中转ip地址;
其中,建立单元503还可以进一步包括:
建立子单元5031,用于建立多组中转ip地址;
分组子单元5032,用于将域名分组对应中转ip地址。
解析单元504,用于通过重定向方式将域名分组解析至中转ip地址;
提取单元505,用于依次分析每组域名的端口,并提取非http80端口相对应的域名。
本实施例中,通过建立单元503先建立与域名相对应的中转ip地址,再通过解析单元504重定向方式将域名分组解析至中转ip地址,然后依次分析每组域名的端口,最后提取单元505提取非http80端口相对应的域名的方法,便解决了现有的爬虫程序基于页面不是通过页面牵引,而是直接通过浏览器输入进行访问的,以及页面的可访问内容不在根域名底下时,是无法通过爬虫程序将所需的非http80端口的域名给取出的,从而避免了cache缓存加速时,在非http80端口服务的影响客户端对真正源站的访问的错误的技术产生,同时,提取单元501解析根域名下的所有子域名,进一步提高了后续的端口整理的精确度。
上面是对附加单元进行详细的描述,下面将对解析单元和提取单元的子单元进行详细的描述,请参阅图6,本发明实施例中提供的一种互联网端口的整理装置的另一个实施例包括:
提取单元601,用于提取cache缓存中的所有的域名;
获取单元602,用于获取域名及与域名相对应的ip地址;
建立单元603,用于建立与域名相对应的中转ip地址;
其中,建立单元603还可以进一步包括:
建立子单元6031,用于建立多组中转ip地址;
分组子单元6032,用于将域名分组对应中转ip地址。
解析单元604,用于通过重定向方式将域名分组解析至中转ip地址;
其中,解析单元604还可以进一步包括:
映射子单元6041,用于对域名通过nat平台分进行nat映射;
解析子单元6042,用于通过重定向方式将域名分组解析至中转ip地址。
提取单元605,用于依次分析每组域名的端口,并提取非http80端口相对应的域名。
其中,提取单元605还可以进一步包括:
分析子单元6051,用于通过日志分析每组域名;
获取写入子单元6052,用于通过域名和与之对应的中转ip地址的相对应的端口,并写入数据库;
提取子单元6053,用于提取非http80端口相对应的域名。
本实施例中,通过建立单元603先建立与域名相对应的中转ip地址,再通过解析单元604重定向方式将域名分组解析至中转ip地址,然后依次分析每组域名的端口,最后提取单元605提取非http80端口相对应的域名的方法,便解决了现有的爬虫程序基于页面不是通过页面牵引,而是直接通过浏览器输入进行访问的,以及页面的可访问内容不在根域名底下时,是无法通过爬虫程序将所需的非http80端口的域名给取出的,从而避免了cache缓存加速时,在非http80端口服务的影响客户端对真正源站的访问的错误的技术产生,同时,提取单元601解析根域名下的所有子域名,进一步提高了后续的端口整理的精确度,以及映射子单元6041通过nat映射和分组的方法,更优地提高了互联网端口的整理技术。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种互联网端口的整理方法,其特征在于,包括:
获取域名及与所述域名相对应的ip地址;
建立与所述域名相对应的中转ip地址;
通过重定向方式将所述域名分组解析至所述中转ip地址;
依次分析每组所述域名的端口,并提取非http80端口相对应的所述域名。
2.根据权利要求1所述的互联网端口的整理方法,其特征在于,获取域名及与所述域名相对应的ip地址之前还包括:
提取cache缓存中的所有的所述域名。
3.根据权利要求1所述的互联网端口的整理方法,其特征在于,建立与所述域名相对应的中转ip地址具体包括:
建立多组中转ip地址;
将所述域名分组对应所述中转ip地址。
4.根据权利要求1所述的互联网端口的整理方法,其特征在于,通过重定向方式将所述域名分组解析至所述中转ip地址具体包括:
对所述域名通过nat平台分进行nat映射;
通过重定向方式将所述域名分组解析至所述中转ip地址。
5.根据权利要求1所述的互联网端口的整理方法,其特征在于,依次分析每组所述域名的端口,并提取非http80端口相对应的所述域名具体包括:
通过日志分析每组所述域名;
通过所述域名和与之对应的所述中转ip地址获取相对应的所述端口,并写入数据库;
提取非http80端口相对应的所述域名。
6.一种互联网端口的整理装置,其特征在于,包括:
获取单元,用于获取域名及与所述域名相对应的ip地址;
建立单元,用于建立与所述域名相对应的中转ip地址;
解析单元,用于通过重定向方式将所述域名分组解析至所述中转ip地址;
提取单元,用于依次分析每组所述域名的端口,并提取非http80端口相对应的所述域名。
7.根据权利要求6所述的互联网端口的整理装置,其特征在于,所述的互联网端口的整理装置还包括:
提取单元,用于提取cache缓存中的所有的所述域名。
8.根据权利要求6所述的互联网端口的整理装置,其特征在于,建立单元具体包括:
建立子单元,用于建立多组中转ip地址;
分组子单元,用于将所述域名分组对应所述中转ip地址。
9.根据权利要求6所述的互联网端口的整理装置,其特征在于,解析单元具体包括:
映射子单元,用于对所述域名通过nat平台分进行nat映射;
解析子单元,用于通过重定向方式将所述域名分组解析至所述中转ip地址。
10.根据权利要求6所述的互联网端口的整理装置,其特征在于,提取单元具体包括:
分析子单元,用于通过日志分析每组所述域名;
获取写入子单元,用于通过所述域名和与之对应的所述中转ip地址的相对应的所述端口,并写入数据库;
提取子单元,用于提取非http80端口相对应的所述域名。
CN201410459112.3A 2014-09-10 2014-09-10 一种互联网端口的整理方法及装置 Active CN104184846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410459112.3A CN104184846B (zh) 2014-09-10 2014-09-10 一种互联网端口的整理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410459112.3A CN104184846B (zh) 2014-09-10 2014-09-10 一种互联网端口的整理方法及装置

Publications (2)

Publication Number Publication Date
CN104184846A true CN104184846A (zh) 2014-12-03
CN104184846B CN104184846B (zh) 2017-09-26

Family

ID=51965574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410459112.3A Active CN104184846B (zh) 2014-09-10 2014-09-10 一种互联网端口的整理方法及装置

Country Status (1)

Country Link
CN (1) CN104184846B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016184349A1 (zh) * 2015-05-21 2016-11-24 阿里巴巴集团控股有限公司 一种域名解析方法、装置及系统
CN106506709A (zh) * 2017-01-04 2017-03-15 飞天诚信科技股份有限公司 一种远程日志获取方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505323A (zh) * 2009-02-24 2009-08-12 南京联创科技股份有限公司 海量数据下基于内容分析的域名解析重定向方法
CN102457588A (zh) * 2011-12-20 2012-05-16 北京瑞汛世纪科技有限公司 一种实现反向域名解析的方法及装置
CN103389983A (zh) * 2012-05-08 2013-11-13 阿里巴巴集团控股有限公司 一种用于网络爬虫系统的网页内容抓取方法及装置
WO2013185352A1 (zh) * 2012-06-15 2013-12-19 华为技术有限公司 注册方法及设备、系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505323A (zh) * 2009-02-24 2009-08-12 南京联创科技股份有限公司 海量数据下基于内容分析的域名解析重定向方法
CN102457588A (zh) * 2011-12-20 2012-05-16 北京瑞汛世纪科技有限公司 一种实现反向域名解析的方法及装置
CN103389983A (zh) * 2012-05-08 2013-11-13 阿里巴巴集团控股有限公司 一种用于网络爬虫系统的网页内容抓取方法及装置
WO2013185352A1 (zh) * 2012-06-15 2013-12-19 华为技术有限公司 注册方法及设备、系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016184349A1 (zh) * 2015-05-21 2016-11-24 阿里巴巴集团控股有限公司 一种域名解析方法、装置及系统
CN106506709A (zh) * 2017-01-04 2017-03-15 飞天诚信科技股份有限公司 一种远程日志获取方法及系统
CN106506709B (zh) * 2017-01-04 2019-05-10 飞天诚信科技股份有限公司 一种远程日志获取方法及系统

Also Published As

Publication number Publication date
CN104184846B (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
CN106302842B (zh) 一种域名解析方法、装置及系统
CN106933871B (zh) 短链接处理方法、装置及短链接服务器
CN104486461A (zh) 域名分类方法和装置、域名识别方法和系统
CN104933056A (zh) 统一资源定位符去重方法及装置
CN102624920A (zh) 一种通过代理服务器进行访问的方法及装置
CN104283723A (zh) 网络访问日志处理方法及装置
CN107257390B (zh) 一种url地址的解析方法和系统
WO2006031748A3 (en) System and method for connection optimization
CN103297270A (zh) 应用类型识别方法及网络设备
CN104426862A (zh) 实现跨域请求登录的方法、系统及浏览器
CN101571876B (zh) 脚本程序运行逻辑扩展的方法、服务器和客户端
CN104980446A (zh) 一种恶意行为的检测方法及系统
CN102664926A (zh) 用户信息共享方法及系统
CN104378399A (zh) 一种数据推送方法、平台服务器、客户端以及系统
CN107347076A (zh) Ssrf漏洞的检测方法及装置
CN102904765A (zh) 数据上报的方法及设备
CN105262812A (zh) 一种基于云计算平台的日志数据处理方法、装置及系统
CN111010456B (zh) 一种主域名获取和验证方法
CN104184846A (zh) 一种互联网端口的整理方法及装置
EP3161589B1 (en) Dns rendezvous localization
CN103905434A (zh) 一种网络数据处理方法和装置
CN104102707B (zh) 一种面向MapReduce框架的地理归属信息查询方法
CN111225038A (zh) 服务器访问方法及装置
CN105516114A (zh) 一种基于网页哈希值扫描漏洞的方法、装置及电子设备
CN108228623B (zh) 一种数据处理方法和客户端设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Room 218, 2nd Floor, Building A, No. 119 West Fourth Ring North Road, Haidian District, Beijing, 100000

Patentee after: HAOHAN DATA TECHNOLOGY CO.,LTD.

Address before: 100142 No. 14, No. 45, North dewa Road, Haidian District, Beijing, 102

Patentee before: HAOHAN DATA TECHNOLOGY CO.,LTD.

CP02 Change in the address of a patent holder