CN109218457B - 网络数据处理方法、装置和系统 - Google Patents

网络数据处理方法、装置和系统 Download PDF

Info

Publication number
CN109218457B
CN109218457B CN201710548406.7A CN201710548406A CN109218457B CN 109218457 B CN109218457 B CN 109218457B CN 201710548406 A CN201710548406 A CN 201710548406A CN 109218457 B CN109218457 B CN 109218457B
Authority
CN
China
Prior art keywords
domain name
server
localdns
target
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710548406.7A
Other languages
English (en)
Other versions
CN109218457A (zh
Inventor
廖伟健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710548406.7A priority Critical patent/CN109218457B/zh
Publication of CN109218457A publication Critical patent/CN109218457A/zh
Application granted granted Critical
Publication of CN109218457B publication Critical patent/CN109218457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/09Mapping addresses
    • H04L61/25Mapping addresses of the same type
    • H04L61/2503Translation of Internet protocol [IP] addresses
    • H04L61/255Maintenance or indexing of mapping tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Abstract

本发明涉及一种网络数据处理方法、装置和系统,包括:权威DNS服务器接收终端所在网络的本地域名服务器LocalDNS发送的携带随机化的目标域名的域名解析请求,从域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器;权威DNS服务器根据域名解析请求向本地域名服务器返回目标域名对应的目标Web服务器的IP地址,以使终端确定对应的目标Web服务器;目标Web服务器接收终端发送的包括目标域名的HTTP请求,从中获取来源IP地址得到网络出口IP,将目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使统计服务器根据第一关联关系、第二关联关系建立LocalDNS递归出口IP与网络出口IP之间的匹配关系,保证可靠性。

Description

网络数据处理方法、装置和系统
技术领域
本发明涉及计算机技术领域,特别是涉及一种网络数据处理方法、装置和系统。
背景技术
随着计算机技术的发展,人们越来越多的通过网络进行交流和获取各种信息,超文本传输协议(HTTP,HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议,如通过发送HTTP请求访问网络页面、获取文件数据等。
在用户进行访问过程中,可能出现网速慢,响应时间长等情形,发现用户访问有问题需要去进行排查时,一般都是联系不上用户的,只能通过业务的日志判断出用户的网络属性,再通过其它渠道获取相同网络属性的用户一般对应的目标本地域名服务器LocalDNS,然后再通过向此LocalDNS发起探测来获取LocalDNS对应的递归出口IP来判断用户的访问行为,获取用户出口IP及获取用户对应的LocalDNS的递归出口IP为两个分离的过程,获取的数据不可靠,且向此LocalDNS发起域名解析请求存在网络限制和探测成本高的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种网络数据处理方法、装置和系统,能保证用户出口IP及用户对应的LocalDNS的递归出口IP之间的对应关系的可靠性,并方便的获取所述对应关系。
一种网络数据处理方法,所述方法包括:
权威DNS服务器接收终端所在网络的本地域名服务器LocalDNS发送的域名解析请求,所述域名解析请求携带随机化的目标域名,从所述域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将所述LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器;
所述权威DNS服务器根据所述域名解析请求向本地域名服务器返回所述目标域名对应的目标Web服务器的IP地址,以使终端获取所述目标Web服务器的IP地址,确定对应的目标Web服务器;
目标Web服务器接收终端发送的HTTP请求,所述HTTP请求包括所述目标域名,从所述HTTP请求中获取来源IP地址得到网络出口IP,将所述目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使所述统计服务器根据所述第一关联关系、第二关联关系建立所述LocalDNS递归出口IP与所述网络出口IP之间的匹配关系。
在一个实施例中,HTTP请求由终端满足预设逻辑条件或根据用户操作触发生成。
一种网络数据处理系统,所述系统包括:
权威DNS服务器,用于接收终端所在网络的本地域名服务器LocalDNS发送的域名解析请求,所述域名解析请求携带随机化的目标域名,从所述域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将所述LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器;
所述权威DNS服务器还用于根据所述域名解析请求向本地域名服务器返回所述目标域名对应的目标Web服务器的IP地址,以使终端获取所述目标Web服务器的IP地址,确定对应的目标Web服务器;
目标Web服务器,用于接收终端发送的HTTP请求,所述HTTP请求包括所述目标域名,从所述HTTP请求中获取来源IP地址得到网络出口IP,将所述目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使统计服务器根据所述第一关联关系、第二关联关系建立所述LocalDNS递归出口IP与所述网络出口IP之间的对应关系。
在一个实施例中,目标Web服务器未指定虚拟主机,所述目标Web服务器还用于根据随机化的目标域名向终端返回预设最小响应数据。
在一个实施例中,终端用于获取当前运行状态,判断所述当前运行状态是否满足预设逻辑条件,如果是,则生成包括随机化的目标域名的URL,生成访问所述URL的HTTP请求;或所述终端用于根据用户操作触发生成所述HTTP请求。
在一个实施例中,对应关系用于判断网络出口IP的地理位置是否和LocalDNS递归出口IP的地理位置一致;和/或用于判断网络出口IP的网络属性是否与LocalDNS递归出口IP的网络属性一致,如果不一致,则用户访问异常。
上述网络数据处理方法和系统,通过权威DNS服务器接收终端所在网络的本地域名服务器LocalDNS发送的域名解析请求,域名解析请求携带随机化的目标域名,从域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器,权威DNS服务器根据域名解析请求向本地域名服务器返回目标域名对应的目标Web服务器的IP地址,以使终端获取目标Web服务器的IP地址,确定对应的目标Web服务器,目标Web服务器接收终端发送的HTTP请求,HTTP请求包括目标域名,从HTTP请求中获取来源IP地址得到网络出口IP,将目标域名与网络出口IP的第二关联关系发送至统计服务器,以使统计服务器根据第一关联关系、第二关联关系建立LocalDNS递归出口IP与网络出口IP之间的匹配关系,通过随机化的目标域名避免导致接收到重复的目标域名的域名解析请求时,LocalDNS命中缓存而不进行递归而导致LocalDNS递归出口IP与网络出口IP之间不匹配,对于通过一次HTTP请求获取到的用户网络出口IP及LocalDNS递归出口IP存在对应关系,保证用户出口IP及用户对应的LocalDNS的递归出口IP之间的对应关系的可靠性。无需在用户出现问题后再向localdns发起域名解析探测来获取localdns对应的递归出口IP,从而避免由于localdns处于内网导致域名解析探测失败的情形,能提高对应关系获取的覆盖范围,无论处于外网还是内网,只要能正常进行互联网域名解析及通过http协议访问内容,均在网络数据处理方法的覆盖范围内,可在用户访问过程出现问题需要进行排查时,方便的从统计服务器得到的匹配的LocalDNS递归出口IP与网络出口IP从而分析用户行为与问题原因。
一种网络数据处理方法,所述方法包括:
生成随机化的目标域名,生成包括所述目标域名的HTTP请求;
根据所述HTTP请求中的随机化的目标域名生成的对应的域名解析请求,将所述域名解析请求发送至当前所在网络的本地域名服务器LocalDNS,以使所述本地域名服务器LocalDNS将所述域名解析请求根据递归查询转发至权威DNS服务器,以使所述权威DNS服务器从所述域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将所述LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器;
接收本地域名服务器返回的目标Web服务器的IP地址,确定对应的目标Web服务器,向所述目标Web服务器发送所述HTTP请求,以使所述目标Web服务器从所述HTTP请求中获取来源IP地址得到网络出口IP,将所述目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使所述统计服务器根据所述第一关联关系、第二关联关系建立所述LocalDNS递归出口IP与所述网络出口IP之间的匹配关系。
在一个实施例中,生成随机化的目标域名的步骤之前,还包括:
获取当前运行状态,判断所述当前运行状态是否满足预设逻辑条件,如果是,则进入所述生成随机化的目标域名的步骤;和/或
获取预设的用户操作,触发进入所述生成随机化的目标域名的步骤。
在一个实施例中,生成随机化的目标域名的步骤包括:
获取当前时间,将所述当前时间转换为对应的时间整数;
获取随机数生成算法,根据所述随机数生成算法生成对应的随机数;
获取权威DNS服务器能够解析的二级域名和顶级域名;
根据所述时间整数、随机数、二级域名和顶级域名生成所述随机化的目标域名。
一种网络数据处理装置,所述装置包括:
HTTP请求生成模块,用于生成随机化的目标域名,生成包括所述目标域名的HTTP请求;
域名解析请求模块,用于根据所述HTTP请求中的随机化的目标域名生成的对应的域名解析请求,将所述域名解析请求发送至当前所在网络的本地域名服务器LocalDNS,以使所述本地域名服务器LocalDNS将所述域名解析请求根据递归查询转发至权威DNS服务器,以使所述权威DNS服务器从所述域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将所述LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器;
HTTP请求模块,用于接收本地域名服务器返回的目标Web服务器的IP地址,确定对应的目标Web服务器,向所述目标Web服务器发送所述HTTP请求,以使所述目标Web服务器从所述HTTP请求中获取来源IP地址得到网络出口IP,将所述目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使所述统计服务器根据所述第一关联关系、第二关联关系建立所述LocalDNS递归出口IP与所述网络出口IP之间的匹配关系。
在一个实施例中,权威DNS服务器、目标Web服务器为业务服务之外的数据收集专用的独立系统中的服务器。
上述网络数据处理方法和装置,通过终端自动生成随机化的目标域名,生成包括目标域名的HTTP请求,根据HTTP请求中的随机化的目标域名生成的对应的域名解析请求,将域名解析请求发送至当前所在网络的本地域名服务器LocalDNS,以使所述本地域名服务器LocalDNS将域名解析请求根据递归查询转发至权威DNS服务器,以使权威DNS服务器从所述域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器,接收本地域名服务器返回的目标Web服务器的IP地址,确定对应的目标Web服务器,向目标Web服务器发送所述HTTP请求,以使目标Web服务器从所述HTTP请求中获取来源IP地址得到网络出口IP,将目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使统计服务器根据所述第一关联关系、第二关联关系建立LocalDNS递归出口IP与网络出口IP之间的匹配关系,可通过包括随机化的目标域名的HTTP请求触发权威DNS服务器获取对应的LocalDNS递归出口IP,且通过随机化的目标域名避免导致接收到重复的目标域名的域名解析请求时,LocalDNS命中缓存而不进行递归而导致LocalDNS递归出口IP与网络出口IP之间不匹配,触发目标Web服务器获取网络出口IP,从而得到LocalDNS递归出口IP与网络出口IP之间的匹配关系,域名解析请求根据HTTP请求生成,保证了域名解析请求与HTTP请求的一致性,只需通过一个HTTP请求就可触发后续数据收集,得到LocalDNS递归出口IP与所述网络出口IP之间的匹配关系。
附图说明
图1为一个实施例中网络数据处理方法的应用环境图;
图2为一个实施例中图1中终端的内部结构图;
图3为一个实施例中网络数据处理方法的流程图;
图4为另一个实施例中网络数据处理方法的流程图;
图5为一个实施例中网络数据处理系统的结构框图;
图6为另一个实施例中网络数据处理系统的结构框图;
图7为一个实施例中另一种网络数据处理方法的流程图;
图8为一个实施例中生成随机化的域名的流程图;
图9为一个实施例中网络数据处理装置的结构框图;
图10为另一个实施例中网络数据处理装置的结构框图;
图11为一个实施例中HTTP请求生成模块的结构框图;
图12为一个具体的实施例中网络数据处理方法的流程示意图。
具体实施方式
图1为一个实施例中网络数据处理方法运行的应用环境图。如图1所示,该应用环境包括终端110、本地域名服务器120、权威DNS(Domain Name System,域名系统)服务器130、Web(World Wide Web,万维网)服务器140,统计服务器150,其中终端110、本地域名服务器120、权威DNS服务器130、Web服务器140可以通过网络进行通信。其中权威DNS服务器130、Web服务器140可以是实际提供业务服务的对应的权威DNS服务器和Web服务器,也可以是业务服务之外的数据收集专用的独立系统中的服务器。本地域名服务器120是终端所在网络对应的本地域名服务器,其中各个服务器可以是单个服务器或服务器集群,可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
终端110可为智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。终端110可以生成包括随机化的目标域名的HTTP请求,根据HTTP请求中的随机化的目标域名生成的对应的域名解析请求,将域名解析请求发送至本地域名服务器120,本地域名服务器120将域名解析请求根据递归查询转发至权威DNS服务器130,权威DNS服务器130从域名解析请求中获取来源IP地址确定为本地域名LocalDNS递归出口IP,将LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器150。终端110接收本地域名服务器返回的目标Web服务器的IP地址,确定对应的目标Web服务器140,向目标Web服务器140发送HTTP请求,目标Web服务器140从HTTP请求中获取来源IP地址确定为网络出口IP,将目标域名与网络出口IP的第二关联关系发送至统计服务器150,统计服务器根据150第一关联关系、第二关联关系建立LocalDNS递归出口IP与网络出口IP之间的匹配关系,通过随机化的目标域名避免导致接收到相同的目标域名的域名解析请求时,LocalDNS命中缓存而不进行递归而导致LocalDNS递归出口IP与网络出口IP之间不匹配,对于通过一次HTTP请求获取到的用户网络出口IP及LocalDNS递归出口IP存在对应关系,保证用户出口IP及用户对应的LocalDNS的递归出口IP之间的对应关系的可靠性。无需在用户出现问题后再向LocalDNS发起域名解析探测来获取LocalDNS对应的递归出口IP,从而避免由于LocalDNS处于内网导致域名解析探测失败的情形,能提高对应关系获取的覆盖范围,无论处于外网还是内网,只要能正常进行互联网域名解析及通过http协议访问内容,均在网络数据处理方法的覆盖范围内。
在一个实施例中,图1中的终端110的内部结构如图2所示,该终端110包括通过系统总线连接的处理器、图形处理单元、存储介质、内存、网络接口、显示屏幕和输入设备。其中,终端110的存储介质存储有操作系统,还包括网络数据处理装置,该装置用于实现一种适用于终端的网络数据处理方法。该处理器用于提供计算和控制能力,支撑整个终端110的运行。终端110中的图形处理单元用于至少提供显示界面的绘制能力,内存为存储介质中的网络数据处理装置的运行提供环境,网络接口用于与本地域名服务器120、目标Web服务器140进行网络通信。显示屏幕用于显示应用界面等,输入设备用于接收用户输入的命令或数据等。对于带触摸屏的终端110,显示屏幕和输入设备可为触摸屏。图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端的限定,具体的终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,如图3所示,提供了一种网络数据处理方法,以应用于上述应用环境中的权威DNS服务器和Web服务器来举例说明,包括以下步骤:
步骤S210,权威DNS服务器接收终端所在网络的本地域名服务器LocalDNS发送的域名解析请求,域名解析请求携带随机化的目标域名,从域名解析请求中获取来源IP地址确定为LocalDNS递归出口IP,将LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器。
具体的,权威DNS服务器是直接存储了域名与主机对应关系的服务器,本地域名服务器LocalDNS是终端所在的网络以进行域名递归解析的DNS服务器,LocalDNS接收到终端发送的携带待解析的目标域名的域名解析请求,查找本地DNS解析器缓存是否有目标域名对应的网址映射关系,如果有,则直接返回,如果没有,则进行域名递归解析,直至将请求转发至权威DNS服务器得到目标域名对应的网址映射关系。由于域名解析请求携带随机化的目标域名,从而避免了出现重复域名导致同一LocalDNS命中缓存而不进行递归的情形,且随机化程度越高,获取的LocalDNS递归出口IP与所述网络出口IP之间的匹配关系的可靠性越高,其中随机化目标域名生成算法可根据需要自定义。权威DNS服务器如果是业务服务对应的权威DNS服务器,则目标域名中的二级域名和顶级域名是提供业务服务的域名,域名解析请求可根据当前业务HTTP请求的响应状态生成,与当前业务HTTP请求相关。如果权威DNS服务器是提供业务之外的数据收集专用的服务器,则目标域名中的二级域名和顶级域名可以是权威DNS服务器能够解析的与业务无关的域名,如专门申请的测试域名,将权威DNS服务器与业务服务分离,用于专门提供数据收集服务,提高了数据收集系统与业务服务系统之间的独立性。域名解析请求可以是生成HTTP请求后,提取其中的目标域名生成对应的请求,也可以根据目标域名同时生成对应的HTTP请求和域名解析请求,保证域名解析请求与HTTP请求的关联性。
LocalDNS递归出口IP是LocalDNS在进行递归域名解析的时候的出口IP,可通过解析域名解析请求的tcp或udp报文在用户来源IP对应的固定的字段获取来源IP地址得到LocalDNS递归出口IP。将LocalDNS递归出口IP与目标域名建立第一关联关系,并将第一关联关系发送至统计服务器,发送的形式可根据需要自定义,在一个实施例中以日志的形式发送至统计服务器。
步骤S220,权威DNS服务器根据域名解析请求向本地域名服务器返回目标域名对应的目标Web服务器的IP地址,以使终端获取目标Web服务器的IP地址,确定对应的目标Web服务器。
具体的,权威DNS服务器根据网址映射关系得到目标域名对应的IP地址,此IP地址就是标Web服务器的IP地址。终端通过Web服务器的IP地址确定对应的目标Web服务器,从而向目标Web服务器发送HTTP请求,终端发送HTTP请求的服务器是由权威DNS服务器根据域名解析请求得到的目标域名对应的IP地址确定的服务器,保证了域名解析请求与HTTP请求的关联性,从而保证对于通过一次HTTP请求获取到的用户网络出口IP及LocalDNS递归出口IP存在对应关系。
步骤S230,目标Web服务器接收终端发送的HTTP请求,HTTP请求包括目标域名,从HTTP请求中获取来源IP地址得到网络出口IP,将目标域名与网络出口IP的第二关联关系发送至统计服务器,以使统计服务器根据第一关联关系、第二关联关系建立LocalDNS递归出口IP与所述网络出口IP之间的匹配关系。
具体的,HTTP请求是从客户端到服务器端的请求消息,HTTP请求可由终端的运行状态满足预设逻辑条件时生成或由用户触发生成,或根据预设周期到达生成时间时生成,具体的生成条件可根据需要自定义。HTTP请求生成时,先生成随机化的目标域名,再根据随机化的目标域名生成对应的URL,URL中除了包括随机化的目标域名,还可包括任意自定义的路径,只要保证目标Web服务器能正确响应就可,生成访问所述URL的HTTP请求。通过对目标域名进行域名解析后,得到对应的IP地址,从而向IP地址对应的目标Web服务器发送HTTP请求,其中HTTP请求的头部信息中的主机字段host包括目标域名。来源IP地址是发起这次http请求的最后一跳的网络出口IP,即客户端和http服务器建立tcp或udp连接所使用的IP。将目标域名与网络出口IP的第二关联关系发送至统计服务器,统计服务器获取相同目标域名的第一关联关系和第二关联关系,从而建立LocalDNS递归出口IP与网络出口IP之间的匹配关系,得到匹配的LocalDNS递归出口IP与网络出口IP。通过网络出口IP可得到客户端数据传输使用的网络类型和地理位置,通过LocalDNS递归出口IP可得到LocalDNS数据传输使用的网络类型和地理位置,从而可根据网络出口IP与LocalDNS递归出口IP数据传输使用的网络类型和地理位置之间的关系分析用户网络行为。
本实施例中,通过权威DNS服务器接收终端所在网络的本地域名服务器LocalDNS发送的域名解析请求,域名解析请求携带随机化的目标域名,从域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器,权威DNS服务器根据域名解析请求向本地域名服务器返回目标域名对应的目标Web服务器的IP地址,以使终端获取目标Web服务器的IP地址,确定对应的目标Web服务器,目标Web服务器接收终端发送的HTTP请求,HTTP请求包括目标域名,从HTTP请求中获取来源IP地址得到网络出口IP,将目标域名与网络出口IP的第二关联关系发送至统计服务器,以使统计服务器根据第一关联关系、第二关联关系建立LocalDNS递归出口IP与网络出口IP之间的匹配关系,通过随机化的目标域名避免导致接收到重复的目标域名的域名解析请求时,LocalDNS命中缓存而不进行递归而导致LocalDNS递归出口IP与网络出口IP之间不匹配,对于通过一次HTTP请求获取到的用户网络出口IP及LocalDNS递归出口IP存在对应关系,保证用户出口IP及用户对应的LocalDNS的递归出口IP之间的对应关系的可靠性。无需在用户出现问题后再向LocalDNS发起域名解析探测来获取LocalDNS对应的递归出口IP,从而避免由于LocalDNS处于内网导致域名解析探测失败的情形,能提高对应关系获取的覆盖范围,无论处于外网还是内网,只要能正常进行互联网域名解析及通过http协议访问内容,均在网络数据处理方法的覆盖范围内,可在用户访问过程出现问题需要进行排查时,方便的从统计服务器得到的匹配的LocalDNS递归出口IP与网络出口IP从而分析用户行为与问题原因。
在一个实施例中,权威DNS服务器、目标Web服务器为业务服务之外的数据收集专用的独立系统中的服务器。
具体的,权威DNS服务器、目标Web服务器是数据收集专用的独立系统中的服务器,与业务服务区分,保证了数据收集的独立性,可与任务的业务系统搭配使用。不需要对原业务系统的HTTP请求进行域名的随机化和唯一化,也不需要对web服务进行兼容性改造,可在业务服务系统不做任何改变的基础上进行数据的收集。且无须特定硬件或网络环境支持,只需要新搭建一套专用的包括权威DNS服务器的权威域名解析系统、http服务器及数据分析系统即可完成数据收集与分析。
在一个实施例中,目标Web服务器未指定虚拟主机,如图4所示,步骤S230中目标Web服务器接收终端发送的HTTP请求的步骤之后,还包括:目标Web服务器根据随机化的目标域名向终端返回预设最小响应数据。
具体的,由于此HTTP请求中包括了随机的目标域名,目标Web服务器在进行响应返回标准的http应答时,对于随机的目标域名未指定虚拟主机,无需要向不同的虚拟主机获取不同的响应数据,只需要返回预设的最小响应数据以通知客户端HTTP请求发送成功,目标最小响应数据可以是空白页面、最小分辨率像素的图片,如1*1像素的图片,或一个字符等。不同的目标域名可返回相同或不同的预设的最小响应数据。
在一个实施例中,本地域名服务器LocalDNS发送的域名解析请求是由本地域名服务器接收的由终端发送的域名解析请求,所述域名解析请求由所述终端根据所述HTTP请求中的随机化的目标域名生成,并由所述本地域名服务器根据递归查询转发至权威DNS服务器。
具体的,终端先生成HTTP请求,HTTP请求包括随机化的目标域名,再获取HTTP请求中的随机化的目标域名生成对应的域名解析请求。将域名解析请求发送至终端所在网络的本地域名服务器,再由本地域名服务器进行域名递归解析,发送至权威DNS服务器。保证了权威DNS服务器收到的域名解析请求根据HTTP请求生成的,从而保证了域名解析请求与HTTP请求的一致性,只需通过一个HTTP请求就可触发生成对应的域名解析请求,触发后续数据收集,得到LocalDNS递归出口IP与所述网络出口IP之间的匹配关系。
在一个实施例中,HTTP请求由终端满足预设逻辑条件或根据用户操作触发生成。
具体的,预设逻辑条件可根据需要自定义,如判断响应速度是否小于预设阈值、判断响应时间是否超过预设阈值,且根据不同的终端硬件条件和使用的网络带宽可自适应的计算不同的预设阈值,或到达预设时间周期则自动触发生成包括随机化域名的HTTP请求,如每天第一次请求数据时触发等。将预设逻辑条件设置在应用逻辑中,只要到达预设逻辑条件就可实时触发HTTP请求从而进行数据的收集,数据收集的实时性高,可实时根据收集的数据定位用户访问异常,并进行针对性的解决。可在界面设置专门用于数据收集触发的虚拟按键或用户通过预设手势操作进行触发,可在用户需要触发时方便进行触发数据的收集。
在一个实施例中,随机化的目标域名包括域名解析请求发送时间对应的转换整数、随机算法生成的随机数和权威DNS服务器能够解析的二级域名和顶级域名。
具体的,发送时间对应的转换整数的转换算法可根据需要自定义,如转化为1970年1月1日(00:00:00GMT)以来的秒数。当前时间的精确度一般高于秒量级,时间的最小粒度越小,出现重复域名导致同一LocalDNS命中缓存而不进行递归的概率就越小,从而获取的LocalDNS递归出口IP与所述网络出口IP之间的匹配关系越可靠。生成的随机数的随机算法可根据需要自定义,随机数的位数越多,出现重复域名导致同一LocalDNS命中缓存而不进行递归的概率就越小,从而获取的LocalDNS递归出口IP与所述网络出口IP之间的匹配关系越可靠。最后二个元素为权威DNS服务器能够解析的二级域名和顶级域名,最终生成的整个域名的定义必须符合RFC 1035中section 2.3.1中“preferred name syntax”的规定。通过在目标域名中包括发送时间对应的转换整数、随机算法生成的随机数将多重随机进行整合加强了目标域名的随机化与唯一性。
在一个实施例中,目标域名还包括用户标识,步骤S210中将LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器的步骤包括:将LocalDNS递归出口IP、目标域名、用户标识的第一关联关系发送至统计服务器。步骤S230中以使统计服务器根据第一关联关系、第二关联关系建立LocalDNS递归出口IP与所述网络出口IP之间的匹配关系的步骤包括:以使统计服务器将目标域名作为主键,获取目标域名对应的用户标识、网络出口IP、LocalDNS递归出口IP,建立目标域名、用户标识、网络出口IP、LocalDNS递归出口IP之间的匹配关系。
具体的,目标域名还包括用户标识,如用于识别用户身份的字符串。在第一关联关系中包括用户标识,从而得到第二关联关系后,获取相同目标域名的第一关联关系和第二关联关系,从第一关联关系中获取用户标识,并将目标域名、用户标识、网络出口IP、LocalDNS递归出口IP之间建立匹配关系,匹配关系中包括用户标识,从而可区分不同用户对应的数据,便于互联网业务运维人员对用户的访问数据进行区分和管理。
在一个实施例中,匹配关系用于判断网络出口IP的地理位置是否和LocalDNS递归出口IP的地理位置一致;和/或用于判断网络出口IP的网络属性是否与LocalDNS递归出口IP的网络属性一致,如果不一致,则用户访问异常。
具体的,统计服务器上存储的匹配关系数据可在当前服务器或发送至其它的服务器或终端进行用户访问的分析。其中地理位置包括当前所在的图家、省份、市,网络属性包括运营商种类,如电信、移动、联通等。如果网络出口IP的地理位置和LocalDNS递归出口IP的地理位置不一致,则说明当前用户使用的是第一地区的网络,而LocalDNS却向其它地区的服务器发送数据请求,可能导致用户访问异常。如果网络出口IP的网络属性与LocalDNS递归出口IP的网络属性不一致,则说明当前用户使用的是第一运营商提供的网络,而LocalDNS却通过其它运营商提供的网络传输数据,导致用户访问异常。通过收集LocalDNS递归出口IP与所述网络出口IP之间的匹配关系数据来为用户的访问异常进行定位或对用户行为进行分析以对互联网产品进行体验优化提供数据支撑。
在一个实施例中,如图5所示,提供了一种网络数据处理系统,包括:
权威DNS服务器310,用于接收终端所在网络的本地域名服务器LocalDNS发送的域名解析请求,域名解析请求携带随机化的目标域名,从域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器。
权威DNS服务器310还用于根据域名解析请求向本地域名服务器返回目标域名对应的目标Web服务器的IP地址,以使终端获取目标Web服务器的IP地址,确定对应的目标Web服务器。
目标Web服务器320,用于接收终端发送的HTTP请求,HTTP请求包括所述目标域名,从HTTP请求中获取来源IP地址得到网络出口IP,将目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使统计服务器根据所述第一关联关系、第二关联关系建立所述LocalDNS递归出口IP与网络出口IP之间的对应关系。
本实施例中,通过权威DNS服务器、目标Web服务器的配合,权威DNS服务器接收到的是随机化的目标域名对应的域名解析请求,通过随机化的目标域名避免导致接收到重复的目标域名的域名解析请求时,LocalDNS命中缓存而不进行递归而导致LocalDNS递归出口IP与网络出口IP之间不匹配,对于通过一次HTTP请求获取到的用户网络出口IP及LocalDNS递归出口IP存在对应关系,保证用户出口IP及用户对应的LocalDNS的递归出口IP之间的对应关系的可靠性。网络数据处理系统无需在用户出现问题后再向localdns发起域名解析探测来获取localdns对应的递归出口IP,从而避免由于localdns处于内网导致域名解析探测失败的情形,能提高对应关系获取的覆盖范围,无论处于外网还是内网,只要能正常进行互联网域名解析及通过http协议访问内容,均在网络数据处理系统的覆盖范围内,可在用户访问过程出现问题需要进行排查时,方便的从统计服务器得到的匹配的LocalDNS递归出口IP与网络出口IP从而分析用户行为与问题原因。
在一个实施例中,权威DNS服务器、目标Web服务器为业务服务之外的数据收集专用的独立系统中的服务器。
具体的,通过业务服务之外的数据收集专用的权威DNS服务器、目标Web服务器建立了与业务服务独立的网络数据处理系统,可与任意一个业务服务系统匹配进行数据的收集。
在一个实施例中,目标Web服务器未指定虚拟主机,目标Web服务器还用于根据随机化的目标域名向终端返回预设最小响应数据。
在一个实施例中,本地域名服务器用于接收终端根据HTTP请求中的随机化的目标域名生成的对应的域名解析请求,将域名解析请求根据递归查询转发至权威DNS服务器。
在一个实施例中,终端用于获取当前运行状态,判断当前运行状态是否满足预设逻辑条件,如果是,则生成包括随机化的目标域名的URL,生成访问URL的HTTP请求;或终端用于根据用户操作触发生成HTTP请求。
本实施例中,网络数据处理系统接收终端根据当前运行状态或用户操作触发生成的HTTP请求,终端只要到达预设逻辑条件或接收用户操作时就可实时触发HTTP请求从而触发网络数据处理系统进行数据的收集,数据收集的实时性高,可实时根据收集的数据定位用户访问异常,并进行针对性的解决。
在一个实施例中,随机化的目标域名包括域名解析请求发送时间对应的转换整数、随机数生成算法生成的随机数和所述权威DNS服务器能够解析的二级域名和顶级域名。
在一个实施例中,如图6所示,系统还包括统计服务器330,目标域名还包括用户标识,权威DNS服务器310还用于将LocalDNS递归出口IP、目标域名、用户标识的第一关联关系发送至统计服务器。统计服务器330用于将目标域名作为主键,获取目标域名对应的用户标识、网络出口IP、LocalDNS递归出口IP,建立目标域名、用户标识、网络出口IP、LocalDNS递归出口IP之间的匹配关系。
在一个实施例中,对应关系用于判断网络出口IP的地理位置是否和LocalDNS递归出口IP的地理位置一致;和/或用于判断网络出口IP的网络属性是否与LocalDNS递归出口IP的网络属性一致,如果不一致,则用户访问异常。
在一个实施例中,如图7所示,提供了一种网络数据处理方法,应用于上述应用环境中的终端来举例说明,包括:
步骤S410,生成随机化的目标域名,生成包括目标域名的HTTP请求。
步骤S420,根据HTTP请求中的随机化的目标域名生成的对应的域名解析请求,将所述域名解析请求发送至当前所在网络的本地域名服务器LocalDNS,以使所述本地域名服务器LocalDNS将域名解析请求根据递归查询转发至权威DNS服务器,以使权威DNS服务器从所述域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器。
步骤S430,接收本地域名服务器返回的目标Web服务器的IP地址,确定对应的目标Web服务器,向目标Web服务器发送所述HTTP请求,以使目标Web服务器从所述HTTP请求中获取来源IP地址得到网络出口IP,将目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使统计服务器根据所述第一关联关系、第二关联关系建立所述LocalDNS递归出口IP与网络出口IP之间的匹配关系。
本实施例中,终端可自动生成随机化的目标域名,生成包括目标域名的HTTP请求,根据HTTP请求中的随机化的目标域名生成的对应的域名解析请求,将域名解析请求发送至当前所在网络的本地域名服务器LocalDNS,以使所述本地域名服务器LocalDNS将域名解析请求根据递归查询转发至权威DNS服务器,以使权威DNS服务器从所述域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器,接收本地域名服务器返回的目标Web服务器的IP地址,确定对应的目标Web服务器,向目标Web服务器发送所述HTTP请求,以使目标Web服务器从所述HTTP请求中获取来源IP地址得到网络出口IP,将目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使统计服务器根据所述第一关联关系、第二关联关系建立LocalDNS递归出口IP与网络出口IP之间的匹配关系,可通过包括随机化的目标域名的HTTP请求触发权威DNS服务器获取对应的LocalDNS递归出口IP,且通过随机化的目标域名避免导致接收到重复的目标域名的域名解析请求时,LocalDNS命中缓存而不进行递归而导致LocalDNS递归出口IP与网络出口IP之间不匹配,触发目标Web服务器获取网络出口IP,从而得到LocalDNS递归出口IP与网络出口IP之间的匹配关系,域名解析请求根据HTTP请求生成,保证了域名解析请求与HTTP请求的一致性,只需通过一个HTTP请求就可触发后续数据收集,得到LocalDNS递归出口IP与所述网络出口IP之间的匹配关系。
在一个实施例中,权威DNS服务器、目标Web服务器为业务服务之外的数据收集专用的独立系统中的服务器。
在一个实施例中,步骤S410之前,还包括:获取当前运行状态,判断当前运行状态是否满足预设逻辑条件,如果是,则进入生成随机化的目标域名的步骤;和/或获取预设的用户操作,触发进入生成随机化的目标域名的步骤。
具体的,预设的用户操作可以是作用于预设虚拟按键的操作、预设轨迹操作,如滑动、缩放操作等,或预设手势操作等。
在一个实施例中,如图8所示,步骤S410包括:
步骤S411,获取当前时间,将所述当前时间转换为对应的时间整数。
步骤S412,获取随机数生成算法,根据所述随机数生成算法生成对应的随机数。
步骤S413,获取权威DNS服务器能够解析的二级域名和顶级域名,根据时间整数、随机数、二级域名和顶级域名生成随机化的目标域名。
在一个实施例中,如图9所示,提供了一种网络数据处理装置,包括:
HTTP请求生成模块510,用于生成随机化的目标域名,生成包括目标域名的HTTP请求。
域名解析请求模块520,用于根据HTTP请求中的随机化的目标域名生成的对应的域名解析请求,将域名解析请求发送至当前所在网络的本地域名服务器LocalDNS,以使本地域名服务器LocalDNS将域名解析请求根据递归查询转发至权威DNS服务器,以使权威DNS服务器从域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器。
HTTP请求模块530,用于接收本地域名服务器返回的目标Web服务器的IP地址,确定对应的目标Web服务器,向目标Web服务器发送HTTP请求,以使目标Web服务器从HTTP请求中获取来源IP地址得到网络出口IP,将目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使统计服务器根据第一关联关系、第二关联关系建立LocalDNS递归出口IP与网络出口IP之间的匹配关系。
在一个实施例中,权威DNS服务器、目标Web服务器为业务服务之外的数据收集专用的独立系统中的服务器。
在一个实施例中,如图10所示,装置还包括:
第一触发模块540,用于获取当前运行状态,判断当前运行状态是否满足预设逻辑条件,如果是,则进入HTTP请求生成模块510。和/或
第二触发模块550,用于获取预设的用户操作,触发进入HTTP请求生成模块510。
在一个实施例中,如图11所示,HTTP请求生成模块510包括:
时间转换单元511,用于获取当前时间,将所述当前时间转换为对应的时间整数。
随机数生成单元512,用于获取随机数生成算法,根据随机数生成算法生成对应的随机数。
目标域名生成单元513,用于获取权威DNS服务器能够解析的二级域名和顶级域名,根据时间整数、随机数、二级域名和顶级域名生成随机化的目标域名。
在一个具体的实施例中,结合图12,网络数据处理方法应用于的具体过程如下:
1、终端生成带有唯一身份标识及随机字符串的域名的URL,例如:
http://$time.$random.$usera.test.com/s
其中:$time为终端的当前时间转化为整数的值,精确到秒,$random为终端的随机函数生成的随机数,$usera为用于识别用户身份的字符串,test.com为任意一可正常在互联网中解析、并由可控制的权威DNS服务器进行域名解析的域名,最终此URL中整个域名的定义必须符合RFC 1035中section 2.3.1中“preferred name syntax”的规定。其中/s为任意自定义的路径,只需保证目标Web服务器能正确响应即可。
2、终端在满足预设逻辑条件或根据用户操作发起上述URL的http请求,根据HTTP请求中的随机化的目标域名http://$time.$random.$usera.test.com生成的对应的域名解析请求,将域名解析请求发送至当前所在网络的本地域名服务器LocalDNS。
3、本地域名服务器LocalDNS将域名解析请求根据递归查询转发至发送至权威DNS服务器。
4、权威DNS服务器根据域名解析请求向本地域名服务器LocalDNS返回可由信息收集方控制的目标Web服务器的IP地址,并由LocalDNS转发至终端,如:
域名 http服务器IP
45632442.1356487.weijianliao.test.com 1.1.1.1
5、并将该域名解析请求的UDP或TCP包头中的来源IP地址作为LocalDNS递归出口IP,连同上述域名,作为日志转发至统计服务器。日志格式如下:
域名 LocalDNS递归出口IP
45632442.1356487.weijianliao.test.com 2.2.2.2
6、终端向目标Web服务器的IP地址对应的目标Web服务器发送HTTP请求。
7、目标Web服务器向终端返回预设最小响应数据。
8、将HTTP请求中的remote_addr IP即用户来发起这次http请求的最后一跳的网络出口IP作为该用户的网络出口IP,连同http请求的host字段中的域名45632442.1356487.weijianliao.test.com,作为日志转发至统计服务器,日志格式如下:
域名 网络出口IP
45632442.1356487.weijianliao.test.com 3.3.3.3
9、统计服务器利用域名作为主键,将域名解析请求中的LocalDNS递归出口IP及http请求中的用户出口IP匹配,从而得到了用户的出口IP及其当前使用的LocalDNS递归出口IP的对应关系。最终得到该用户的网络出口IP及LocalDNS递归出口IP,格式如下:
时间(可选) 用户(可选) 域名(可选) 网络出口IP LocalDNS递归出口IP
2016年12月24日23:15:13 weijianliao 45632442.1356487.weijianliao.test.com 3.3.3.3 2.2.2.2
其中时间、用户标识、域名信息为可选信息。
上述网络数据处理方法具有以下优点:
1)覆盖所有互联网用户:用户使用何种终端不限制,如iOS、android、PC(personalcomputer,个人计算机)或其它任意平台的原生应用或基于Web的应用web app,网络环境不限制,如拨号上网、有线局域网、无线局域网、移动互联网4G、3G等,只要能正常进行互联网域名解析及通过http协议访问内容,均在网络数据处理方法覆盖范围内。
2)实现成本低廉:无须特定硬件或网络环境支持,只需要新搭建一套专用的权威域名解析系统、http服务器及数据分析系统即可完成数据收集。
3)数据实时性高:无论是通过产品预先设置触发逻辑或用户触发,只需要访问一个http请求的时间,服务器端就可收集到信息,有利于快速定位用户访问异常并进行针对性的解决。
4)方案严谨:对于一次特定的HTTP请求所获取到的用户网络出口IP及LocalDNS递归出口IP存在对应关系,且通过随机化的目标域名避免接收到重复的目标域名的域名解析请求时,LocalDNS命中缓存而不进行递归而导致LocalDNS递归出口IP与网络出口IP之间不匹配,不会出现错误匹配。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述程序可存储于一计算机可读取存储介质中,如本发明实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种网络数据处理方法,所述方法包括:
权威DNS服务器接收终端所在网络的本地域名服务器LocalDNS发送的域名解析请求,所述域名解析请求携带随机化的目标域名,从所述域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将所述LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器;
所述权威DNS服务器根据所述域名解析请求向本地域名服务器返回所述目标域名对应的目标Web服务器的IP地址,以使终端获取所述目标Web服务器的IP地址,确定对应的目标Web服务器;
目标Web服务器接收终端发送的HTTP请求,所述HTTP请求包括所述目标域名,从所述HTTP请求中获取来源IP地址得到网络出口IP,将所述目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使所述统计服务器根据所述第一关联关系、第二关联关系建立所述LocalDNS递归出口IP与所述网络出口IP之间的匹配关系。
2.根据权利要求1所述的方法,其特征在于,所述权威DNS服务器、目标Web服务器为业务服务之外的数据收集专用的独立系统中的服务器。
3.根据权利要求1或2所述的方法,其特征在于,所述目标Web服务器未指定虚拟主机,所述目标Web服务器接收终端发送的HTTP请求的步骤之后,还包括:
所述目标Web服务器根据随机化的目标域名向所述终端返回预设最小响应数据。
4.根据权利要求1或2所述的方法,其特征在于,所述本地域名服务器LocalDNS发送的域名解析请求是由本地域名服务器接收的由终端发送的域名解析请求,所述域名解析请求由所述终端根据所述HTTP请求中的随机化的目标域名生成,并由所述本地域名服务器根据递归查询转发至权威DNS服务器。
5.根据权利要求1或2所述的方法,其特征在于,所述随机化的目标域名包括域名解析请求发送时间对应的转换整数、随机算法生成的随机数和所述权威DNS服务器能够解析的二级域名和顶级域名。
6.根据权利要求5所述的方法,其特征在于,所述目标域名还包括用户标识,所述将所述LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器的步骤包括:
将所述LocalDNS递归出口IP、目标域名、用户标识的第一关联关系发送至统计服务器;
所述将所述目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使所述统计服务器根据所述第一关联关系、第二关联关系建立所述LocalDNS递归出口IP与所述网络出口IP之间的匹配关系的步骤包括:
以使统计服务器将所述目标域名作为主键,获取所述目标域名对应的用户标识、网络出口IP、LocalDNS递归出口IP,建立所述目标域名、用户标识、网络出口IP、LocalDNS递归出口IP之间的匹配关系。
7.根据权利要求1或2所述的方法,其特征在于,所述匹配关系用于判断网络出口IP的地理位置是否和LocalDNS递归出口IP的地理位置一致;和/或用于判断网络出口IP的网络属性是否与LocalDNS递归出口IP的网络属性一致,如果不一致,则用户访问异常。
8.一种网络数据处理系统,其特征在于,所述系统包括:
权威DNS服务器,用于接收终端所在网络的本地域名服务器LocalDNS发送的域名解析请求,所述域名解析请求携带随机化的目标域名,从所述域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将所述LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器;
所述权威DNS服务器还用于根据所述域名解析请求向本地域名服务器返回所述目标域名对应的目标Web服务器的IP地址,以使终端获取所述目标Web服务器的IP地址,确定对应的目标Web服务器;
目标Web服务器,用于接收终端发送的HTTP请求,所述HTTP请求包括所述目标域名,从所述HTTP请求中获取来源IP地址得到网络出口IP,将所述目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使统计服务器根据所述第一关联关系、第二关联关系建立所述LocalDNS递归出口IP与所述网络出口IP之间的匹配关系。
9.根据权利要求8所述的系统,其特征在于,所述权威DNS服务器、目标Web服务器为业务服务之外的数据收集专用的独立系统中的服务器。
10.根据权利要求8或9所述的系统,其特征在于,所述本地域名服务器用于接收终端根据所述HTTP请求中的随机化的目标域名生成的对应的域名解析请求,将所述域名解析请求根据递归查询转发至所述权威DNS服务器。
11.根据权利要求8或9所述的系统,其特征在于,所述随机化的目标域名包括域名解析请求发送时间对应的转换整数、随机数生成算法生成的随机数和所述权威DNS服务器能够解析的二级域名和顶级域名。
12.根据权利要求11所述的系统,其特征在于,系统还包括统计服务器;所述目标域名还包括用户标识,所述权威DNS服务器还用于将所述LocalDNS递归出口IP、目标域名、用户标识的第一关联关系发送至统计服务器;
所述统计服务器用于将所述目标域名作为主键,获取所述目标域名对应的用户标识、网络出口IP、LocalDNS递归出口IP,建立所述目标域名、用户标识、网络出口IP、LocalDNS递归出口IP之间的匹配关系。
13.一种网络数据处理方法,所述方法包括:
生成随机化的目标域名,生成包括所述目标域名的HTTP请求;
根据所述HTTP请求中的随机化的目标域名生成的对应的域名解析请求,将所述域名解析请求发送至当前所在网络的本地域名服务器LocalDNS,以使所述本地域名服务器LocalDNS将所述域名解析请求根据递归查询转发至权威DNS服务器,以使所述权威DNS服务器从所述域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将所述LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器;
接收本地域名服务器返回的目标Web服务器的IP地址,确定对应的目标Web服务器,向所述目标Web服务器发送所述HTTP请求,以使所述目标Web服务器从所述HTTP请求中获取来源IP地址得到网络出口IP,将所述目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使所述统计服务器根据所述第一关联关系、第二关联关系建立所述LocalDNS递归出口IP与所述网络出口IP之间的匹配关系。
14.根据权利要求13所述的方法,其特征在于,所述权威DNS服务器、目标Web服务器为业务服务之外的数据收集专用的独立系统中的服务器。
15.一种网络数据处理装置,其特征在于,所述装置包括:
HTTP请求生成模块,用于生成随机化的目标域名,生成包括所述目标域名的HTTP请求;
域名解析请求模块,用于根据所述HTTP请求中的随机化的目标域名生成的对应的域名解析请求,将所述域名解析请求发送至当前所在网络的本地域名服务器LocalDNS,以使所述本地域名服务器LocalDNS将所述域名解析请求根据递归查询转发至权威DNS服务器,以使所述权威DNS服务器从所述域名解析请求中获取来源IP地址得到LocalDNS递归出口IP,将所述LocalDNS递归出口IP与目标域名的第一关联关系发送至统计服务器;
HTTP请求模块,用于接收本地域名服务器返回的目标Web服务器的IP地址,确定对应的目标Web服务器,向所述目标Web服务器发送所述HTTP请求,以使所述目标Web服务器从所述HTTP请求中获取来源IP地址得到网络出口IP,将所述目标域名与所述网络出口IP的第二关联关系发送至统计服务器,以使所述统计服务器根据所述第一关联关系、第二关联关系建立所述LocalDNS递归出口IP与所述网络出口IP之间的匹配关系。
CN201710548406.7A 2017-07-06 2017-07-06 网络数据处理方法、装置和系统 Active CN109218457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710548406.7A CN109218457B (zh) 2017-07-06 2017-07-06 网络数据处理方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710548406.7A CN109218457B (zh) 2017-07-06 2017-07-06 网络数据处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN109218457A CN109218457A (zh) 2019-01-15
CN109218457B true CN109218457B (zh) 2021-04-13

Family

ID=64992232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710548406.7A Active CN109218457B (zh) 2017-07-06 2017-07-06 网络数据处理方法、装置和系统

Country Status (1)

Country Link
CN (1) CN109218457B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020150880A1 (en) * 2019-01-22 2020-07-30 道里云信息技术(北京)有限公司 Publicly verifiable compressed fingerprints and an application in securing domain name systems
CN111787129A (zh) * 2019-04-03 2020-10-16 北京奇虎科技有限公司 为客户端配置本地dns服务器的方法及系统
CN111082977B (zh) * 2019-11-29 2023-04-07 北京金山云网络技术有限公司 Ip地址的获取方法、装置和终端设备
CN111193672B (zh) * 2019-12-06 2023-05-26 新浪技术(中国)有限公司 一种流量精细化调度的方法及系统
CN115118701B (zh) * 2022-06-29 2024-04-12 北京奇艺世纪科技有限公司 数据传输方法、装置、系统、设备及存储介质
CN115334040B (zh) * 2022-08-10 2023-07-18 北京百度网讯科技有限公司 域名的互联网协议ip地址的确定方法及其装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624914A (zh) * 2012-03-22 2012-08-01 北京快网科技有限公司 通过Web方式探测客户端使用的本地DNS服务器的方法
CN104168340A (zh) * 2014-07-24 2014-11-26 深圳市腾讯计算机系统有限公司 域名解析的方法、服务器、终端及系统
CN105704259A (zh) * 2016-01-21 2016-06-22 中国互联网络信息中心 一种域名权威服务来源ip识别方法和系统
CN106209486A (zh) * 2015-05-06 2016-12-07 阿里巴巴集团控股有限公司 域名解析生效的检测方法、浏览器、服务端和系统
CN106603734A (zh) * 2015-10-16 2017-04-26 任子行网络技术股份有限公司 Cdn服务ip检测方法和系统
CN106713332A (zh) * 2016-12-30 2017-05-24 山石网科通信技术有限公司 网络数据的处理方法、装置和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8832245B2 (en) * 2011-05-13 2014-09-09 At&T Intellectual Property I, L.P. System and method for content delivery using dynamic region assignment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624914A (zh) * 2012-03-22 2012-08-01 北京快网科技有限公司 通过Web方式探测客户端使用的本地DNS服务器的方法
CN104168340A (zh) * 2014-07-24 2014-11-26 深圳市腾讯计算机系统有限公司 域名解析的方法、服务器、终端及系统
CN106209486A (zh) * 2015-05-06 2016-12-07 阿里巴巴集团控股有限公司 域名解析生效的检测方法、浏览器、服务端和系统
CN106603734A (zh) * 2015-10-16 2017-04-26 任子行网络技术股份有限公司 Cdn服务ip检测方法和系统
CN105704259A (zh) * 2016-01-21 2016-06-22 中国互联网络信息中心 一种域名权威服务来源ip识别方法和系统
CN106713332A (zh) * 2016-12-30 2017-05-24 山石网科通信技术有限公司 网络数据的处理方法、装置和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DNS安全防护探讨;彭晓艳;《信息技术与信息化》;20140531;全文 *
具有管控功能的DNS递归服务器设计与实现;王永亮;《中国优秀硕士学位论文全文数据库》;20160215;全文 *

Also Published As

Publication number Publication date
CN109218457A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109218457B (zh) 网络数据处理方法、装置和系统
US10999384B2 (en) Method and system for identifying website visitors
US10164989B2 (en) Distinguishing human-driven DNS queries from machine-to-machine DNS queries
CN110392130B (zh) 基于网络的信息处理方法、电子设备及网络系统
CN113316926B (zh) 域名处理方法、装置、电子设备以及存储介质
CN109729183B (zh) 请求处理方法、装置、设备及存储介质
CN109391703B (zh) 域名解析方法、装置、设备和计算机存储介质
CN113366815B (zh) 网络资源请求方法、装置、电子设备以及存储介质
EP3852327A1 (en) Exception access behavior identification method and server
CN112954089B (zh) 一种解析数据的方法、装置、设备以及存储介质
CN111917900A (zh) 一种域名代理的请求处理方法及装置
US11093844B2 (en) Distinguishing human-driven DNS queries from machine-to-machine DNS queries
CN110392123B (zh) 检测出口ip地址的方法、装置和系统
CN108063833A (zh) Http dns解析报文处理方法及装置
CN110392069B (zh) Cdn业务调度处理方法及cdn服务器
WO2017166524A1 (zh) 域名解析方法及装置
CN106789413B (zh) 一种检测代理上网的方法和装置
CN104468771B (zh) 地理位置的确定方法及装置
EP3579526A1 (en) Resource file feedback method and apparatus
CN113055420B (zh) Https业务识别方法、装置及计算设备
US20230254281A1 (en) Local network device connection control
CN108737350B (zh) 一种信息处理方法及客户端
CN114417198A (zh) 一种网络诈骗预警方法、装置、预警设备、系统
US8909795B2 (en) Method for determining validity of command and system thereof
CN112714078A (zh) 网络流量的识别方法、装置、存储介质及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant