CN107749898A - Dns访问数据归类和内网访问占比提高方法、系统 - Google Patents

Dns访问数据归类和内网访问占比提高方法、系统 Download PDF

Info

Publication number
CN107749898A
CN107749898A CN201710736503.9A CN201710736503A CN107749898A CN 107749898 A CN107749898 A CN 107749898A CN 201710736503 A CN201710736503 A CN 201710736503A CN 107749898 A CN107749898 A CN 107749898A
Authority
CN
China
Prior art keywords
data
domain name
intranet
access
dns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710736503.9A
Other languages
English (en)
Other versions
CN107749898B (zh
Inventor
陈麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Hezhi Information Technology Co.,Ltd.
Original Assignee
Shenzhen Da Xun Yongxin Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Da Xun Yongxin Science And Technology Co Ltd filed Critical Shenzhen Da Xun Yongxin Science And Technology Co Ltd
Priority to CN201710736503.9A priority Critical patent/CN107749898B/zh
Publication of CN107749898A publication Critical patent/CN107749898A/zh
Application granted granted Critical
Publication of CN107749898B publication Critical patent/CN107749898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/09Mapping addresses
    • H04L61/10Mapping addresses of different types
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Abstract

本发明提供了一种DNS访问数据归类和内网访问占比提高方法,适用于互联网技术领域,DNS访问数据归类提高内网访问占比方法,包括:根据配置服务设置,缓存IP地址段归类数据;归类处理DNS访问数据、统计外网域名的访问量,更新相应域名条目的统计量数据;定期保存过期的所述统计量数据;统计每天的内网访问占比,提供外网访问量排名列表。还提供一种DNS访问数据归类和内网访问占比提高系统。借此,本发明实现便捷网间IP地址、域名的分类、加速DNS缓存服务器的查询,方便用户转换到内网的解析,减少出口带宽的占用。

Description

DNS访问数据归类和内网访问占比提高方法、系统
技术领域
本发明适用于互联网技术领域,尤其涉及一种DNS访问数据归类和内网访问占比提高方法、系统。
背景技术
现有的智能手机的普及,通过智能手机进行操作的应用访问也越来越广泛,从而使移动网络的数据业务急剧增长,而移动网络运营商自身的出口网络带宽容量是有一定限制的。在这种情况下很多移动网络运营商为了能够在出口带宽不足的情况下依然希望能够给用户提供较满意的服务,从而建立了一些用户经常访问的网站的数据缓存服务,当用户在访问这些网站时将缓存的数据内容发给手机用户,这样就减少了对出口带宽的占有,提高了用户使用满意度。为了使用这项技术运营商建立了自己的DNS(Domain Name System,域名系统)服务器,当用户访问一个网站时由DNS服务器根据决定使用的是原始的网站还是缓存的服务器地址。这样将使用缓存服务器的访问称为内网访问,没有使用到缓存服务器的访问称为外网访问,运营商希望内网访问在全部访问中占据较高的比例。而DNS服务的访问数据量巨大,同时DNS服务自身并不知实际访问的网址是内网还是外网,从而使访问数据中并没有直接的数据表明是内网、外网,只能通过后期分析才能得知。运营商需要一种能够较快进行数据分析的方法和系统进行处理,从来及时获取内网访问占比,进而逐步优化提高这个占比。
目前处理这样的DNS访问数据,现有的技术是将IP地址数据段数据放到数据库中,对每一条访问数据,需要在数据库中查询本条数据所属的IP地址段,从而判断访问数据属于内网还是外网,然后将完整的数据保存到数据库,然后定时一段时间(例如每天)进行统计。现有技术的处理方法有两个缺点:1、对DNS访问数据的分类处理过程中每条的DNS数据都要进行一次数据库的查询操作,而IP地址(Internet Protocol Address,译为网际协议地址)段分类数据有几千条数据。这个查询将比较费时,效率比较低每秒只能处理几十条数据。使得一天的访问数据需要几天才能处理完。2、分类处理后的数据放到数据库,由于数据量每条有几十亿条数据,一般的数据库很难放的下这么多的数据,同时在最后的统计时也是非常的慢,同时需要对用户访问一个网址所需要的是对多个数据的查询和归类增大了性能要求。
综上可知,现有技术在实际使用上显然存在不便与缺陷,所以有必要加以改进。
发明内容
针对上述的缺陷,本发明的目的在于提供一种DNS访问数据归类和内网访问占比提高方法、系统,其目的在于提供快速对DNS的访问数据的内网外网属性进行归类的方法,同时分段地对分类数据、外网域名访问量统计分析,过期后的数据进行数据库保存,每天统计内网访问量占比、外网域名排名TopN。
为实现上述目的,本发明提供一种DNS访问数据归类提高内网访问占比方法,包括:
根据配置服务设置,缓存IP地址段归类数据;
归类处理DNS访问数据、统计外网域名的访问量,更新相应域名条目的统计量数据;
定期保存过期的所述统计量数据;
统计每天的内网访问占比,提供外网访问量排名列表。
根据本发明所述DNS访问数据归类提高内网访问占比方法,所述根据配置服务设置,缓存IP地址段归类数据步骤还包括:
根据集团公司的所述IP地址段数据,提交至服务器的配置服务;
当检测到归类请求时,将所述归类请求阻塞直到配置服务更新完成;
配置服务器对所述IP地址段数据的缓冲进行更新、排序。
根据本发明所述DNS访问数据归类提高内网访问占比方法,所述归类处理DNS访问数据、统计外网域名访问量的步骤包括:
解析DNS消息中的IP地址;
对任一内网域名、外网域名的IP地址段数据分别归类,得到IP地址段分类表;
根据当前域名的访问数据,更新当前域名条目的统计量数据;
统计量数据至少包括:通过外网访问所述当前域名的访问量、通过转换到内网访问所述当前域名的访问量、域名的总计的访问量、IP地址段访问量。
根据本发明所述DNS访问数据归类提高内网访问占比方法,所述对内网域名、外网域名的IP地址段数据分别归类的步骤包括:
通过二分法查找IP地址段分类表确认当前域名的分类;
所述根据当前域名的访问数据,更新当前域名条目的统计量数据的步骤包括:
若存在IP地址段分类统计数据则各统计量的值加1;
若不存在IP地址段分类统计数据则创建新的域名条目,访问量设为1,其余的统计量设为0。
根据本发明所述DNS访问数据归类提高内网访问占比方法,所述定期保存过期的统计量数据的步骤还包括:
根据预设周期保存原有的IP地址段分类表及所述统计量数据,并将缓存搬移到数据库中;
根据预设周期提醒转存所述IP地址段分类表、清理缓存;
所述合并统计每天的内网访问量占比,提供外网访问排名列表的步骤包括:
查询当天的所有内网访问量、外网访问量,计算内网访问量占比;
根据外网访问排名列表、将相应的域名数据缓存至缓存服务器。
本发明提供一种DNS访问数据归类提高内网访问占比系统,其特征在于,包括:
缓存数据模块,用于根据配置服务设置,缓存IP地址段归类数据;
归类处理模块,用于归类处理DNS访问数据、统计外网域名的访问量,更新相应域名条目的统计量数据;
定时转存模块,用于定期保存过期的所述统计量数据;
访问统计模块,用于统计每天的内网访问占比,提供外网访问量排名列表。
根据本发明所述DNS访问数据归类提高内网访问占比系统,所述缓存数据模块还包括:
提交子模块,用于根据集团公司的所述IP地址段数据,提交至服务器的配置服务;
阻塞子模块,用于当检测到归类请求时,将所述归类请求阻塞直到配置服务更新完成;
更新子模块,用于配置服务器对所述IP地址段数据的缓冲进行更新、排序。
根据本发明所述DNS访问数据归类提高内网访问占比系统,所述归类处理模块还包括:
解析子模块,用于解析DNS消息中的IP地址;
归类子模块,用于对任一内网域名、外网域名的IP地址段数据分别归类,得到IP地址段分类表;
统计子模块,用于根据当前域名的访问数据,更新当前域名条目的统计量数据;
统计量数据至少包括:通过外网访问所述当前域名的外网访问量、通过转换到内网访问所述当前域名的内网访问量、域名的总计的访问量、IP地址段访问量。
根据本发明所述DNS访问数据归类提高内网访问占比系统,所述归类子模块还用于通过二分法查找IP地址段分类表确认当前域名的分类;
所述统计子模块还用于若存在IP地址段分类统计数据则各统计量的值加1,若不存在IP地址段分类统计数据则创建新的域名条目,访问量设为1,其余的统计量设为0。
根据本发明所述DNS访问数据归类提高内网访问占比系统,所述定期转存模块还包括:
搬移子模块,用于根据预设周期保存原有的IP地址段分类表及所述统计量数据,并将缓存搬移到数据库中;
提醒子模块,用于根据预设周期提醒转存所述IP地址段分类表、清理缓存;
所述访问统计模块还包括:
查询子模块,用于查询当天的所有内网访问量、外网访问量,计算内网访问量占比;
速访子模块,用于根据外网访问排名列表、将相应的域名数据缓存至缓存服务器。
本发明通过改进DNS访问数据的统计、分类,提高转换到内网访问占比,提高用户访问外网IP的使用体验。借此,本发明实现便捷网间IP地址、域名的分类、加速DNS缓存服务器的查询,方便用户转换到内网的解析,减少出口带宽的占用。
附图说明
图1是本发明DNS访问数据归类和内网访问占比提高系统的结构示意图;
图2是本发明DNS访问数据归类和内网访问占比提高系统的优选实施例的结构示意图;
图3是本发明DNS访问数据归类和内网访问占比提高方法流程示意图;
图4是本发明DNS访问数据归类和内网访问占比提高方法更新配置流程示意图;
图5是本发明DNS访问数据归类和内网访问占比提高方法归类缓存流程示意图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了解决上述问题,本发明提供一种DNS访问数据归类和内网访问占比提高系统,该DNS访问数据归类和内网访问占比提高系统的零部件可以是内置的软件单元,硬件单元或软硬件结合单元。
结合图示说明,如图1所示,本发明提供的DNS访问数据归类和内网访问占比提高系统100,包括:
缓存数据模块10,用于根据配置服务设置,缓存IP地址段归类数据;
归类处理模块20,用于归类处理DNS访问数据、统计外网域名的访问量,更新相应域名条目的统计量数据;
定时转存模块30,用于定期保存过期的所述统计量数据;
访问统计模块40,用于统计每天的内网访问占比,提供外网访问量排名列表。
由于IP地址段数据来自于对内网、外网各大网站域名及相应的多个IP的收集,因此,根据配置服务设置的更新机制,比如缓存条目数量到了阈值,又要对新出现的域名进行归类,则将新的IP地址段归类数据进行提交,用于有对归类请求的IP地址进行实时查询,可以从邻近的或上级节点下发IP地址段归类数据,提高性能。
同时,不同于现有技术的需要查询数据库中的完整的分类表以确定分类、再更新相应的统计量,归类处理模块20将DNS访问数据提取其中的IP地址、域名,以此为基础可以从0个条目开始归类,更新域名条目相关的统计量。
定时转存模块30将实时生成的IP地址段分类数据及其相应的统计量,分步定时写入到数据库中,压缩了查询量、省去了大量因查询数据库和较多条目带来的速度下降,在转存时可以进行全天或者多个时段的合并统计,合并统计部分需要对各个属性进行计数的合并计算,通过访问统计模块40实现,根据访问量排名列表,对前列的域名进行缓存,使得用户能够不占用出口带宽的情况下完成访问,即将外网访问转变为内网访问,访问的内容位于缓存服务器上。
优选的是,如图2其优选实施例,DNS访问数据归类提高内网访问占比系统100,缓存数据模块10还包括:
提交子模块11,用于根据集团公司的所述IP地址段数据,提交至服务器的配置服务;
运营商在拿到全网的各大小域名以及IP地址段数据后,提交给运营商自身的服务器的配置服务,进行相应的更新,使得IP地址段数据是最新的而不至于出现错误,这一过程可以持续进行。
阻塞子模块12,用于当检测到归类请求时,将所述归类请求阻塞直到配置服务更新完成;
更新子模块13,用于配置服务器对所述IP地址段数据的缓冲进行更新、排序。
IP地址段数据如前所述,既可以从外部进行导入,可以从当前DNS访问数据积累,主要是来自于已经分类汇总完毕的IP地址段分类表,可以与已经存在的IP地址段数据进行合并,相应的由于减少了对于外部相关域名的数据的导入,减少时间损耗。
更进一步地,归类处理模块20还包括:
解析子模块21,用于解析DNS消息中的IP地址;
归类子模块22,用于对任一内网域名、外网域名的IP地址段数据分别归类,得到IP地址段分类表;
统计子模块23,用于根据当前域名的访问数据,更新当前域名条目的统计量数据;
统计量数据至少包括:通过外网访问所述当前域名的外网访问量、通过转换到内网访问所述当前域名的内网访问量、域名的总计的访问量、IP地址段访问量。
更好的是,DNS访问数据归类提高内网访问占比系统100,改进包括:
归类子模块22还用于通过二分法查找IP地址段分类表确认当前域名的分类;
统计子模块23还用于若存在IP地址段分类统计数据则各统计量的值加1,若不存在IP地址段分类统计数据则创建新的域名条目,访问量设为1,其余的统计量设为0。
更进一步地,定期转存模块30还包括:
搬移子模块31,用于根据预设周期保存原有的IP地址段分类表及所述统计量数据,并将缓存搬移到数据库中;
提醒子模块32,用于根据预设周期提醒转存所述IP地址段分类表、清理缓存;
访问统计模块40还包括:
查询子模块41,用于查询当天的所有内网访问量、外网访问量,计算内网访问量占比;
速访子模块42,用于根据外网访问排名列表、将相应的域名数据缓存至缓存服务器。
由于本发明采取的是按更短的周期缓存的条目更少的IP地址段分类表,需要对全天统计则需要对多个表合并计算,并且可以提供更短的时段的合并计算,以此为依据提供更精确的监控,对于外网访问较多的域名,则提前进行缓存,使得用户在内网就能访问到相应的数据,减少出口带宽的压力。
基于本发明提供的DNS访问数据归类提高内网访问占比系统100实现,本发明还提供一种DNS访问数据归类提高内网访问占比方法,包括:
步骤S301,根据配置服务设置,缓存IP地址段归类数据;
步骤S302,归类处理DNS访问数据、统计外网域名的访问量,更新相应域名条目的统计量数据;
步骤S303,定期保存过期的所述统计量数据;
步骤S304,统计每天的内网访问占比,提供外网访问量排名列表。
缓存数据模块10用于处理缓存的域名和IP地址段分类数据,更新经过分类得到的外网域名的IP地址段的各个条目,按照设定的条件定期或定量删除IP地址段分类数据,而已有的过时的部分则通过定时转存模块30进行转存。
归类以及统计访问数据是为了提高外网访问转换内网访问的占比、提高响应速度,那么有必要对访问量大的域名对应的网络数据进行缓存,对于已经缓存服务器缓存了域名的数据的可以转换到内网访问的IP地址,则根据相应的规则解析给用户内网地址也就是缓存服务器的IP,访问统计模块40则将内网访问量计数增加、对该当前域名的总访问量增加,有对归类请求的IP地址进行实时查询、确认所在的IP地址段以及相应的域名,业务逻辑可以从上级节点下发IP地址段分类数据、也可以从DNS访问数据中提取,提高性能。
同时,不同于现有技术的需要查询数据库中的完整的分类表以确定分类、再更新相应的统计量,归类处理模块20将DNS访问数据提取其中的IP地址、域名,以此为基础可以从0个条目开始归类,更新域名条目相关的统计量,由于网络物理节点的地域性,访问不同外网域名的出口的不同,由集团公司上下级节点之间进行IP地址段分类数据相应的汇总、同步可以提高更新配置服务的时效性,对于更多DNS服务器,可以分别就近计算,再进行汇总、返回到各DNS服务器,不必到了中心节点才进行统计量的统计。
定时转存模块30将实时生成的IP地址段分类数据及其相应的统计量,分步定时写入到数据库中,而实时进行的分类、统计不受影响,依赖于当前时段缓存的IP地址段分类数据的积累和更新,压缩了查询量、省去了大量因查询数据库和较多条目带来的速度下降,在转存时可以进行全天或者不同长度的时段的合并统计,合并统计部分需要对各个统计量进行计数的合并计算,通过访问统计模块40实现,根据访问量排名列表,对前列的域名进行缓存,使得用户能够不占用出口带宽的情况下完成访问,即将外网访问转变为内网访问,访问的内容位于缓存服务器上。最终实现合并统计每天的内网占比,查询当天的内网访问量、外网访问量,给出计算内网访问量占比,提供外网访问排名列表的TopN,基于统计结果建议运营商用户对其进行缓存处理。
更进一步地,所述根据配置服务设置,缓存IP地址段归类数据步骤还包括:
第一步,根据集团公司的所述IP地址段数据,提交至服务器的配置服务;
第二步,当检测到归类请求时,将所述归类请求阻塞直到配置服务更新完成;
第三步,配置服务器对所述IP地址段数据的缓冲进行更新、排序。
具体实现如图4所示,缓存IP地址段的流程,包括:
步骤S401,集团公司下发IP地址段归类信息;
步骤S402,提交到配置服务;为了保证时效性,获得集团公司下发的IP地址段归类信息;步骤S402由提交子模块11实现;
步骤S403,是否有归类请求;若有执行步骤S404,若无,执行步骤S405;
步骤S404,将归类请求阻塞,直到归类数据更新完成;这一步由阻塞子模块12实现;
步骤S405,删除全部缓存的IP地址段数据;
步骤S406,添加全部新IP地址段数据到缓存;步骤S405、步骤S406这两步对应上述的第二步,实现缓存数据的切割,条目数更少;
步骤S407,对更新后的归类数据进行排序;步骤S405到步骤S407实现配置服务器对所述IP地址段数据的缓冲进行更新、排序,排序之后可以进一步交由相应的统计、查询使用,并且由更新子模块13、结合定期转存模块30相应功能实现。
步骤S408,若有阻塞的请求,通知其继续;直到流程结束。
为了实现分段归类处理统计功能流程,包括解析DNS消息的IP地址、归类内外网、统计内网、统计外网域名等子步骤,要进行所述归类处理DNS访问数据、统计外网域名访问量的步骤,包括:
解析DNS消息中的IP地址;
对任一内网域名、外网域名的IP地址段数据分别归类,得到IP地址段分类表;
根据当前域名的访问数据,更新当前域名条目的统计量数据;
统计量数据至少包括:通过外网访问所述当前域名的访问量、通过转换到内网访问所述当前域名的访问量、域名的总计的访问量、IP地址段访问量。
更进一步地,所述对内网域名、外网域名的IP地址段数据分别归类的步骤包括:
通过二分法查找IP地址段分类表确认当前域名的分类;
所述根据当前域名的访问数据,更新当前域名条目的统计量数据的步骤包括:
若存在IP地址段分类统计数据则各统计量的值加1;
若不存在IP地址段分类统计数据则创建新的域名条目,访问量设为1,其余的统计量设为0。
如图5所示,为上述归类过程的一个具体实施例,包括:
步骤S501,接受归类请求;
步骤S502,获取IP信息;这一步由解析子模块21实现;
步骤S503,二分法查找归类数据,并归类;这一步由归类子模块22实现,不仅包括了接受请求进行归类,优化查找过程;
步骤S504,缓存中对应的归类数据的统计量加1;
当前域名条目存在于缓存中,统计子模块23在相应的域名下的统计量加1,比如总访问量,如果有更多的统计量则按照设定规则进行统计,一条缓存中的域名数据其中所包含的属性都可以进行相应的统计;接下来,若当前访问域名是能转换到内网访问的外网域名,则在内网访问量计数加1,二分法查找提高性能的优势,可举例说明,比如按照总访问量更新归类数据,在预设条目的查询、更新后重新对IP地址分类表排序,然后下一条目有极大概率为topN的条目,按照从高到低的总访问量顺序查询,当条目增长到很多时,可以明显缩短当前域名的分类时间;
步骤S505,缓存中对应的域名数据加1;对于当前DNS解析的多个域名及相应的IP地址用于进行分类,从0个条目开始,新得到一个域名则给当前的IP地址分类表增加一个域名条目,后续再遇到IP地址,则先看是否存在当前的IP地址分类表中,执行步骤S504给相应的统计量加1。
优选的是所述DNS访问数据归类提高内网访问占比方法,所述定期保存过期的统计量数据的步骤还包括:
根据预设周期保存原有的IP地址段分类表及所述统计量数据,并将缓存搬移到数据库中;这一步由搬移子模块31实现;
根据预设周期提醒转存IP地址段分类表、清理缓存;这一步是提醒子模块通过日志或警示性手段提醒运营商需要对相应的域名进行缓存、对缓存出现的可能出现溢出的风险进行提醒清理缓存,提供性能维护的稳定支持。当然,虽然是提醒转存,但是转存过程依然是自动化的。由于相比现有技术所要保存全面的数据,经过分类、统计处理的分类数据只留下合并后的更少数据,存储量大大减少。
所述合并统计每天的内网访问量占比,提供外网访问排名列表的步骤包括:
查询当天的所有内网访问量、外网访问量,计算内网访问量占比;
根据外网访问排名列表、将相应的域名数据缓存至缓存服务器。
上述步骤分别由提供统计结果查询的查询子模块41、提供加速访问外网域名的速访子模块42实现,加速访问外网域名主要是对访问量巨大的外网域名进行缓存,因此,访问量排名靠前的域名需要清楚,然后有的放矢的进行缓存,由运营商自主进行相应的缓存决策。
为了说明DNS访问数据归类处理处理功能,用如下实施例说明。服务器对每个DNS访问数据提取IP地址信息,借助归类子模块22使用二分法查找,查找性能在分类号段有10000条左右的情况性可以到达每秒100000条数据的归类,查找性能效率趋近于log2(N)。对应的归类数据确定分类。查询缓存中是否有分类统计数据,如果有则对应分类的统计量加1,如没有则新建一条本时间段的分类统计量,对应分类统计量的值设置为1,比如总访问量,另外一种统计量的值设置为0,比如通过外网访问的该域名,则内网访问量的值为0。
进一步地,查询缓存中是否有本条数据对于的域名数据,例如一个手机用户上网,打开手机浏览器输入www.baidu.com,此URL(Uniform Resource Locator,统一资源定位符)访问请求经过移动网络进入到运营商网关服务器,网关服务器查询内部DNS服务器,DNS服务器产生访问日志数据,网关服务器根据DNS返回的IP进行访问,并返回给手机用户。DNS服务器的日志由分析服务器进行收集,并发送给归类服务器,并由归类服务进行归类,并记录访问统计数据,如果有则对其访问数加1,如没有则新建一条本时间段的本域名数据并设置访问量为1,见流程图5。
对当前统计时间段的到期数据,进行保存。使用的统计缓存服务器会对缓存的数据提供到期提醒功能,全部数据固定设置每30分钟提醒一次,当到达提醒时间时,将缓存的统计信息转存到数据库中,这样可以实现分步统计,减少数据的存储量,并提高统计分析性能。
进而实现了使用缓存的IP地址段进行归类处理,不使用数据库查询确定归类,压缩了归类时的查询量,大大提高归类处理速度。同时本发明方法可以不保存归类处理后的DNS访问数据,只保存了分段时间内的各URL的统计量和各分类的统计数据,极大的减少了需要保存的数据量。使得后面的统计分析顺利快速的进行。网络服务商根据系统分析结论,进行有效的网络转换,降低网络成本,提高用户的使用感知。从而实现用户到企业的双赢。
综上所述,本发明通过改进DNS访问数据的统计、分类,提高转换到内网访问占比,提高用户访问外网IP的使用体验。借此,本发明实现便捷网间IP地址、域名的分类、加速DNS缓存服务器的查询,方便用户转换到内网的解析,减少出口带宽的占用。本发明通过电动轮椅上通过改进履带的结构和爬楼方法,并对轮椅在爬楼过程中加以控制,解决爬楼轮椅在爬楼过程中出现的颠簸。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种DNS访问数据归类提高内网访问占比方法,其特征在于,包括:
根据配置服务设置,缓存IP地址段归类数据;
归类处理DNS访问数据、统计外网域名的访问量,更新相应域名条目的统计量数据;
定期保存过期的所述统计量数据;
统计每天的内网访问占比,提供外网访问量排名列表。
2.根据权利要求1所述DNS访问数据归类提高内网访问占比方法,其特征在于,所述根据配置服务设置,缓存IP地址段归类数据步骤还包括:
根据集团公司的所述IP地址段数据,提交至服务器的配置服务;
当检测到归类请求时,将所述归类请求阻塞直到配置服务更新完成;
配置服务器对所述IP地址段数据的缓冲进行更新、排序。
3.根据权利要求2所述DNS访问数据归类提高内网访问占比方法,其特征在于,所述归类处理DNS访问数据、统计外网域名访问量的步骤包括:
解析DNS消息中的IP地址;
对任一内网域名、外网域名的IP地址段数据分别归类,得到IP地址段分类表;
根据当前域名的访问数据,更新当前域名条目的统计量数据;
统计量数据至少包括:通过外网访问所述当前域名的访问量、通过转换到内网访问所述当前域名的访问量、域名的总计的访问量、IP地址段访问量。
4.根据权利要求3所述DNS访问数据归类提高内网访问占比方法,其特征在于,所述对内网域名、外网域名的IP地址段数据分别归类的步骤包括:
通过二分法查找IP地址段分类表确认当前域名的分类;
所述根据当前域名的访问数据,更新当前域名条目的统计量数据的步骤包括:
若存在IP地址段分类统计数据则各统计量的值加1;
若不存在IP地址段分类统计数据则创建新的域名条目,访问量设为1,其余的统计量设为0。
5.根据权利要求3所述DNS访问数据归类提高内网访问占比方法,其特征在于,所述定期保存过期的统计量数据的步骤还包括:
根据预设周期保存原有的IP地址段分类表及所述统计量数据,并将缓存搬移到数据库中;
根据预设周期提醒转存所述IP地址段分类表、清理缓存;
所述合并统计每天的内网访问量占比,提供外网访问排名列表的步骤包括:
查询当天的所有内网访问量、外网访问量,计算内网访问量占比;
根据外网访问排名列表、将相应的域名数据缓存至缓存服务器。
6.一种DNS访问数据归类提高内网访问占比系统,其特征在于,包括:
缓存数据模块10,用于根据配置服务设置,缓存IP地址段归类数据;
归类处理模块20,用于归类处理DNS访问数据、统计外网域名的访问量,更新相应域名条目的统计量数据;
定时转存模块30,用于定期保存过期的所述统计量数据;
访问统计模块,用于统计每天的内网访问占比,提供外网访问量排名列表。
7.根据权利要求6所述DNS访问数据归类提高内网访问占比系统,其特征在于,所述缓存数据模块10还包括:
提交子模块,用于根据集团公司的所述IP地址段数据,提交至服务器的配置服务;
阻塞子模块,用于当检测到归类请求时,将所述归类请求阻塞直到配置服务更新完成;
更新子模块,用于配置服务器对所述IP地址段数据的缓冲进行更新、排序。
8.根据权利要求7所述DNS访问数据归类提高内网访问占比系统,其特征在于,所述归类处理模块20还包括:
解析子模块,用于解析DNS消息中的IP地址;
归类子模块,用于对任一内网域名、外网域名的IP地址段数据分别归类,得到IP地址段分类表;
统计子模块,用于根据当前域名的访问数据,更新当前域名条目的统计量数据;
统计量数据至少包括:通过外网访问所述当前域名的外网访问量、通过转换到内网访问所述当前域名的内网访问量、域名的总计的访问量、IP地址段访问量。
9.根据权利要求8所述DNS访问数据归类提高内网访问占比系统,其特征在于,所述归类子模块还用于通过二分法查找所述IP地址段分类表确认当前域名的分类;
所述统计子模块还用于若存在IP地址段分类统计数据则各统计量的值加1,若不存在IP地址段分类统计数据则创建新的域名条目,访问量设为1,其余的统计量设为0。
10.根据权利要求8所述DNS访问数据归类提高内网访问占比系统,其特征在于,所述定期转存模块还包括:
搬移子模块,用于根据预设周期保存原有的IP地址段分类表及所述统计量数据,并将缓存搬移到数据库中;
提醒子模块,用于根据预设周期提醒转存所述IP地址段分类表、清理缓存;
所述访问统计模块还包括:
查询子模块,用于查询当天的所有内网访问量、外网访问量,计算内网访问量占比;
速访子模块,用于根据外网访问排名列表、将相应的域名数据缓存至缓存服务器。
CN201710736503.9A 2017-08-24 2017-08-24 Dns访问数据归类和内网访问占比提高方法、系统 Active CN107749898B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710736503.9A CN107749898B (zh) 2017-08-24 2017-08-24 Dns访问数据归类和内网访问占比提高方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710736503.9A CN107749898B (zh) 2017-08-24 2017-08-24 Dns访问数据归类和内网访问占比提高方法、系统

Publications (2)

Publication Number Publication Date
CN107749898A true CN107749898A (zh) 2018-03-02
CN107749898B CN107749898B (zh) 2021-08-13

Family

ID=61254811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710736503.9A Active CN107749898B (zh) 2017-08-24 2017-08-24 Dns访问数据归类和内网访问占比提高方法、系统

Country Status (1)

Country Link
CN (1) CN107749898B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763239A (zh) * 2018-03-22 2018-11-06 厦门欣旅通科技有限公司 一种网络访问次数计算方法及装置
CN109218395A (zh) * 2018-08-01 2019-01-15 阿里巴巴集团控股有限公司 缓存页面的分类、获取方法及装置和电子设备
CN111369126A (zh) * 2020-02-28 2020-07-03 海信集团有限公司 一种统计企业it系统使用数据的方法及系统
CN113392107A (zh) * 2021-05-31 2021-09-14 广东马上信息科技有限公司 一种学校运营数据分析方法
CN113472914A (zh) * 2021-06-28 2021-10-01 广州根链国际网络研究院有限公司 Dns定向预取缓存方法及系统
CN115442250A (zh) * 2022-08-11 2022-12-06 国家计算机网络与信息安全管理中心河北分中心 一种获取海量dns服务属性并归类的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100257024A1 (en) * 2009-04-07 2010-10-07 Verisign, Inc. Domain Traffic Ranking
CN102685259A (zh) * 2011-03-09 2012-09-19 中国移动通信集团公司 对dns解析请求进行解析的方法、系统和智能dns
CN103338279A (zh) * 2013-07-18 2013-10-02 上海数讯信息技术有限公司 基于域名解析的优化排序方法及系统
CN106657321A (zh) * 2016-12-16 2017-05-10 上海斐讯数据通信技术有限公司 无线ap中本地dns缓存方法、网站访问方法及无线ap
CN106657374A (zh) * 2017-01-04 2017-05-10 贵州力创科技发展有限公司 互联网流量流向大数据智能分析决策方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100257024A1 (en) * 2009-04-07 2010-10-07 Verisign, Inc. Domain Traffic Ranking
CN102685259A (zh) * 2011-03-09 2012-09-19 中国移动通信集团公司 对dns解析请求进行解析的方法、系统和智能dns
CN103338279A (zh) * 2013-07-18 2013-10-02 上海数讯信息技术有限公司 基于域名解析的优化排序方法及系统
CN106657321A (zh) * 2016-12-16 2017-05-10 上海斐讯数据通信技术有限公司 无线ap中本地dns缓存方法、网站访问方法及无线ap
CN106657374A (zh) * 2017-01-04 2017-05-10 贵州力创科技发展有限公司 互联网流量流向大数据智能分析决策方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763239A (zh) * 2018-03-22 2018-11-06 厦门欣旅通科技有限公司 一种网络访问次数计算方法及装置
CN109218395A (zh) * 2018-08-01 2019-01-15 阿里巴巴集团控股有限公司 缓存页面的分类、获取方法及装置和电子设备
CN111369126A (zh) * 2020-02-28 2020-07-03 海信集团有限公司 一种统计企业it系统使用数据的方法及系统
CN113392107A (zh) * 2021-05-31 2021-09-14 广东马上信息科技有限公司 一种学校运营数据分析方法
CN113472914A (zh) * 2021-06-28 2021-10-01 广州根链国际网络研究院有限公司 Dns定向预取缓存方法及系统
CN113472914B (zh) * 2021-06-28 2023-09-26 北京天地互连信息技术有限公司 Dns定向预取缓存方法及系统
CN115442250A (zh) * 2022-08-11 2022-12-06 国家计算机网络与信息安全管理中心河北分中心 一种获取海量dns服务属性并归类的方法

Also Published As

Publication number Publication date
CN107749898B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN107749898A (zh) Dns访问数据归类和内网访问占比提高方法、系统
CN107451861B (zh) 一种大数据下用户上网特征识别的方法
JP6494777B2 (ja) 端末にプッシュされるデータコンテンツを選択するための方法およびデバイス
CN108241717B (zh) 一种数据处理方法、装置及系统
CN106126641A (zh) 一种基于Spark的实时推荐系统及方法
CN1235157C (zh) 面向内容的负载均衡方法
US8775556B1 (en) Automated segmentation and processing of web site traffic data over a rolling window of time
US7672935B2 (en) Automatic index creation based on unindexed search evaluation
CN109190070A (zh) 一种数据处理方法、装置、系统及应用服务器
CN100589606C (zh) 一种短消息查询分析系统及方法
CN1433615A (zh) 网络使用情况监视设备和相关方法
KR20110095874A (ko) 트렌드 식별에 의거하여 사용자에게 커스터마이징된 정보를 제공하는 방법
US9767033B2 (en) Method and apparatus for managing cache memory in communication system
US9100205B1 (en) System for validating site configuration based on real-time analytics data
CA2945801A1 (en) Systems and methods for generating network intelligence through real-time analytics
CN106657374A (zh) 互联网流量流向大数据智能分析决策方法及系统
CN108282508A (zh) 地理位置的确定方法及装置、信息推送方法及装置
CN105072151A (zh) 一种cdn的内容协同调度方法及系统
CN104486116A (zh) 多维度查询流量数据的方法及系统
CN106533838A (zh) 一种面向云平台的业务特征时序数据包采集方法
CN1783849A (zh) 一种基于即时通讯平台的消息订阅方法和系统
CN107276854B (zh) 一种大数据下molap统计分析的方法
CN107508914A (zh) 一种基于云计算分析的消息精准推送方法和系统
CN104281688B (zh) 一种用于浏览器的自动清理方法及装置
CN101404607B (zh) 更新数据的方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230803

Address after: Room 703, Unit 1, No. 12 Shenghe Road, Nancheng Street, Dongguan City, Guangdong Province, 523000

Patentee after: Guangdong Hezhi Information Technology Co.,Ltd.

Address before: 518000 401l, building 5, phase I, Shenzhen Software Park, No. 2, Gaoxin Zhongsan Road, Nanshan District, Shenzhen, Guangdong

Patentee before: SHENZHEN DAXUN YONGXIN TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right