CN109995886A - 域名识别方法、装置、设备及介质 - Google Patents

域名识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN109995886A
CN109995886A CN201711492917.8A CN201711492917A CN109995886A CN 109995886 A CN109995886 A CN 109995886A CN 201711492917 A CN201711492917 A CN 201711492917A CN 109995886 A CN109995886 A CN 109995886A
Authority
CN
China
Prior art keywords
domain name
general
candidate
name
effective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711492917.8A
Other languages
English (en)
Other versions
CN109995886B (zh
Inventor
申江云
贾燕
唐蓉
郑辉
李绍庆
庞会静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Hebei Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Hebei Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Hebei Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201711492917.8A priority Critical patent/CN109995886B/zh
Publication of CN109995886A publication Critical patent/CN109995886A/zh
Application granted granted Critical
Publication of CN109995886B publication Critical patent/CN109995886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/09Mapping addresses
    • H04L61/10Mapping addresses of different types
    • H04L61/103Mapping addresses of different types across network layers, e.g. resolution of network layer into physical layer addresses or address resolution protocol [ARP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了一种域名识别方法、装置、设备及介质,用以识别DNS日志中的无效域名,进而达到降低域名解析过程中大量无效泛域名带来的资源浪费,提高域名解析效率和DNS缓存命中率。该方法包括:根据DNS日志数据生成有效域名列表;从有效域名列表中选择符合泛域名统计特征的有效域名作为候选泛域名,根据候选泛域名生成候选泛域名列表;分别对候选泛域名列表中的每个候选泛域名进行以下处理:获取候选泛域名的相关域名的IP地址,根据相关域名的IP地址以及候选泛域名在所述有效域名中对应的IP地址,确定是否将候选泛域名识别为泛域名。

Description

域名识别方法、装置、设备及介质
技术领域
本发明涉及互联网技术领域,尤其涉及一种域名识别方法、装置、设备及介质。
背景技术
当前互联网应用在人们生活中越来越普及,尤其是“互联网+”已经逐渐渗入到人们生活中的方方面面。域名是用户访问互联网平台及应用的重要途径,是重要的流量入口,并且对互联网应用的开发及运营具有举足轻重的作用,是企业立足于互联网的根本。
其中,在众多的域名使用形式中泛域名被广泛使用,泛域名主要用于实现二级域名功能,在大型企业中也用于实现网址的分类管理。
目前,泛域名有滥用之势,泛域名不仅表示主机名字,用于查询互联网协议(IP)地址,泛域名本身也是信息载体,用于携带用户标识(ID)、资源对象ID、跟踪识别ID等。其中,一部分泛域名是一次性的,即在一次使用后不再被使用,这就使得域名系统(DNS)中存储了大量无效域名,且存储的无效域名的数量随着时间的增加不断增加。
以某省级移动运营商的统计数据为例,每天泛域名的解析次数占总解析量的3%,每天统计的泛域名的数量占总域名数量的40%,按照月统计得知统计的域名数量中95%是泛域名。按照国家安全规定,6个月的DNS日志存储中,域名汇总信息中泛域名占到域名总量的99%。泛域名使得月记录统计增加20倍的存储量和计算规模,6个月记录统计增加100倍存储量和计算规模。在DNS缓存系统中,泛域名没有缓存的价值(即不会再次访问),但泛域名会大量占用DNS缓存系统有限的存储空间,影响了有缓存价值的域名的存储,降低了缓存系统的缓存命中率。
然而,现有的域名解析技术无法自动分辨无效重复的泛域名,这就使得域名解析过程中无法识别DNS中存储的大量无效域名,进而导致本地域名服务器计算资源的浪费和查询效率的降低。
综上所述,需要寻求一种有效的泛域名识别方法,有效识别出泛域名,使得能够将识别出的泛域名用于实际解析过程中,以降低域名解析过程中大量无效泛域名带来的资源浪费,提高域名解析效率和DNS缓存命中率。
发明内容
本发明实施例提供了一种域名识别方法、装置、设备及介质,用以识别DNS日志中的无效域名,进而达到降低域名解析过程中大量无效泛域名带来的资源浪费,提高域名解析效率和DNS缓存命中率。
第一方面,本发明实施例提供了一种域名识别方法,方法包括:
根据域名系统DNS日志数据生成有效域名列表,其中,所述有效域名列表中包括从所述DNS日志数据中获取的各有效域名,以及每个所述有效域名各自对应的互联网协议IP地址;
从所述有效域名列表中选择符合泛域名统计特征的有效域名作为候选泛域名,根据所述候选泛域名生成候选泛域名列表;
分别对所述候选泛域名列表中的每个所述候选泛域名进行以下处理:获取所述候选泛域名的相关域名的IP地址,根据所述相关域名的IP地址以及所述候选泛域名在所述有效域名列表中对应的IP地址,确定是否将所述候选泛域名识别为泛域名。
第二方面,本发明实施例提供了一种域名识别装置,装置包括:
第一处理模块,用于根据域名系统DNS日志数据生成有效域名列表,其中,所述有效域名列表中包括从所述DNS日志数据中获取的各有效域名,以及每个所述有效域名各自对应的互联网协议IP地址;
第二处理模块,用于从所述有效域名列表中选择符合泛域名统计特征的有效域名作为候选泛域名,根据所述候选泛域名生成候选泛域名列表;
第三处理模块,用于分别对所述候选泛域名列表中的每个所述候选泛域名进行以下处理:获取所述候选泛域名的相关域名的IP地址,根据所述相关域名的IP地址以及所述候选泛域名在所述有效域名列表中对应的IP地址,确定是否将所述候选泛域名识别为泛域名。
本发明实施例提供了一种电子设备,包括:至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
本发明实施例提供的域名识别方法、装置、设备及介质,能够通过分析现网DNS日志数据识别出有效域名,并在确定有效域名符合泛域名统计特征后,进一步检测该有效域名是否为泛域名,从而能够有效识别出DNS日志数据中的泛域名,使得能够将识别出的泛域名用于实际解析过程中,以降低域名解析过程中大量无效泛域名带来的资源浪费,提高域名解析效率和DNS缓存命中率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明第一实施方式中域名识别方法流程示意图;
图2示出了本发明第一实施方式中泛域名统计特征示意图;
图3示出了本发明第一实施方式中精确域名统计特征示意图;
图4示出了本发明第一实施方式中混合域名统计特征示意图;
图5示出了本发明第一实施方式中泛域名统计特征示意图;
图6示出了本发明第一实施方式中候选泛域名的筛选过程示意图;
图7示出了本发明第一实施方式中泛域名的识别过程示意图;
图8示出了本发明第二实施方式中域名识别装置的结构示意图;
图9示出了本发明第三实施方式中电子设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明第一实施方式提供了一种域名识别方法,该域名识别方法可以运行在任意一个与本地DNS服务器相连接的电子设备上,如任一后台服务器,也可以直接运行在DNS服务器上,也可以是运动在一个新增的与本地DNS服务器相连接的电子设备上。如图1所示,该域名识别方法的具体实施过程如下:
步骤101:根据DNS日志数据生成有效域名列表。
其中,有效域名列表中包括从DNS日志数据中获取的各有效域名,以及每个有效域名各自对应的IP地址。
一个具体实现中,首先对采集的DNS日志数据中的每个域名进行解析,根据解析结果删除DSN日志数据中的无效域名,然后,根据删除后得到的DNS日志数据生成有效域名列表。
其中,有效域名列表中的各有效域名按照域名等级从高到低的顺序排列。当然,此处仅为举例,也可以按照其他方式对有效域名列表中的域名进行排序,例如,按照在DNS日志数据中记录时间的先后顺序对有效域名列表中的域名排序。
例如,对采集的DNS日志数据进行解压、分析后,得到DNS日志数据中记录的各域名的记录时间、域名信息以及对应的IP地址,根据分析后得到的数据将DNS日志数据中的无效域名滤除,得到有效域名,并按照域名等级从高到低的顺序进行统计。其中,滤除的无效域名主要是空域名、超时域名、错误域名、不符合指定协议规范的域名等。简单的说,滤除的无效域名为分析后信息不全的域名,即如果对域名进行分析后能够得到完整的五元组信息,则该域名为有效域名,否则,该域名为无效域名。
步骤102:从有效域名列表中选择符合泛域名统计特征的有效域名作为候选泛域名,根据该候选泛域名生成候选泛域名列表。
其中,候选泛域名列表中包括各候选泛域名,以及每个候选泛域名各自在有效域名列表中对应的IP地址。
一个具体实现中,判断一个有效域名是否为候选泛域名的过程为:确定有效域名的主域名(也称为一级域名)以及各级子域名;统计DNS日志数据中出现的该主域名以及该各级子域名的总访问次数以及最近单位时间的访问次数,该主域名和该各级子域名的总数量以及最近单位时间的数量;计算该总数量与该总访问次数的比得到第一比值,以及计算该最近单位时间的访问次数与该最近单位时间的数量的比得到第二比值;若确定该第一比值与该第二比值的差值的绝对值小于预设阈值,则确定该有效域名符合泛域名统计特征,将该有效域名作为候选泛域名。
其中,确定有效域名的主域名以及各级子域名的过程为:按照有效域名包含的每级标签(Label)进行后缀切割,根据切割的结果得到主域名和各级子域名。例如,有效域名表示为:a.b.c.d.example.org,对该有效域名包含的每级标签进行后缀切割后可得到以下5个域名:example.org,d.example.org,c.d.example.org,b.c.d.example.org,a.b.c.d.example.org,其中,example.org为主域名,其余4个为各级子域名。需要说明的是,此处仅是对确定主域名和各级子域名的过程进行举例说明,并不对本实施方式的保护范围构成限制。
具体地,泛域名统计特征为随着域名访问次数的增多,域名的数量也呈正比例增多,如图2所示,其中的箭头是用于表示域名的数量与访问次数呈严格的正比例关系,可以用以下公式表示:
abs((y)/(x)-dy/dx)<k
该公式中,x表示DNS日志数据中出现的该主域名以及该各级子域名的总访问次数;y表示DNS日志数据中出现的主域名和该各级子域名的总数量;dx表示DNS日志数据中该主域名以及该各级子域名在最近单位时间的访问次数;dy表示DNS日志数据中该主域名以及该各级子域名在最近单位时间的数量;k为预设阈值,为一常数,应用中k的取值为预先设定,具体可以根据经验值设定,是用于判定有效域名是否为候选泛域名的可容忍误差,其取值的大小会影响候选泛域名的误判率和精确度。
常见的域名使用形式主要包括正常域名(也称为精确域名)、混合域名(即精确域名和泛域名的混合)和泛域名(也称为纯泛域名)。
其中,精确域名统计特征如图3所示,假设统计的域名标识为:www.XX.com,随着域名解析次数(即访问次数)的增加,域名的数量没有变化,始终只要一个,显然不符合泛域名统计特征。
混合域名统计特征如图4所示,假设统计的域名表示为XX.com,则该一级域名包括精确域名www.XX.com和泛域名dabc240ce011209a807d3167df182763.web.meritco.m.XX.com等,其中,“web.meritco.m.XX.com”是泛域名后缀,在各泛域名中保持不变,“dabc240ce011209a807d3167df182763”是泛域名前缀,可以随意改变。随着域名访问次数的增多,域名的数量也随着增多,但是不是呈正比例增多,即按照以上公式计算出的abs((y)/(x)-dy/dx)不小于k,该域名不符合泛域名统计特征。
泛域名统计特征如图5所示,假设统计的域名表示为:49f2c5b7297ce98f095a55999b8a4e3aab9be36c.ime.galileo.XX.com,“ime.galileo.XX.com”是泛域名后缀,在各泛域名中保持不变,随着域名解析量的增加,带“ime.galileo.XX.com”的泛域名的个数也呈正比例增加,满足以上公式所表示的泛域名统计特征。
步骤103:分别对候选泛域名列表中的每个候选泛域名进行以下处理:获取候选泛域名的相关域名的IP地址,根据该相关域名的IP地址以及该候选泛域名在有效域名列表中对应的IP地址,确定是否将该候选泛域名识别为泛域名。
一个具体实现中,检测一个候选泛域名是否为泛域名的过程为:为候选泛域名增加前缀生成相关域名,从本地DNS服务器获取该相关域名对应的IP地址,若确定该相关域名对应的IP地址与该候选泛域名在有效域名列表中对应的IP地址相同,则将该候选泛域名识别为泛域名。
应用中,可以为候选泛域名增加不同的前缀,生成多个相关域名,从本地DNS服务器获取每个相关域名各自对应的IP地址,若确定每个相关域名各自对应的IP地址均与候选泛域名在有效域名列表中对应的IP地址相同,则将该候选泛域名识别为泛域名。其中,生成相关域名的方式为:生成随机序列,将该随机序列作为候选泛域名的前缀,得到相关域名。在生成多个相关域名时,分别生成不同的随机序列,分别将每个随机序列作为候选泛域名的前缀,得到每个随机序列各自对应的相关域名。
例如,假设“c.d.example.org”是候选泛域名列表中的一个域名,该泛域名的解析IP地址为:1.1.1.1,则检测该域名是否为泛域名的过程为:生成两个随机序列,分别将每个随机序列作为该域名的前缀,得到两个相关域名,假设该两个相关域名表示为“b026324c6904b2a9cb4b88d6d61c81d1.c.d.example.org”、“26ab0db90d72e28ad0ba1e22ee510510.c.d.example.org”,将这两个相关域名发送至本地DNS服务器,并接收该本地DNS服务器返回的该两个相关域名各自的IP地址,若本地DNS服务器返回的该两个相关域名各自的IP地址均为“1.1.1.1”,则将该域名识别为泛域名,否则,则确定该域名不是泛域名。
一个具体实现中,若将检测后确定候选泛域名不是泛域名,则将该候选泛域名从候选泛域名列表中删除。
应用中,可以将识别为泛域名的候选泛域名保存至泛域名列表中,并从候选泛域名列表中删除。
一个具体实现中,识别出候选泛域名列表中的所有泛域名之后,可以将识别出的泛域名发送给本地DNS服务器,由本地DNS服务器将识别出的泛域名从DNS中删除,以提高本地DNS服务器解析效率,并降低存储消耗。或者,将识别出的泛域名发送至DNS日志分析系统,以便于提高DNS日志分析系统的查询效率。
以下结合图6所示,对候选泛域名的筛选过程进行详细说明:
步骤601:后台服务器从分析平台获得DNS日志数据,该DNS日志数据为从DNS日志分析系统注入到分析平台;
步骤602:后台服务器对DNS日志数据进行解压后过滤掉无效域名;
步骤603:后台服务器从过滤后得到的DNS日志数据中提取有效域名及有效域名对应的IP地址,得到有效域名列表;
步骤604:后台服务器判断有效域名列表中是否存在未筛选的有效域名,若是,执行步骤605,否则,执行步骤609;
步骤605:后台服务器从有效域名列表中获取未筛选的有效域名,对有效域名进行分析得到该有效域名的主域名和各级子域名,并遍历DNS日志数据获得统计数据,该统计数据包括:该主域名以及各级子域名的总访问次数以及最近单位时间的访问次数,该主域名和各级子域名的总数量以及最近单位时间的数量;
步骤606:后台服务器根据获得的统计数据判断该有效域名是否具有精确域名统计特征,若是,则确定该有效域名不是候选泛域名,转去执行步骤604,否则,继续执行步骤607;
步骤607:后台服务器根据获得的统计数据判断该有效域名是否具有混合域名统计特征,若是,则确定该有效域名不是候选泛域名,转去执行步骤604,否则,继续执行步骤608;
步骤608:后台服务器根据获得的统计数据判断该有效域名是否具有泛域名统计特征,若是,则确定该有效域名为候选泛域名,将该有效域名保存至候选泛域名列表中,转去执行步骤604,否则,直接转去执行步骤604;
步骤609:后台服务器得到候选泛域名列表。
以下结合图7所示,对泛域名的识别过程进行详细说明:
步骤701:后台服务器判断候选泛域名列表中是否存在未识别的候选泛域名,若是,执行步骤702,否则,执行步骤705;
步骤702:后台服务器从候选泛域名列表中获取未识别的候选泛域名,分别为该候选泛域名添加不同的随机前缀,得到一组相关域名;
步骤703:后台服务器向本地DNS服务器发送DNS请求,该DNS请求中携带该一组相关域名,并接收本地DNS服务器返回的DNS应答,从该DNS应答中获取各相关域名对应的IP地址;
步骤704:后台服务器判断各个相关域名对应的IP地址是否与候选泛域名的IP地址相同,若不相同,则将该候选泛域名从候选泛域名列表中删除,并转去执行步骤701,若相同,将该候选泛域名识别为泛域名,并将该候选泛域名保存至泛域名列表,并转去执行步骤701;
步骤705:后台服务器得到泛域名列表。
本发明实施例提供的泛域名识别方法,能够通过分析现网DNS日志数据识别出有效域名,并在确定有效域名符合泛域名统计特征后,进一步检测该有效域名是否为泛域名,从而能够有效识别出DNS日志数据中的泛域名,使得能够将识别出的泛域名用于实际解析过程中,以降低域名解析过程中大量无效泛域名带来的资源浪费,提高域名解析效率和DNS缓存命中率。
本发明第二实施方式中提供了一种域名识别装置,该装置的具体实施可参见第一实施方式的相关描述,重复之处不再赘述,如图8所示,该装置主要包括:
第一处理模块801,用于根据DNS日志数据生成有效域名列表,其中,有效域名列表中包括从DNS日志数据中获取的各有效域名,以及每个有效域名各自对应的IP地址;
第二处理模块802,用于从有效域名列表中选择符合泛域名统计特征的有效域名作为候选泛域名,根据候选泛域名生成候选泛域名列表;
第三处理模块803,用于分别对候选泛域名列表中的每个候选泛域名进行以下处理:获取候选泛域名的相关域名的IP地址,根据相关域名的IP地址以及候选泛域名在有效域名列表中对应的IP地址,确定是否将候选泛域名识别为泛域名。
具体地,第二处理模块802具体用于:确定有效域名的主域名以及各级子域名;统计DNS日志数据中出现的主域名以及各级子域名的总访问次数以及最近单位时间的访问次数,主域名和各级子域名的总数量以及最近单位时间的数量;计算总数量与总访问次数的比得到第一比值,以及计算所述最位时间的访问次数与最近单位时间的数量的比得到第二比值;若确定第一比值与第二比值的差值的绝对值小于预设阈值,则确定有效域名符合泛域名统计特征,将有效域名作为候选泛域名。
具体地,第三处理模块803具体用于:为候选泛域名增加前缀生成相关域名,从本地DNS服务器获取相关域名对应的IP地址,若确定相关域名对应的IP地址与候选泛域名在有效域名列表中对应的IP地址相同,则将候选泛域名识别为泛域名。
本发明第三实施方式提供了一种电子设备,本发明第一实施例的泛域名是被方法可以由该电子设备来实现。图9示出了该电子设备的硬件结构示意图。
该电子设备可以包括处理器901以及存储有计算机程序指令的存储器902。
具体地,上述处理器901可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器902可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器902可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器902可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器902可在数据处理装置的内部或外部。在特定实施例中,存储器902是非易失性固态存储器。在特定实施例中,存储器902包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器901通过读取并执行存储器902中存储的计算机程序指令,以实现上述实施例中的任意一种域名识别方法。
在一个示例中,该电子设备还可包括通信接口903和总线910。其中,如图9所示,处理器901、存储器902、通信接口903通过总线910连接并完成相互间的通信。
通信接口903,主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线910包括硬件、软件或两者,将该电子设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线910可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
另外,结合上述实施例中的泛域名识别方法,本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种域名识别方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种域名识别方法,其特征在于,所述方法包括:
根据域名系统DNS日志数据生成有效域名列表,其中,所述有效域名列表中包括从所述DNS日志数据中获取的各有效域名,以及每个所述有效域名各自对应的互联网协议IP地址;
从所述有效域名列表中选择符合泛域名统计特征的有效域名作为候选泛域名,根据所述候选泛域名生成候选泛域名列表;
分别对所述候选泛域名列表中的每个所述候选泛域名进行以下处理:获取所述候选泛域名的相关域名的IP地址,根据所述相关域名的IP地址以及所述候选泛域名在所述有效域名列表中对应的IP地址,确定是否将所述候选泛域名识别为泛域名。
2.根据权利要求1所述的方法,其特征在于,所述从所述有效域名列表中选择符合泛域名统计特征的有效域名作为候选泛域名,包括:
确定所述有效域名的主域名以及各级子域名;
统计所述DNS日志数据中出现的所述主域名以及所述各级子域名的总访问次数以及最近单位时间的访问次数,所述主域名和所述各级子域名的总数量以及最近单位时间的数量;
计算所述总数量与所述总访问次数的比得到第一比值,以及计算所述最近单位时间的访问次数与所述最近单位时间的数量的比得到第二比值;
若确定所述第一比值与所述第二比值的差值的绝对值小于预设阈值,则确定所述有效域名符合泛域名统计特征,将所述有效域名作为所述候选泛域名。
3.根据权利要求2所述的方法,其特征在于,所述获取所述候选泛域名的相关域名的IP地址,根据所述相关域名的IP地址以及所述候选泛域名在所述有效域名列表中对应的IP地址,确定是否将所述候选泛域名识别为泛域名,包括:
为所述候选泛域名增加前缀生成所述相关域名,从本地DNS服务器获取所述相关域名对应的IP地址,若确定所述相关域名对应的IP地址与所述候选泛域名在所述有效域名列表中对应的IP地址相同,则将所述候选泛域名识别为泛域名。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述根据域名系统DNS日志数据生成有效域名列表,包括:
对采集的所述DNS日志数据中的每个域名进行解析;
根据解析结果删除所述DSN日志数据中的无效域名;
根据删除后得到的所述DNS日志数据生成所述有效域名列表。
5.根据权利要求4所述的方法,其特征在于,所述有效域名列表中的各所述有效域名按照域名等级从高到低的顺序排列。
6.根据权利要求4所述的方法,其特征在于,所述将所述候选泛域名识别为泛域名之后,所述方法还包括:
将识别得到的泛域名发送给所述本地DNS服务器,由所述本地DNS服务器将所述泛域名从DNS中删除。
7.一种域名识别装置,其特征在于,包括:
第一处理模块,用于根据域名系统DNS日志数据生成有效域名列表,其中,所述有效域名列表中包括从所述DNS日志数据中获取的各有效域名,以及每个所述有效域名各自对应的互联网协议IP地址;
第二处理模块,用于从所述有效域名列表中选择符合泛域名统计特征的有效域名作为候选泛域名,根据所述候选泛域名生成候选泛域名列表;
第三处理模块,用于分别对所述候选泛域名列表中的每个所述候选泛域名进行以下处理:获取所述候选泛域名的相关域名的IP地址,根据所述相关域名的IP地址以及所述候选泛域名在所述有效域名列表中对应的IP地址,确定是否将所述候选泛域名识别为泛域名。
8.根据权利要求7所述的装置,其特征在于,所述第二处理模块具体用于:
确定所述有效域名的主域名以及各级子域名;
统计所述DNS日志数据中出现的所述主域名以及所述各级子域名的总访问次数以及最近单位时间的访问次数,所述主域名和所述各级子域名的总数量以及最近单位时间的数量;
计算所述总数量与所述总访问次数的比得到第一比值,以及计算所述最近单位时间的访问次数与所述最近单位时间的数量的比得到第二比值;
若确定所述第一比值与所述第二比值的差值的绝对值小于预设阈值,则确定所述有效域名符合泛域名统计特征,将所述有效域名作为所述候选泛域名。
9.一种电子设备,其特征在于,包括:至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令,当所述计算机程序指令被所述处理器执行时实现如权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,当所述计算机程序指令被处理器执行时实现如权利要求1至6中任一项所述的方法。
CN201711492917.8A 2017-12-30 2017-12-30 域名识别方法、装置、设备及介质 Active CN109995886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711492917.8A CN109995886B (zh) 2017-12-30 2017-12-30 域名识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711492917.8A CN109995886B (zh) 2017-12-30 2017-12-30 域名识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN109995886A true CN109995886A (zh) 2019-07-09
CN109995886B CN109995886B (zh) 2022-07-01

Family

ID=67110703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711492917.8A Active CN109995886B (zh) 2017-12-30 2017-12-30 域名识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN109995886B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714197A (zh) * 2021-03-29 2021-04-27 杭州优云科技有限公司 一种零配置实现https代理的方法、装置及网络设备
CN114172862A (zh) * 2021-11-30 2022-03-11 杭州安恒信息技术股份有限公司 一种域名筛选方法、系统、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291268A (zh) * 2011-09-23 2011-12-21 杜跃进 一种安全域名服务器及基于此的恶意域名监控系统和方法
CN102761628A (zh) * 2012-06-28 2012-10-31 北京奇虎科技有限公司 泛域名识别、处理装置及方法
CN103701951A (zh) * 2013-12-27 2014-04-02 北京奇虎科技有限公司 网站访问记录的分析方法与网站访问记录的分析装置
US20140297870A1 (en) * 2005-11-21 2014-10-02 Limelight Networks, Inc. Scaled domain name service
CN107249049A (zh) * 2017-07-21 2017-10-13 北京亚鸿世纪科技发展有限公司 一种对网络采集的域名数据进行筛选的方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140297870A1 (en) * 2005-11-21 2014-10-02 Limelight Networks, Inc. Scaled domain name service
CN102291268A (zh) * 2011-09-23 2011-12-21 杜跃进 一种安全域名服务器及基于此的恶意域名监控系统和方法
CN102761628A (zh) * 2012-06-28 2012-10-31 北京奇虎科技有限公司 泛域名识别、处理装置及方法
CN103701951A (zh) * 2013-12-27 2014-04-02 北京奇虎科技有限公司 网站访问记录的分析方法与网站访问记录的分析装置
CN107249049A (zh) * 2017-07-21 2017-10-13 北京亚鸿世纪科技发展有限公司 一种对网络采集的域名数据进行筛选的方法及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714197A (zh) * 2021-03-29 2021-04-27 杭州优云科技有限公司 一种零配置实现https代理的方法、装置及网络设备
CN114172862A (zh) * 2021-11-30 2022-03-11 杭州安恒信息技术股份有限公司 一种域名筛选方法、系统、装置及计算机可读存储介质
CN114172862B (zh) * 2021-11-30 2024-04-19 杭州安恒信息技术股份有限公司 一种域名筛选方法、系统、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN109995886B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN108011752A (zh) 故障定位分析方法及装置、计算机可读存储介质
CN102541884B (zh) 数据库优化方法和装置
CN105809942A (zh) 一种用电信息采集系统的数据处理方法及装置
CN110519263B (zh) 防刷量方法、装置、设备及计算机可读存储介质
CN106156055A (zh) 搜索引擎爬虫的识别、处理方法及装置
CN106817712B (zh) 一种定位方法及装置和一种服务器
CN112380131A (zh) 模块测试方法、装置及电子设备
CN104219230A (zh) 识别恶意网站的方法及装置
CN109995886A (zh) 域名识别方法、装置、设备及介质
CN109032954A (zh) 一种a/b测试的用户选取方法、装置、存储介质及终端
CN112347100B (zh) 数据库索引优化方法、装置、计算机设备和存储介质
CN110599278A (zh) 聚合设备标识符的方法、装置和计算机存储介质
CN106528569B (zh) 计算站内搜索有效度的方法及装置
CN106447375A (zh) 一种年龄信息估计方法及装置
CN108600054B (zh) 一种基于域名区文件的网站数量判定方法和系统
CN110704776A (zh) 账号类型的识别方法、装置和电子设备
CN110943887A (zh) 探针调度方法、装置、设备和存储介质
CN112152824A (zh) 一种性能指标数据采集方法和装置
CN113923190A (zh) 设备标识跳变的识别方法及装置、服务器及存储介质
CN113132891B (zh) 一种基于移动信令的客流统计方法和系统
CN103823827A (zh) 用于抓取富互联网应用的方法和装置
CN109871331A (zh) 软件功能试错决策分析方法和装置
CN110532758A (zh) 一种针对群组的风险识别方法及装置
CN109995731A (zh) 提高缓存吐出流量的方法、装置、计算设备及存储介质
CN115225936B (zh) 一种视频资源的清晰度指标确定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant