CN112671747B

CN112671747B - 境外恶意url的统计方法、装置、电子设备和存储介质

Info

Publication number: CN112671747B
Application number: CN202011499331.6A
Authority: CN
Inventors: 黄友俊; 李星; 吴建平; 杜孟佳; 黄有根
Original assignee: CERNET Corp
Current assignee: CERNET Corp
Priority date: 2020-12-17
Filing date: 2020-12-17
Publication date: 2022-08-30
Anticipated expiration: 2040-12-17
Also published as: CN112671747A

Abstract

本公开提供了一种境外恶意URL的统计方法，所述方法包括：获取域名配置列表，所述域名配置列表包含境外URL；筛选出所述域名配置列表中未被劫持的境外URL；对比预先构建的恶意URL特征库，筛选出所述未被劫持的境外URL中的恶意URL，以得到境外恶意URL的统计结果。本公开还提供了一种境外恶意URL的统计装置、电子设备和存储介质。

Description

境外恶意URL的统计方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机领域，具体涉及一种境外恶意URL的统计方法、装置、电子设备和存储介质。

背景技术

随着互联网的飞速发展，在境内访问境外网站的流量数据日益增加。互联网业务流量主要是以HTTP业务流量的形式运行，大量的HTTP业务流量会增加了网络负荷。因此对互联网的HTTP业务流量中的恶意URL进行控制，可以节约国际端口的网络资源，提高用户的体验度，实现网络流量的优化。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本公开提供了一种境外恶意URL的统计方法，所述方法包括：获取域名配置列表，所述域名配置列表包含境外URL；筛选出所述域名配置列表中未被劫持的境外URL；对比预先构建的恶意URL特征库，筛选出所述未被劫持的境外URL中的恶意URL，以得到境外恶意URL的统计结果。

可选地，所述筛选出所述域名配置列表中未被劫持的境外URL，包括：遍历所述域名配置列表，获得第一IP地址列表；通过无污染域名系统遍历所述域名配置列表，获得第二IP地址列表；分别判断所述第一IP地址列表中的IP地址是否与所述第二IP地址列表中的IP地址一致；筛选出所述第一IP地址列表中与所述第二IP地址列表中的IP地址一致的IP地址，标记为未被劫持的境外URL。

可选地，所述对比预先构建的恶意URL特征库，筛选出所述未被劫持的境外URL中的恶意URL，以得到境外恶意URL的统计结果，包括：遍历所述未被劫持的境外URL，分别获得每个所述境外URL的URI；分别提取每个所述URI的域名和参数；对比预先构建的恶意URL特征库，分别判断每个所述域名和参数是否符合恶意URL特征；筛选出符合恶意URL特征的域名和参数对应的URL，得到境外恶意URL的统计结果。

可选地，所述恶意URL特征库包括恶意域名地址、恶意IP地址、恶意SQL注入和恶意网页应用框架。

可选地，所述获取域名配置列表，包括：采集国际端口的流量数据；去除所述流量数据中重复的域名，获得域名配置列表。

可选地，所述流量数据包含境外URL、境外URL的服务器、境外URL的内容类型、源IP、目标IP、源端口和目标端口。

可选地，所述方法还包括添加所述统计结果至流量管控列表中。

本公开还提供了一种境外恶意URL的统计装置，包括：获取模块，用于获取域名配置列表，所述域名配置列表包含境外URL；第一筛选模块，用于筛选出所述域名配置列表中未被劫持的境外URL；第二筛选模块，用于对比预先构建的恶意URL特征库，筛选出所述未被劫持的境外URL中的恶意URL，以得到境外恶意URL的统计结果。

本公开又一方面提供了一种电子设备，包括：处理器；存储器，其存储有计算机可执行程序，该程序包含上述的境外恶意URL的统计方法。

本公开再一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序包含上述的境外恶意URL的统计方法。

基于上述技术方案可知，本公开至少具有以下有益效果：

本公开提供了一种境外恶意URL的统计方法，包括：获取域名配置列表，所述域名配置列表包含境外URL；筛选出所述域名配置列表中未被劫持的境外URL；对比预先构建的恶意URL特征库，筛选出所述未被劫持的境外URL中的恶意URL，以得到境外恶意URL的统计结果。对国际端口的全流量数据进行统计，筛选出符合恶意URL特征的境外URL，将统计结果反馈至流量管控模块中，可针对日常的国际流量进行更加完善的监管，节约网络资源，减轻网络负荷，提高用户的体验度。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性地示出了根据本公开实施例的境外恶意URL的统计方法的流程图；

图2示意性地示出了根据本公开实施例的境外恶意URL的统计装置的框图；以及

图3示意性地示出了根据本公开实施例的电子设备的硬件结构图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

图1示意性地示出了根据本公开实施例的境外恶意URL的统计方法的流程图。如图1所示，本公开实施例提供了一种境外恶意URL的统计方法，该方法包括：

步骤S101，获取域名配置列表，所述域名配置列表包含境外URL；

步骤S102，筛选出所述域名配置列表中未被劫持的境外URL；

步骤S103，对比预先构建的恶意URL特征库，筛选出所述未被劫持的境外URL中的恶意URL，以得到境外恶意URL的统计结果。

在本公开实施例中，URL是统一资源定位系统(uniform resource locator)，是Internet用于指定信息位置的表示方法。对境外URL流量进行统计分析，在获得网站访问量基本数据的情况下，对相关流量数据进行进一步地DNS劫持分析和恶意URL特征比对，筛选出境外URL中的恶意境外URL流量，为进一步修正或更好地对国际端口流量数据管控提供依据。

作为一种可选实施例，在步骤S101中，所述获取域名配置列表，所述域名配置列表包含境外URL，包括：

步骤S111，采集国际端口的流量数据；

步骤S112，去除所述流量数据中重复的域名，获得域名配置列表。

其中，Host为接收请求的服务器的主机名和端口号；referer为提供包含当前请求URI的文档的URL；Useragent为将发起请求的应用程序告知服务器；conttype为访问的境外URL的内容类型；contlen为访问的境外URL的区域轮廓长度；srcip为发起访问请求的源IP；srcport为发起访问请求的源端口；dstip为访问的目标IP；dstport为访问的目标端口。

同时，还需要对url_日期.txt文件中的数据进行去重处理。一个域名可能对应多个不同的ip地址，因此根据host去除重复的域名，得到域名配置列表，并将所述域名配置列表保存到host.txt中。去重后的dstip以在host.txt中具体以以下格式表示：

host|dstip1，dstip2，.....

作为一种可选实施例，在步骤S102中，所述筛选出所述域名配置列表中未被劫持的境外URL，包括：

步骤S121，遍历所述域名配置列表，获得第一IP地址列表；

步骤S122，通过无污染域名系统遍历所述域名配置列表，获得第二IP地址列表；

步骤S123，分别判断所述第一IP地址列表中的IP地址是否与所述第二IP地址列表中的IP地址一致；

步骤S124，筛选出所述第一IP地址列表中与所述第二IP地址列表中的IP地址一致的IP地址，标记为未被劫持的境外URL。

在本公开实施例中，具体的实施方法为：

在linux系统中安装无污染域名系统(Domain Name System，DNS)工具DNSCrypt并启动；遍历所述域名配置列表host.txt文件，获取第N个域名对应的目标IP地址列表dstiplist，即第一IP地址列表；使用dnscrypt工具获取第N个域名对应ip地址列表iplist，即第二IP地址列表。例如，可以通过使用dnscrypt工具的dig命令dig@127.0.0.1-p53youtube.com获取第N个域名对应ip地址列表iplist；将列表dstiplist与列表iplist进行对比，分别判断列表dstiplist中的IP地址是否与列表iplist中的IP地址一致；若一致此域名标记为未劫持0，若不一致域名标记为劫持1；可将判断结果写入host.txt中，具体格式为：

host|dstip1，dstip2，.....|1

host|dstip1，dstip2，.....|0

最后，筛选出未被劫持的URL，将未被劫持的URL全流量数据存储到url_nohijack.txt文件中，格式如下：

作为一种可选实施例，在步骤S103中，所述对比预先构建的恶意URL特征库，筛选出所述未被劫持的境外URL中的恶意URL，以得到境外恶意URL的统计结果，包括：

步骤S131，遍历所述未被劫持的境外URL，分别获得每个所述境外URL的URI；

步骤S132，分别提取每个所述URI的域名和参数；

步骤S133，对比预先构建的恶意URL特征库，分别判断每个所述域名和参数是否符合恶意URL特征；

步骤S134，筛选出符合恶意URL特征的域名和参数对应的URL，得到境外恶意URL的统计结果。

在本公开实施例中，遍历未被劫持的URL全流量数据(url_nohijack.txt文件)，获得每个所述境外URL的URI，URI是统一资源标识符(Uniform Resource Identifier)，是用于标识某一互联网资源名称的字符串。分别提取每个所述URI的域名和参数；将域名和参数部分作为筛选条件，在恶意URL特征库中查询所述域名和参数是否符合为恶意URL特征。最终结果保存到url_evil.txt文件中。具体的，实施代码为：

其中，所述恶意URL特征库包括恶意域名地址、恶意IP地址、恶意SQL注入和恶意网页应用框架。

作为一种可选实施例，所述方法还包括：

步骤S104，添加所述统计结果至流量管控列表中。

在本公开实施例中，遍历url_evil.txt文件，可以获得恶意URL的统计结果。将所述结果添加至流量管控列表中，可为进一步修正或更好地对国际端口流量管控提供依据。

本公开另一方面提供了一种境外恶意URL的统计装置，如图2所示，装置200包括：

获取模块210，用于获取域名配置列表，所述域名配置列表包含境外URL；

第一筛选模块220，用于筛选出所述域名配置列表中未被劫持的境外URL；

第二筛选模块230，用于对比预先构建的恶意URL特征库，筛选出所述未被劫持的境外URL中的恶意URL，以得到境外恶意URL的统计结果。

需要说明的是，本公开的实施例中境外恶意URL装置与本公开的实施例中境外恶意URL方法部分是相对应的，境外恶意URL装置部分的描述具体参境外恶意URL方法部分，在此不再赘述。

图3示意性示出了根据本公开实施例的电子设备框图。

如图3所示，电子设备300包括处理器310和存储器320。该电子设备300可以执行根据本公开实施例的方法。

具体地，处理器310例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器310还可以包括用于缓存用途的板载存储器。处理器310可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

存储器320，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。其存储有计算机可执行程序，该程序在被处理器执行时，使得处理器执行如上文所述的境外恶意URL的统计方法。

本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims

1.一种境外恶意URL的统计方法，其特征在于，包括：

获取域名配置列表，所述域名配置列表包含境外URL；

筛选出所述域名配置列表中未被劫持的境外URL；

对比预先构建的恶意URL特征库，筛选出所述未被劫持的境外URL中的恶意URL，以得到境外恶意URL的统计结果；

其中，所述筛选出所述域名配置列表中未被劫持的境外URL，包括：

遍历所述域名配置列表，获得第一IP地址列表；

通过无污染域名系统遍历所述域名配置列表，获得第二IP地址列表；

分别判断所述第一IP地址列表中的IP地址是否与所述第二IP地址列表中的IP地址一致；

筛选出所述第一IP地址列表中与所述第二IP地址列表中的IP地址一致的IP地址，标记为未被劫持的境外URL；

其中，所述对比预先构建的恶意URL特征库，筛选出所述未被劫持的境外URL中的恶意URL，以得到境外恶意URL的统计结果，包括：

遍历所述未被劫持的境外URL，分别获得每个所述境外URL的URI；

分别提取每个所述URI的域名和参数；

对比预先构建的恶意URL特征库，分别判断每个所述域名和参数是否符合恶意URL特征；

筛选出符合恶意URL特征的域名和参数对应的URL，得到境外恶意URL的统计结果。

2.根据权利要求1所述的方法，其特征在于，所述恶意URL特征库包括恶意域名地址、恶意IP地址、恶意SQL注入和恶意网页应用框架。

3.根据权利要求1所述的方法，其特征在于，所述获取域名配置列表，包括：

采集国际端口的流量数据；

去除所述流量数据中重复的域名，获得域名配置列表。

4.根据权利要求3所述的方法，其特征在于，所述流量数据包含境外URL、境外URL的服务器、境外URL的内容类型、源IP、目标IP、源端口和目标端口。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括添加所述统计结果至流量管控列表中。

6.一种境外恶意URL的统计装置，其特征在于，所述装置包括：

获取模块，用于获取域名配置列表，所述域名配置列表包含境外URL；

第一筛选模块，用于筛选出所述域名配置列表中未被劫持的境外URL；

第二筛选模块，用于对比预先构建的恶意URL特征库，筛选出所述未被劫持的境外URL中的恶意URL，以得到境外恶意URL的统计结果；

其中，所述第一筛选模块还用于遍历所述域名配置列表，获得第一IP地址列表；通过无污染域名系统遍历所述域名配置列表，获得第二IP地址列表；分别判断所述第一IP地址列表中的IP地址是否与所述第二IP地址列表中的IP地址一致；筛选出所述第一IP地址列表中与所述第二IP地址列表中的IP地址一致的IP地址，标记为未被劫持的境外URL；

分别提取每个所述URI的域名和参数；

7.一种电子设备，其特征在于，所述设备包括：

处理器；

存储器，其存储有计算机可执行程序，该程序包含如权利要求1-5中任一项所述的境外恶意URL的统计方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序包含如权利要求1-5中任一项所述的境外恶意URL的统计方法。