CN103428183A

CN103428183A - 恶意网址的识别方法和装置

Info

Publication number: CN103428183A
Application number: CN2012101632989A
Authority: CN
Inventors: 咸德玉; 刘建东; 田旭东
Original assignee: Beijing Feinno Communication Technology Co Ltd
Current assignee: Beijing Feinno Communication Technology Co Ltd
Priority date: 2012-05-23
Filing date: 2012-05-23
Publication date: 2013-12-04
Anticipated expiration: 2032-05-23
Also published as: CN103428183B

Abstract

本发明公开了一种恶意网址的识别方法和装置。本发明实施例提供的恶意网址的识别方法包括：对出现在设备中的消息数据实时进行捕获，该消息包括IM消息、邮件、网页等数据形式；提取所捕获的消息中的URL；当判断所述URL为可疑URL时，根据该URL所在的消息内容和该URL对应的页面资源识别出恶意网址。本方案能够实时识别出新出现的恶意网站，在恶意网址传播的初期切断其传播能力，及时阻止恶意网址的传播和危害。

Description

恶意网址的识别方法和装置

技术领域

本发明涉及通信网络技术领域，特别涉及一种恶意网址的识别方法和装置。

背景技术

为了确保网络安全，必须对网络中的恶意网址进行识别。现在业界的恶意网址识别方法主要基于静态，一种方法为基于静态（如hosts）文件的恶意地址判断，其将恶意网址存放在文本型文件（如HOSTS）中后，对浏览器或聊天工具中的数据进行匹配判断；另一种方法为基于散列值的恶意地址判断，其将提取恶意网址的散列值并保存，利用散列值对网络数据进行匹配判断。

上述现有的恶意网址识别技术至少存在如下缺点：

现有方案都是将恶意网址的信息预先保存在固定的特征库（如黑白名单）中，特征库需要人工进行识别和更新，更新时间长，速度慢，导致特征库中存在大量无效数据，既容易封杀合法无害的网站，造成“误杀”，也无法应付快速出现的恶意网站，易于产生“漏杀”现象。

然而，恶意网站传播在最开始时间段，最具破坏能力和传播能力,通常挂马网站或钓鱼网站的存活时间，大多只有几小时或几天，现有固定黑白名单的静态识别模式，已经无法阻止现实中恶意网址的快速传播根本无法达到预期安全目标。

发明内容

本发明提供了一种恶意网址的识别方法和装置，以解决现有业界方案特征库更新缓慢而导致无法及时识别快速出现的恶意网站的问题。

为达到上述目的，本发明实施例采用了如下技术方案：

本发明实施例提供了一种恶意网址的识别方法，所述方法包括：

对出现在设备中的消息实时进行捕获，所述消息包括即时通信IM消息、邮件和网页中的一种或多种；

提取所捕获的消息的统一资源定位符URL；

当判断所述URL为可疑URL时，根据该URL所在的消息的内容和该URL对应的页面资源识别出恶意网址。

本发明实施例还提供了一种恶意网址的识别装置，所述装置包括：

实时捕获单元，用于对出现在设备中的消息实时进行捕获，所述消息包括即时通信IM消息、邮件和网页中的一种或多种；

URL提取单元，用于提取所捕获消息中的统一资源定位符URL；

识别单元，用于当判断所述URL为可疑URL时，根据该URL所在的消息的内容和该URL对应的页面资源识别出恶意网址。

本发明实施例的有益效果是：

本发明实施例能够对恶意网址的特征库自动快速地更新，提高了对恶意网址识别的准确性和有效性。且本方案能够实时识别出新出现的恶意网站，在恶意网址传播的初期切断其传播能力，及时阻止恶意网址的传播和危害。

附图说明

图1为本发明实施例一提供的一种恶意网址的识别方法流程图；

图2为本发明实施例二提供的一种恶意网址的识别方法流程图；

图3为本发明实施例三提供的一种恶意网址的识别装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

参见图1，为本发明实施例一提供的一种恶意网址的识别方法，该方法包括：

11：对出现在设备中的消息实时进行捕获，消息可为即时通信（IM）消息、邮件、网页等多种形式。

上述设备为网络或系统中具有集中处理（如集中转发）大量消息能力的设备，如该服务器可以为用于转发网页数据或邮件的网关服务器/核心交换机，每当有消息经过该服务器时，对该消息进行捕获。

根据设备所位于的网络平台的不同，上述消息也不同，例如上述消息可以为即时通信聊天消息、论坛、邮件或微博消息等。

12：提取所捕获的消息中的统一资源定位符(Uniform/Universal ResourceLocator，URL)。

本实施例中主要对消息中携带的URL进行提取，并根据提取的URL进行恶意网址的识别，可以理解，需要时，也可以基于消息发送端和接收端的URL对恶意网址进行识别。

13：判断所述URL是否为可疑URL，若否，执行步骤14，若是，执行步骤15。

14：确认该URL为正常网址，允许该URL。

15：当判断出所述URL为可疑URL时，根据该URL所在的消息的内容和该URL对应的页面资源识别出恶意网址。

由上所述，本发明实施例能够对恶意网址的特征库自动快速地更新，提高了对恶意网址识别的准确性和有效性。且本方案能够实时识别出新出现的恶意网站，在恶意网址传播的初期切断其传播能力，及时阻止恶意网址的传播和危害。

下面对本发明实施例二提供的一种恶意网址的识别方法进行说明。本实施例以对即时通讯类应用的IM聊天消息处理的场景为例进行说明，参见图2，包括如下处理：

21：在服务器后台捕获消息。该服务器可以为即时通讯应用服务器。

22：提取URL数据。

对聊天消息中携带的UR进行提取，并判断所提取的URL是否为可疑URL，是否需要进行URL信息分析。

本实施例中对同一个URL的发送次数进行统计，判断同一URL的发送次数是否大于发送量阈值，若是，则该URL为可疑网址。

进一步的，本实施例对以前识别过程中识别出的恶意网址和正常网址进行记录，如建立恶意网址库记录所识别出的恶意网址，以及建立正常网址库记录所识别出的正常网址列表。结合所记录的恶意网址和正常网址判断是否为可疑网址，从而避免重复执行判断操作，既提高了识别效率，又节省了系统资源。

具体的，判断同一URL的发送次数是否大于发送量阈值，若否，该URL为正常URL，若是，查询该URL是否在已记录的网址中，若在，根据对该URL的记录确认该URL为恶意网址或正常网址（若已将该URL记录为恶意网址，则确认该URL为恶意网址；若已将该URL记录为正常网址，则确认该URL为正常网址），若不在，确认该URL为可疑网址。

上述发送量阈值的具体大小可以根据网络平台的特点、消息所对应事件的类型进行设定。

进一步的，本实施例当记录为恶意网址的URL的发送次数在预定时间段内未出现大于发送量阈值时，将该URL从恶意网址的记录中移除，从而实现了对恶意网址特征库中无效信息的自动及时删除，避免了封杀合法无害网站的“误杀”现象的出现。对从恶意网址的记录中移除的URL，建立一个历史恶意网址库来记录，并标记该库中的URL曾经作为恶意网站的次数。

本实施例中主要从两个方面对URL信息进行分析，一方面是文本内容分析，对消息文本内容进行分析，一方面是URL页面代码分析，对URL所指向的页面资源进行分析。

23：识别消息内容。

在进行文本内容分析时，对URL所在消息内容进行指纹比对，得到URL特征值。

消息指纹比对专于识别消息内容出现的敏感关键词，从而判断此消息属于的类别。如某些色情、诈骗类消息群发传播时，往往在内容中随机插入一些数字或符号，导致消息哈希（HASH）值并不完全相同，传统的精确匹配算法认为这些消息并不相同，但利用消息指纹比对即可以将此类消息筛选出来，标识为同一条恶意消息。一种替换的方式下，也可以使用正则表达式准确匹配关键词来识别消息内容，也能达到很好效果。

24：根据URL特征值判断URL是否包括恶意内容。

例如，当消息指纹（URL特征值）属于诈骗类时，则确认URL为包括恶意内容的诈骗类恶意网址，当消息指纹（URL特征值）属于色情类时，则确认URL为包括恶意内容的色情类恶意网址。

25：下载URL页面资源并分析。

在进行URL页面分析时，下载URL所指向的页面资源，对URL对应的页面资源中的页面内容和页面代码进行判断，得到页面资源判断结果。

页面内容的类型不同时，所采用的判断方式也不同，例如，当页面内容为文本类内容时，如页面内容为超文本标记语言（HTML）数据，或文本（TXT）数据时，提取该页面内容的指纹特征值以进行判断；或者，当页面内容为二进制内容时，提取该页面内容的哈希特征值以进行判断。

26：页面中是否有恶意软件。

本实施还对页面代码进行检测，调用第三方应用程序接口（API），该API接口可以为杀毒应用软件的接口，检测页面资源中是否存在挂马、病毒等恶意插件，或其它可疑调用。

当所述指纹特征值或哈希特征值标记页面内容中包含恶意内容，且所述页面插件中包含恶意插件时，得到的页面资源判断结果标记相应URL包括恶意内容。该恶意内容可以为诈骗、色情等法律禁止的内容，也可以为自行设定的敏感内容。

27：将恶意网址加入恶意网址库。

当上述URL特征值和页面资源判断结果都标记该URL包括恶意内容时，确定该URL为恶意网址并加入恶意网址库，该URL所在网站为恶意网站。

28：人工审核。

为了确保不会“误杀”合法网站和“漏杀”非法网站，本实施例还可以进一步设置了人工审核的步骤，对步骤24、26中确认为不包括恶意内容的可疑URL进行人工审核，对步骤27中加入恶意网址库的恶意网址也进行人工审核，以对所确定的恶意网址和正常网址进行验证，保存通过验证的恶意网址和正常网址，并以此进行网址识别。

通过上述处理，即可在最短时间内提取出诈骗与恶意程序类的网址，在传播初期即自动识别出来，切断恶意网址传播能力；并能够在最短时间内，得到最新活动的恶意网站，恶意程序样本，可以将这些信息提交给第三方（如杀毒厂家）使用，并且也可在自有业务安全相关系统中，作为精确参数直接使用，从而有助于提高恶意网址识别的准确率，保证了网络安全。

本发明实施例三还提供了一种恶意网址的识别装置，参见图3，所述装置包括：

实时捕获单元31，用于对出现在网络和系统中的消息实时进行捕获，消息可为IM消息、邮件、网页等多种形式；

URL提取单元32，用于提取所捕获的消息中的统一资源定位符（URL）；

识别单元33，用于当判断所述URL为可疑URL时，根据该URL所在的消息的内容和该URL对应的页面资源识别出恶意网址。

进一步的，所述装置还包括记录单元，用于对识别出的恶意网址和正常网址进行记录，

所述识别单元33包括判断模块，用于判断同一URL的发送次数是否大于发送量阈值，若否，该URL为正常URL，若是，查询该URL是否在已记录的网址中，若在，根据对该URL的记录确认该URL为恶意网址或正常网址，若不在，确认该URL为可疑网址。

进一步的，所述装置还包括维护单元，当记录为恶意网址的URL的发送次数在预定时间内未出现大于发送量阈值时，将该URL从恶意网址的记录中移除，进行维护操作。

所述识别单元33还包括如下模块：

消息识别模块，用于对URL所在消息的内容进行指纹比对，得到URL特征值；

页面识别模块，用于对URL对应的页面资源中的页面内容和页面插件进行判断，得到页面资源判断结果；

确认模块，用于当所述URL特征值和页面资源判断结果都标记该URL包括恶意内容时，确定该URL为恶意网址，该URL所在网站为恶意网站。

其中，所述页面识别模块，用于当页面内容为文本类内容时，提取该页面内容的指纹特征值，或者，当页面内容为二进制内容时，提取该页面内容的哈希特征值；以及，调用第三方API接口判断页面插件中是否包含恶意插件；当所述指纹特征值或哈希特征值标记页面内容中包含恶意内容，且所述页面插件中包含恶意插件时，得到的页面资源判断结果标记相应URL包括恶意内容。

本发明装置实施例中各单元和模块的具体工作方式参见本发明的方法实施例。

本发明实施例至少具有如下优点：

1：实时识别恶意网站，尤其最具破坏性的新恶意网站，能在最短时间内控制其影响。

2：在设备捕获消息后采用指纹模式识别，大大提高了识别速度；

3：特征库能够自动快速更新，实时提取恶意网址，可有效控制其危害。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种恶意网址的识别方法，其特征在于，所述方法包括：

提取所捕获的消息的统一资源定位符URL；

2.根据权利要求1所述的方法，其特征在于，所述方法还包括对识别出的恶意网址和正常网址进行记录，所述判断所述URL为可疑URL包括：

判断同一URL的发送次数是否大于发送量阈值，若否，该URL为正常URL，若是，查询该URL是否在已记录的网址中，若在，根据对该URL的记录确认该URL为恶意网址或正常网址，若不在，确认该URL为可疑网址。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当记录为恶意网址的URL的发送次数在预定时间段内未出现大于发送量阈值时，将该URL从恶意网址的记录中移除。

4.根据权利要求1所述的方法，其特征在于，根据该URL所在的消息的内容和该URL对应的页面资源识别出恶意网址包括：

对URL所在消息内容进行指纹比对，得到URL特征值；

对URL对应的页面资源中的页面内容和页面代码进行判断，得到页面资源判断结果；

当所述URL特征值和页面资源判断结果都标记该URL包括恶意内容时，则确定该URL为恶意网址，该URL所在网站为恶意网站。

5.根据权利要求4所述的方法，其特征在于，所述对URL对应的页面资源中的页面内容和页面代码进行判断，得到页面资源判断结果包括：

当页面内容为文本类内容时，提取该页面内容的指纹特征值，或者，当页面内容为二进制内容时，提取该页面内容的哈希特征值；以及，

调用第三方API接口判断页面代码中是否包含恶意代码；

当所述指纹特征值或哈希特征值标记页面内容中包含恶意内容，且所述页面代码中包含恶意代码时，得到的页面资源判断结果标记相应URL包括恶意内容。

6.一种恶意网址的识别装置，其特征在于，所述装置包括：

URL提取单元，用于提取所捕获消息中的统一资源定位符URL；

7.根据权利要求6所述的装置，其特征在于，所述装置还包括记录单元，用于对识别出的恶意网址和正常网址进行记录，

所述识别单元包括判断模块，用于判断同一URL的发送次数是否大于发送量阈值，若否，该URL为正常URL，若是，查询该URL是否在已记录的网址中，若在，根据对该URL的记录确认该URL为恶意网址或正常网址，若不在，确认该URL为可疑网址。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括维护单元，当记录为恶意网址的URL的发送次数在预定时间段内未出现大于发送量阈值时，将该URL从恶意网址的记录中移除，进行维护操作。

9.根据权利要求6所述的装置，其特征在于，所述识别单元还包括：

页面识别模块，用于对URL对应的页面资源中的页面内容和页面代码进行判断，得到页面资源判断结果；

确认模块，用于当所述URL特征值和页面资源判断结果都标记该URL包括恶意内容时，确定该URL为恶意网址，该URL所在的网站为恶意网站。

10.根据权利要求6所述的装置，其特征在于，

所述页面识别模块，用于当页面内容为文本类内容时，提取该页面内容的指纹特征值，或者，当页面内容为二进制内容时，提取该页面内容的哈希特征值；以及，调用第三方API接口判断页面代码中是否包含恶意代码；当所述指纹特征值或哈希特征值标记页面内容中包含恶意内容，且所述页面代码中包含恶意代码时，得到的页面资源判断结果标记相应URL包括恶意内容，该URL所在的网站为恶意网站。