CN109788001B - 可疑互联网协议地址发现方法、用户设备、存储介质及装置 - Google Patents

Abstract

本发明公开了可疑互联网协议地址发现方法、用户设备、存储介质及装置。本发明中获取网络请求中的互联网协议地址及对应的浏览器标识；根据所述互联网协议地址及对应的浏览器标识形成原始无向图；根据所述原始无向图生成高密子图，并确定高密子图的可疑度；若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址。本发明中通过将两个看似毫无关联的独立变量联合起来分析，充分挖掘两者之间的内在联系，不会对公网ip，基站ip等正常的量大的ip造成误封。因为两个变量的现实资源都是有限的，黑产在使用这些资源的过程中必然会形成高密子图，因而本方案不会被黑产绕过。

Description

可疑互联网协议地址发现方法、用户设备、存储介质及装置

技术领域

本发明涉及网络安全领域，尤其涉及可疑互联网协议地址发现方法、用户设备、存储介质及装置。

背景技术

现有的技术方案都是基于ip(Internet Protocol Address，互联网协议地址)，账户或浏览器的访问量和访问频次来发现异常数据。

现有的基于ip，账户或浏览器流量的技术方案的缺点在于：这种方案存在比较高的误封率，尤其是对基站ip和公网ip存在很高的误封。同时，黑产可以很容易的绕过这种检测方案，比如通过养号，或者扩大ip库和浏览器标示库的方式来降低使用量和使用频率的时候，这个方案就无效了。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供可疑互联网协议地址发现方法、用户设备、存储介质及装置，旨在提高发现异常数据的可靠性和安全性。

为实现上述目的，本发明提供一种可疑互联网协议地址发现方法，所述可疑互联网协议地址发现方法包括以下步骤：

获取网络请求中的互联网协议地址及对应的浏览器标识；

根据所述互联网协议地址及对应的浏览器标识形成原始无向图；

根据所述原始无向图生成高密子图，并确定高密子图的可疑度；

若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址。

优选地，所述根据所述互联网协议地址及对应的浏览器标识形成原始无向图之后、所述根据所述原始无向图生成高密子图，并确定高密子图的可疑度之前，所述可疑互联网协议地址发现方法还包括：

对所述高密子图的边进行对数标准化处理。

优选地，所述对所述高密子图的边进行对数标准化处理，包括：

对所述高密子图的边采用预设公式进行对数标准化处理；

其中，预设公式为：eij＝eij/log(dj+c)，其中eij为高密子图中第i个互联网协议地址、第j个浏览器标识连接的次数，dj为第j个浏览器标识的度，c为常量。

优选地，所述根据所述原始无向图生成高密子图，并确定高密子图的可疑度，包括：

将原始无向图输入贪婪算法进行计算，输出高密子图；

通过评估算法确定高密子图的可疑度。

优选地，在所述根据所述原始无向图生成高密子图，并确定高密子图的可疑度之后，包括：

若输出高密子图的可疑度低于预设阈值，则对高密子图进行归一化处理生成目标无向图；

将目标无向图输入贪婪算法进行计算，输出高密子图；

根据原始无向图及高密子图判断原始无向图是否被历遍；

若否，则返回至所述对所述高密子图的边进行对数标准化处理的步骤。

优选地，所述在若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址之后，包括：

对可疑互联网协议地址进行封禁，并将该可疑互联网协议地址反馈至预设终端。

优选地，所述在若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址之后，包括：

根据原始无向图及高密子图判断原始无向图是否被历遍；

若否，则返回至所述对所述高密子图的边进行对数标准化处理的步骤。

为实现上述目的，本发明提出一种用户设备，所述用户设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行可疑互联网协议地址发现程序，所述可疑互联网协议地址发现程序被所述处理器执行时实现如上所述的可疑互联网协议地址发现方法的步骤。

为实现上述目的，本发明提出一种存储介质，所述存储介质上存储有可疑互联网协议地址发现程序，所述可疑互联网协议地址发现程序被处理器执行时实现如上所述的可疑互联网协议地址发现方法的步骤。

为实现上述目的，本发明提出一种可疑互联网协议地址发现装置，所述可疑互联网协议地址发现装置包括：

获取模块，用于获取网络请求中的互联网协议地址及对应的浏览器标识；

生成模块，用于根据所述互联网协议地址及对应的浏览器标识形成原始无向图；

确定模块，用于根据所述原始无向图生成高密子图，并确定高密子图的可疑度；

抓取模块，用于若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址。

本发明技术方案通过利用网络请求中的互联网协议地址及对应的浏览器标识生成高密子图，并确定高密子图的可疑度，当可疑度大于预设阈值时，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址。本发明技术方案将两个看似毫无关联的独立变量联合起来分析，充分挖掘两者之间的内在联系，不会对公网ip，基站ip等正常的量大的ip造成误封。因为两个变量的现实资源都是有限的，黑产在使用这些资源的过程中必然会形成高密子图，因而本方案不会被黑产绕过。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的用户设备结构示意图；

图2为本发明可疑互联网协议地址发现方法第一实施例的流程示意图；

图3为本发明可疑互联网协议地址发现方法第二实施例的流程示意图；

图4为本发明可疑互联网协议地址发现装置一实施例的功能模块图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，该用户设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的用户设备结构并不构成对用户设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及可疑互联网协议地址发现程序。

在图1所示的用户设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户终端，与终端进行数据通信；本发明用户设备通过处理器1001调用存储器1005中存储的可疑互联网协议地址发现程序，并执行本发明实施例提供的可疑互联网协议地址发现的实施方法。

所述用户设备可为电脑、服务器等电子设备。

基于上述硬件结构，提出本发明可疑互联网协议地址发现方法的实施例。

参照图2，图2为本发明可疑互联网协议地址发现方法第一实施例的流程示意图。

在第一实施例中，所述可疑互联网协议地址发现方法包括以下步骤：

步骤S10：获取网络请求中的互联网协议地址及对应的浏览器标识；

本实施例中互联网协议地址是指IP协议提供的一种统一的地址格式，它为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。

而浏览器标识则是指UA，User Agent中文名为用户代理，简称UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

本实施例中，可通过埋点的方式获取网络请求中的互联网协议地址及对应的浏览器标识。

步骤S20：根据所述互联网协议地址及对应的浏览器标识形成原始无向图；

互联网协议地址及对应的浏览器标识形成一个节点，多个节点之间形成了原始无向图，原始无向图可表示为G＝(V，E)，以作为输入数据。其中V表示互联网协议地址，E表示对应的浏览器标识。

步骤S40：根据所述原始无向图生成高密子图，并确定高密子图的可疑度。

可以理解的是，高密子图的可疑度反应了对应的网络协议地址是否是黑产用户。这是因为正常用户产生的互联网协议地址及对应的浏览器标识与黑产用户所呈现的特征是不一样的，通过挖掘这些特征，即可进行识别。

步骤S50：若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址。

值得说明的是，当可疑度高于预设阈值时，表明该互联网协议地址是黑产用户的互联网协议地址。

参照图3，图3为本发明可疑互联网协议地址发现方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明可疑互联网协议地址发现方法的第二实施例。

在第二实施例中，所述根据所述互联网协议地址及对应的浏览器标识形成原始无向图之后、所述根据所述原始无向图生成高密子图，并确定高密子图的可疑度之前，所述可疑互联网协议地址发现方法还包括：

步骤S30：对所述高密子图的边进行对数标准化处理。

为了削弱无向图G中边的大小的差异，在所述根据所述互联网协议地址及对应的浏览器标识形成原始无向图之后、所述根据所述原始无向图生成高密子图，并确定高密子图的可疑度之前，对无向图的边进行“对数标准化”处理。

本实施例中，对所述高密子图的边采用预设公式进行对数标准化处理；

其中，预设公式为：eij＝eij/log(dj+c)，其中eij为高密子图中第i个互联网协议地址、第j个浏览器标识连接的次数，dj为第j个浏览器标识的度，c为常量。通常c取数值5。

进一步地，所述根据所述原始无向图生成高密子图，并确定高密子图的可疑度，包括：

将原始无向图输入贪婪算法进行计算，输出高密子图。值得说明的是，贪婪算法是指对问题进行求解时，在每一步选择中都采取最好或者最优(即最有利)的选择，从而希望能够导致结果是最好或者最优的算法。通过把求解的问题分成若干个子问题；对每一子问题求解，得到子问题的局部最优解；把子问题对应的局部最优解合成原来整个问题的一个近似最优解。按照如此步骤得到高密子图。

通过评估算法确定高密子图的可疑度。本实施例中，可疑度评估算法包括算术平均算法、几何平均算法、对数平均算法等。将高密子图输入至评估算法从而输出高密子图的可疑度。

进一步地，在所述根据所述原始无向图生成高密子图，并确定高密子图的可疑度之后，包括：

若输出高密子图的可疑度低于预设阈值，则对高密子图进行归一化处理生成目标无向图。可以理解的是，当输出高密子图的可疑度低于预设阈值时，则进一步地查找其他可疑度大于预设阈值的高密子图。

将目标无向图输入贪婪算法进行计算，输出高密子图。

根据原始无向图及高密子图判断原始无向图是否被历遍。本实施例中通过将原始无向图的顶点数减去高密子图的顶点数，判断顶点数的差值是否大于预设阈值。若顶点数大于预设阈值，则判断为原始无向图已经被历遍；若顶点数小于或等于预设阈值时，则判断为原始无向图未被历遍。

若否，则返回至所述对所述高密子图的边进行对数标准化处理的步骤。

进一步地，所述在若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址之后，包括：

对可疑互联网协议地址进行封禁，并将该可疑互联网协议地址反馈至预设终端。

如此，可以防止黑产对网站的攻击。进一步的可以将这些可疑互联网协议地址加入黑产数据库，从而进行永久封杀。

进一步地，所述在若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址之后，包括：

根据原始无向图及高密子图判断原始无向图是否被历遍。根据原始无向图及高密子图判断原始无向图是否被历遍。本实施例中通过将原始无向图的顶点数减去高密子图的顶点数，判断顶点数的差值是否大于预设阈值。若顶点数大于预设阈值，则判断为原始无向图已经被历遍；若顶点数小于或等于预设阈值时，则判断为原始无向图未被历遍。

若否，则返回至所述对所述高密子图的边进行对数标准化处理的步骤。

参照图4，基于上述可疑互联网协议地址发现方法，本发明还提出一种可疑互联网协议地址发现装置，所述可疑互联网协议地址发现装置包括：

获取模100，用于获取网络请求中的互联网协议地址及对应的浏览器标识。本实施例中互联网协议地址是指IP协议提供的一种统一的地址格式，它为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。

而浏览器标识则是指UA，User Agent中文名为用户代理，简称UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

本实施例中，可通过埋点的方式获取网络请求中的互联网协议地址及对应的浏览器标识。

生成模块，用于根据所述互联网协议地址及对应的浏览器标识形成原始无向图；

互联网协议地址及对应的浏览器标识形成一个节点，多个节点之间形成了原始无向图，原始无向图可表示为G＝(V，E)，以作为输入数据。其中V表示互联网协议地址，E表示对应的浏览器标识。

确定模块400，用于根据所述原始无向图生成高密子图，并确定高密子图的可疑度。互联网协议地址及对应的浏览器标识形成一个节点，多个节点之间形成了原始无向图，原始无向图可表示为G＝(V，E)，以作为输入数据。其中V表示互联网协议地址，E表示对应的浏览器标识。

抓取模块500，用于若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址。

值得说明的是，当可疑度高于预设阈值时，表明该互联网协议地址是黑产用户的互联网协议地址。

进一步地，所述可疑互联网协议地址发现装置还包括对数处理模块300，所述对数处理模块用于对所述高密子图的边进行对数标准化处理。

进一步地，所述对数处理模块还用于对所述高密子图的边采用预设公式进行对数标准化处理；

其中，预设公式为：eij＝eij/log(dj+c)，其中eij为高密子图中第i个互联网协议地址、第j个浏览器标识连接的次数，dj为第j个ua的度，c为常量。

为了削弱无向图G中边的大小的差异，在所述根据所述互联网协议地址及对应的浏览器标识形成原始无向图之后、所述根据所述原始无向图生成高密子图，并确定高密子图的可疑度之前，对无向图的边进行“对数标准化”处理。

具体地，所述确定模块用于将原始无向图输入贪婪算法进行计算，输出高密子图；通过评估算法确定高密子图的可疑度。将原始无向图输入贪婪算法进行计算，输出高密子图。值得说明的是，贪婪算法是指对问题进行求解时，在每一步选择中都采取最好或者最优(即最有利)的选择，从而希望能够导致结果是最好或者最优的算法。通过把求解的问题分成若干个子问题；对每一子问题求解，得到子问题的局部最优解；把子问题对应的局部最优解合成原来整个问题的一个近似最优解。按照如此步骤得到高密子图。本实施例中，可疑度评估算法包括算术平均算法、几何平均算法、对数平均算法等。将高密子图输入至评估算法从而输出高密子图的可疑度。

进一步地，所述确定模块还用于在若输出高密子图的可疑度低于预设阈值，则对高密子图进行归一化处理生成目标无向图；将目标无向图输入贪婪算法进行计算，输出高密子图；根据原始无向图及高密子图判断原始无向图是否被历遍；若否，则返回至所述对所述高密子图的边进行对数标准化处理的步骤。

进一步地，所述确定模块还用于在对可疑互联网协议地址进行封禁，并将该可疑互联网协议地址反馈至预设终端。如此，可以防止黑产对网站的攻击。进一步的可以将这些可疑互联网协议地址加入黑产数据库，从而进行永久封杀。

进一步地，所述确定模块还用于根据原始无向图及高密子图判断原始无向图是否被历遍；若否，则返回至所述对所述高密子图的边进行对数标准化处理的步骤。根据原始无向图及高密子图判断原始无向图是否被历遍。根据原始无向图及高密子图判断原始无向图是否被历遍。本实施例中通过将原始无向图的顶点数减去高密子图的顶点数，判断顶点数的差值是否大于预设阈值。若顶点数大于预设阈值，则判断为原始无向图已经被历遍；若顶点数小于或等于预设阈值时，则判断为原始无向图未被历遍。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词解释为名称。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种可疑互联网协议地址发现方法，其特征在于，所述可疑互联网协议地址发现方法包括以下步骤：

获取网络请求中的互联网协议地址及对应的浏览器标识；

根据所述互联网协议地址及对应的浏览器标识形成原始无向图；

根据所述原始无向图生成高密子图，并确定高密子图的可疑度；

若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址；

所述根据所述原始无向图生成高密子图包括：

将原始无向图输入贪婪算法进行计算，输出高密子图。

2.如权利要求1所述的可疑互联网协议地址发现方法，其特征在于，所述根据所述互联网协议地址及对应的浏览器标识形成原始无向图之后、所述根据所述原始无向图生成高密子图，并确定高密子图的可疑度之前，所述可疑互联网协议地址发现方法还包括：

对所述原始无向图的边进行对数标准化处理。

3.如权利要求2所述的可疑互联网协议地址发现方法，其特征在于，所述对所述原始无向图的边进行对数标准化处理，包括：

对所述原始无向图的边采用预设公式进行对数标准化处理；

其中，预设公式为：eij＝eij/log(dj+c)，其中eij为原始无向图中第i个互联网协议地址、第j个浏览器标识连接的次数，dj为第j个浏览器标识的度，c为常量。

4.如权利要求1所述的可疑互联网协议地址发现方法，其特征在于，所述确定高密子图的可疑度，包括：

通过评估算法确定高密子图的可疑度。

5.如权利要求2所述的可疑互联网协议地址发现方法，其特征在于，在所述根据所述原始无向图生成高密子图，并确定高密子图的可疑度之后，包括：

若输出高密子图的可疑度低于预设阈值，则对高密子图进行归一化处理生成目标无向图；

将目标无向图输入贪婪算法进行计算，输出高密子图；

根据原始无向图及高密子图判断原始无向图是否被历遍；

若否，则返回至所述对所述原始无向图的边进行对数标准化处理的步骤。

6.如权利要求5所述的可疑互联网协议地址发现方法，其特征在于，所述在若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址之后，包括：

对可疑互联网协议地址进行封禁，并将该可疑互联网协议地址反馈至预设终端。

7.如权利要求5所述的可疑互联网协议地址发现方法，其特征在于，所述在若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址之后，包括：

根据原始无向图及高密子图判断原始无向图是否被历遍；

若否，则返回至所述对所述原始无向图的边进行对数标准化处理的步骤。

8.一种用户设备，其特征在于，所述用户设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行可疑互联网协议地址发现程序，所述可疑互联网协议地址发现程序被所述处理器执行时实现如权利要求1至7中任一项所述的可疑互联网协议地址发现方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有可疑互联网协议地址发现程序，所述可疑互联网协议地址发现程序被处理器执行时实现如权利要求1至7中任一项所述的可疑互联网协议地址发现方法的步骤。

10.一种可疑互联网协议地址发现装置，其特征在于，所述可疑互联网协议地址发现装置包括：

获取模块，用于获取网络请求中的互联网协议地址及对应的浏览器标识；

生成模块，用于根据所述互联网协议地址及对应的浏览器标识形成原始无向图；

确定模块，用于将原始无向图输入贪婪算法进行计算，输出高密子图，并确定高密子图的可疑度；

抓取模块，用于若输出高密子图的可疑度高于预设阈值，抓取高密子图对应的互联网协议地址作为可疑互联网协议地址。

Images