CN113553370A - 异常检测方法、装置、电子设备及可读存储介质 - Google Patents
异常检测方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113553370A CN113553370A CN202110851324.6A CN202110851324A CN113553370A CN 113553370 A CN113553370 A CN 113553370A CN 202110851324 A CN202110851324 A CN 202110851324A CN 113553370 A CN113553370 A CN 113553370A
- Authority
- CN
- China
- Prior art keywords
- identifier
- identification
- nodes
- subgraph
- bipartite graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开提供了一种异常检测方法、装置、电子设备及可读存储介质,涉及数据处理技术领域,尤其涉及大数据、知识图谱领域。具体实现方案为:获取目标网站的访问数据对应的第一标识和第二标识的标识对;根据标识对,建立访问数据对应的第一标识和第二标识的关联二部图;其中,关联二部图中的节点表征第一标识或者第二标识,关联二部图中的边表征边的两端节点表征的第一标识和第二标识相关联;根据关联二部图,提取异常标识群组,异常标识群组包括:异常访问目标网站的相关联的第一标识和第二标识。
Description
技术领域
本公开涉及数据处理技术领域,尤其涉及大数据、知识图谱领域。
背景技术
网站的访问数据通常为网站的访问日志,包括访问的时间、访问的对象、访问者留下的身份信息等。在对网站的访问情况进行异常检测时,通常是将访问数据处理成大型的关系型访问日志数据,并通过规则引擎和统计方法筛选出异常的主体。
发明内容
本公开提供了一种用于异常检测的方法、装置、设备以及存储介质。
根据本公开的一方面,提供了一种异常检测方法,包括:
获取目标网站的访问数据对应的第一标识和第二标识的标识对;
根据标识对,建立访问数据对应的第一标识和第二标识的关联二部图;其中,关联二部图中的节点表征第一标识或者第二标识,关联二部图中的边表征边的两端节点表征的第一标识和第二标识相关联;
根据关联二部图,提取异常标识群组;其中,异常标识群组包括:异常访问目标网站的相关联的第一标识和第二标识。
根据本公开的另一方面,提供了一种异常检测装置,包括:
获取模块,用于获取目标网站的访问数据对应的第一标识和第二标识的标识对;
建立模块,用于根据标识对,建立访问数据对应的第一标识和第二标识的关联二部图;其中,关联二部图中的节点表征第一标识或者第二标识,关联二部图中的边表征边的两端节点表征的第一标识和第二标识相关联;
提取模块,用于根据关联二部图,提取异常标识群组;其中,异常标识群组包括:异常访问目标网站的相关联的第一标识和第二标识。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如上所述的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上所述的方法。
根据本公开的技术解决了目前无法有效地锁定访问网站的非法主体的问题,能够有效地锁定访问网站的非法主体的标识群组。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开实施例提供的一种异常检测方法的流程图;
图2是本公开实例中IP-UID关联二部图的示意图;
图3是本公开实例中IP-IP关联图的示意图;
图4A和图4B为本公开实施例中完备子图的示意图;
图5是用来实现本公开实施例的异常检测方法的异常检测装置的框图;
图6是用来实现本公开实施例的异常检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例可以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。说明书以及权利要求中“和/或”表示所连接对象的至少其中之一。
为了便于理解本公开实施例,首先说明以下内容。
图是指若干给定的节点及连接两节点的线所构成的图形,这种图形通常用来描述某些事物之间的某种特定关系。图中的节点表征事物,图中的边表征该边的两端节点表征的两事物间具有关系。图分析方法是指使用图方法来处理关系型数据,得到结论的方法。
由于非法主体在访问网络时,通常会通过使用海量IP代理池、大量虚假用户身份证明(User Identification,UID)等频繁清除存储数据(cookie)等的方法隐藏自身身份,造成无法有效地锁定访问网站的非法主体。为了解决目前无法有效地锁定访问网站的非法主体的问题,本实施例提出了基于图分析的异常检测方法,图分析可以捕捉所有访问过网站的主体身份之间的关联,通过将网站的访问数据处理成不同标识关联的二部图,来锁定异常标识群组,该异常标识群组中包括异常访问网站的相关联的标识,比如IP地址、UID等。
可选的,本实施例适用的场景包括但不限于反爬虫策略引擎等。
请参见图1,图1是本公开实施例提供的一种异常检测方法的流程图,该方法应用于电子设备,如图1所示,该方法包括如下步骤:
步骤11:获取目标网站的访问数据对应的第一标识和第二标识的标识对。
可选的,基于实际需求,目标网站可以为一个网站,也可以为多个网站,对此不作限定。目标网站的访问数据包括但不限于访问的时间、访问的对象、访问者留下的身份信息等。
一些实施例中,上述目标网站的访问数据可以是在检测时段内收集的网站访问数据。
一些实施例中,第一标识和第二标识为能够表征目标网站的访问数据的不同标识。比如,第一标识可选为IP地址、用户账号等,第二标识可选为UID、网站访问设备的标识等。本实施例不对第一标识和/或第二标识的具体形式限定。
需指出的,为了满足图分析的需求,此步骤中获取的第一标识和第二标识的标识对的数量为多个。并且为了有效进行图分析,获取的第一标识和第二标识的标识对需满足一些预设条件,该预设条件包括但不限于访问数超过预设阈值、访问数超过预设阈值且访问时间处于预设时间段内等。对于满足预设条件的第一标识和第二标识的标识对,可以认为此标识对对应的访问主体可能为非法主体。
步骤12:根据第一标识和第二标识的标识对,建立访问数据对应的第一标识和第二标识的关联二部图。
本实施例中,关联二部图中的节点表征第一标识或者第二标识,关联二部图中的边表征该边的两端节点表征的第一标识和第二标识相关联。比如,若某主体同时使用了第一标识A和第二标识B访问网站,则该第一标识A和第二标识B相关联。
步骤13:根据关联二部图,提取异常标识群组。
其中,异常标识群组包括:异常访问目标网站的相关联的第一标识和第二标识。
本公开实施例的异常检测方法,在获取目标网站的访问数据对应的第一标识和第二标识的标志对之后,可以根据该标志对,建立访问数据对应的第一标识和第二标识的关联二部图,并根据关联二部图,提取异常标识群组,该异常标识群组包括异常访问目标网站的相关联的第一标识和第二标识。由此,可以基于图分析进行异常检测,从而有效捕捉所有访问过网站的主体身份信息之间的关联,从而提取非法主体使用的异常标识群组,有效地锁定访问网站的非法主体。
可选的,由于网站访问数据的数据量庞大,通常在每日百亿级别,因此,本实施例中的目标网站的访问数据可以存储在分布式存储文件系统比如AFS中。相应的,本实施例中的异常检测过程可以使用分布式图处理框架比如spark graphX实现,构建的异常标识群组存储在AFS中。
本公开实施例中,由于非法主体通常使用虚假的第一标识和不同第二标识的组合,和/或不同第一标识和第二标识的组合访问网站,因此,可以选取所有关联的第一标识和第二标识构建异常标识群组。上述根据关联二部图,提取异常标识群组的过程可以包括:
根据关联二部图,筛选目标第二标识;其中,目标第二标识关联的第一标识的数量超过预设阈值;该预设阈值基于实际需求预先设置;
获取目标第二标识关联的第一标识集合;
从第一标识集合中提取第一标识子集合;其中,第一标识子集合中的每两个第一标识都关联;
从第一标识子集合中的每个第一标识以及每个第一标识关联的第二标识中选取全关联的第一标识和第二标识,构建异常标识群组。
这样,通过筛选目标第二标识以及构建第一标识子集合,可以选取全关联的第一标识和第二标识构建异常标识群组,从而有效地锁定访问网站的非法主体。
可选的,在提取第一标识子集合时,可以利用Bron-Kerbosch算法生成完备子图的方式进行提取。利用Bron-Kerbosch算法可以计算图的最大全连通分量即完备子图,完备子图中的两两节点间都存在边连接。上述从第一标识集合中提取第一标识子集合的过程可以包括:
根据第一标识集合,生成两两关联的第一标识对;
根据两两关联的第一标识对,建立第一标识和第一标识的关联图;其中,关联图中的节点表征第一标识,关联图中的边表征该边的两端节点表征的两个第一标识相关联,此关联可理解为两个第一标识共用了第二标识;每两个第一标识可以共用多个第二标识;
根据关联图,生成具有预设节点数的完备子图。其中,完备子图即第一标识子集合。完备子图中的节点表征第一标识,完备子图中的边表征该边的两端节点表征的两个第一标识相关联,此关联可理解为两个第一标识共用了第二标识。完备子图中的两两节点间都存在边连接。完备子图中的节点数可以基于实际业务需求预先设置。如图4A和图4B所示,图4A为预设节点数为4的完备子图,图4B为预设节点数为5的完备子图。
这样,借助生成完备子图的方式,可以便捷地从第一标识集合中提取第一标识子集合。
可选的,为了高效地构建异常标识群组,可以采用编号的方式选取全关联的第一标识和第二标识。上述从第一标识子集合中的每个第一标识以及每个第一标识关联的第二标识中选取全关联的第一标识和第二标识,构建异常标识群组的过程可以包括:
利用第一标识子集合中的每个第一标识以及每个第一标识关联的第二标识,建立第一标识和第二标识的子图;其中,子图中的节点表征第一标识或第二标识,子图中的边表征该边的两端节点表征的第一标识和第二标识相关联;
对子图中的节点进行编号;其中,子图中的通过边连接的节点具有相同的编号;
选取子图中的具有相同编号的节点表征的第一标识和第二标识,构建异常标识群组。
一些实施例中,在对子图中的节点进行编号时,可以通过联通分量算法给联通的节点组编号,即,相联通的节点具有相同的编号。
下面结合图2至图4对本公开具体实例进行说明。
本公开具体实例中,以第一标识为IP地址,第二标识为UID为例,基于图分析的异常检测过程可以包括:
S11:获取检测时段内单个访问渠道的访问数据,并获取访问数据对应的IP-UID对;其中,为了满足图分析的需求,此中获取的IP-UID对的数量为多个,且为访问数超过预设阈值(比如20、30等)的IP-UID对。
S12:根据获取的IP-UID对,建立IP-UID关联二部图;该关联二部图中的节点表征IP地址或者UID,该二部图中的边表征该边的两端节点表征的IP地址和UID相关联;比如,本实例中建立的IP-UID关联二部图可以如图2所示。
S13:根据建立的IP-UID关联二部图,筛选关联IP地址数超过预设阈值(比如2、3等)的目标UID。
比如,如图2所示的IP-UID关联二部图,其中,UID 1与IP 1、IP 2和IP 3关联,UID2与IP 1、IP 2和IP 4关联,UID 3与IP 1、IP 3和IP 4关联,UID 4与IP 4关联,UID 5与IP 5关联,则在筛选关联IP地址数超过2的目标UID,即排除关联IP地址数小于3的UID时,目标UID为:UID 1、UID 2和UID 3。
S14:根据筛选出的目标UID,获取目标UID关联的IP地址集合,即获取目标UID的邻居IP地址集合,并遍历邻居IP地址集合生成两两关联的IP-IP对。
比如,以目标UID为UID 1、UID 2和UID 3为例,则:UID 1的邻居IP地址集合为{IP1,IP 2,IP 3},相应的IP-IP对为(IP 1,IP 2)、(IP 1,IP 3)和(IP 2,IP 3);UID 2的邻居IP地址集合为{IP 1,IP 2,IP 4},相应的IP-IP对为(IP 1,IP 2)、(IP 1,IP4)和(IP 2,IP4);UID 3的邻居IP地址集合为{IP 1,IP 3,IP 4},相应的IP-IP对为(IP 1,IP 3)、(IP 1,IP4)和(IP 3,IP 4)。
S15:从生成的两两关联的IP-IP对中筛选共用UID数超过预设阈值(比如4、6等)的IP-IP对,并基于筛选出的IP-IP对,建立IP-IP关联图;其中,此实例中的建立的IP-IP关联图可以如图3所示。
S16:通过Bron-Kerbosch算法,生成IP-IP关联图的具有预设节点数的完备子图。其中,完备子图中的节点表征IP地址,完备子图中的边表征该边的两端节点表征的两个IP地址相关联,此关联可理解为两个IP地址共用了UID。完备子图中的两两节点间都存在边连接。如图4A和图4B所示,图4A为预设节点数为4的完备子图,图4B为预设节点数为5的完备子图。
S17:通过完备子图中每个节点表征的IP地址以及该IP地址关联的UID,建立最终的IP-UID子图,该IP-UID子图中的边表征该边的两端节点表征的IP地址和UID相关联。
S18:通过联通分量算法为IP-UID子图中的节点编号,且通过边连接的节点具有相同的编号。
S19:选取IP-UID子图中的具有相同编号的节点表征的IP地址和UID,构建高危IP-UID群组并输出。
这样,借助上述异常检测过程,可以有效地检测出作弊的IP-UID群组。例如,在内容保护反爬虫应用实践中,借助本方案,相比于目前方案可以将作弊IP-UID群组的检出率提升2%。
请参见图5,图5是本公开实施例提供的一种异常检测装置的结构示意图,该装置应用于电子设备,如图5所示,异常检测装置50包括:
获取模块51,用于获取目标网站的访问数据对应的第一标识和第二标识的标识对;
建立模块52,用于根据标识对,建立访问数据对应的第一标识和第二标识的关联二部图;其中,关联二部图中的节点表征第一标识或者第二标识,关联二部图中的边表征边的两端节点表征的第一标识和第二标识相关联;
提取模块53,用于根据关联二部图,提取异常标识群组;其中,异常标识群组包括:异常访问目标网站的相关联的第一标识和第二标识。
可选的,提取模块53包括:
筛选单元,用于根据关联二部图,筛选目标第二标识;其中,目标第二标识关联的第一标识的数量超过预设阈值;
获取单元,用于获取目标第二标识关联的第一标识集合;
提取单元,用于从第一标识集合中提取第一标识子集合;其中,第一标识子集合中的每两个第一标识都关联;
构建单元,用于从第一标识子集合中的每个第一标识以及每个第一标识关联的第二标识中选取全关联的第一标识和第二标识,构建异常标识群组。
可选的,提取单元包括:
第一生成子单元,用于根据第一标识集合,生成两两关联的第一标识对;
第一建立子单元,用于根据两两关联的第一标识对,建立第一标识和第一标识的关联图;
第二生成子单元,用于根据关联图,生成具有预设节点数的完备子图;其中,完备子图中的节点表征第一标识,完备子图中的边表征边的两端节点表征的两个第一标识相关联,完备子图中的两两节点间都存在边连接。
可选的,构建单元包括:
第二建立子单元,用于利用第一标识子集合中的每个第一标识以及每个第一标识关联的第二标识,建立第一标识和第二标识的子图;其中,子图中的边表征边的两端节点表征的第一标识和第二标识相关联;
编号子单元,用于对子图中的节点进行编号;其中,子图中的通过边连接的节点具有相同的编号;
构建子单元,用于选取子图中的具有相同编号的节点表征的第一标识和第二标识,构建异常标识群组。
可理解的,本发明实施例的异常检测装置50,可以实现上述图1所示的方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如异常检测方法。例如,在一些实施例中,异常检测方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的异常检测方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行异常检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (11)
1.一种异常检测方法,包括:
获取目标网站的访问数据对应的第一标识和第二标识的标识对;
根据所述标识对,建立所述访问数据对应的第一标识和第二标识的关联二部图;其中,所述关联二部图中的节点表征所述第一标识或者所述第二标识,所述关联二部图中的边表征所述边的两端节点表征的第一标识和第二标识相关联;
根据所述关联二部图,提取异常标识群组;其中,所述异常标识群组包括:异常访问所述目标网站的相关联的第一标识和第二标识。
2.根据权利要求1所述的方法,其中,所述根据所述关联二部图,提取异常标识群组,包括:
根据所述关联二部图,筛选目标第二标识;其中,所述目标第二标识关联的第一标识的数量超过预设阈值;
获取所述目标第二标识关联的第一标识集合;
从所述第一标识集合中提取第一标识子集合;其中,所述第一标识子集合中的每两个第一标识都关联;
从所述第一标识子集合中的每个第一标识以及所述每个第一标识关联的第二标识中选取全关联的第一标识和第二标识,构建所述异常标识群组。
3.根据权利要求2所述的方法,其中,所述从所述第一标识集合中提取第一标识子集合,包括:
根据所述第一标识集合,生成两两关联的第一标识对;
根据所述两两关联的第一标识对,建立第一标识和第一标识的关联图;
根据所述关联图,生成具有预设节点数的完备子图;其中,所述完备子图中的节点表征第一标识,所述完备子图中的边表征所述边的两端节点表征的两个第一标识相关联,所述完备子图中的两两节点间都存在边连接。
4.根据权利要求2所述的方法,其中,所述从所述第一标识子集合中的每个第一标识以及所述每个第一标识关联的第二标识中选取全关联的第一标识和第二标识,构建所述异常标识群组,包括:
利用所述第一标识子集合中的每个第一标识以及所述每个第一标识关联的第二标识,建立第一标识和第二标识的子图;其中,所述子图中的边表征所述边的两端节点表征的第一标识和第二标识相关联;
对所述子图中的节点进行编号;其中,所述子图中的通过边连接的节点具有相同的编号;
选取所述子图中的具有相同编号的节点表征的第一标识和第二标识,构建所述异常标识群组。
5.一种异常检测装置,包括:
获取模块,用于获取目标网站的访问数据对应的第一标识和第二标识的标识对;
建立模块,用于根据所述标识对,建立所述访问数据对应的第一标识和第二标识的关联二部图;其中,所述关联二部图中的节点表征所述第一标识或者所述第二标识,所述关联二部图中的边表征所述边的两端节点表征的第一标识和第二标识相关联;
提取模块,用于根据所述关联二部图,提取异常标识群组;其中,所述异常标识群组包括:异常访问所述目标网站的相关联的第一标识和第二标识。
6.根据权利要求5所述的装置,其中,所述提取模块包括:
筛选单元,用于根据所述关联二部图,筛选目标第二标识;其中,所述目标第二标识关联的第一标识的数量超过预设阈值;
获取单元,用于获取所述目标第二标识关联的第一标识集合;
提取单元,用于从所述第一标识集合中提取第一标识子集合;其中,所述第一标识子集合中的每两个第一标识都关联;
构建单元,用于从所述第一标识子集合中的每个第一标识以及所述每个第一标识关联的第二标识中选取全关联的第一标识和第二标识,构建所述异常标识群组。
7.根据权利要求6所述的装置,其中,所述提取单元包括:
第一生成子单元,用于根据所述第一标识集合,生成两两关联的第一标识对;
第一建立子单元,用于根据所述两两关联的第一标识对,建立第一标识和第一标识的关联图;
第二生成子单元,用于根据所述关联图,生成具有预设节点数的完备子图;其中,所述完备子图中的节点表征第一标识,所述完备子图中的边表征所述边的两端节点表征的两个第一标识相关联,所述完备子图中的两两节点间都存在边连接。
8.根据权利要求6所述的装置,其中,所述构建单元包括:
第二建立子单元,用于利用所述第一标识子集合中的每个第一标识以及所述每个第一标识关联的第二标识,建立第一标识和第二标识的子图;其中,所述子图中的边表征所述边的两端节点表征的第一标识和第二标识相关联;
编号子单元,用于对所述子图中的节点进行编号;其中,所述子图中的通过边连接的节点具有相同的编号;
构建子单元,用于选取所述子图中的具有相同编号的节点表征的第一标识和第二标识,构建所述异常标识群组。
9.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-4中任一项所述的方法。
11.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110851324.6A CN113553370B (zh) | 2021-07-27 | 2021-07-27 | 异常检测方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110851324.6A CN113553370B (zh) | 2021-07-27 | 2021-07-27 | 异常检测方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113553370A true CN113553370A (zh) | 2021-10-26 |
CN113553370B CN113553370B (zh) | 2023-07-21 |
Family
ID=78104582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110851324.6A Active CN113553370B (zh) | 2021-07-27 | 2021-07-27 | 异常检测方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113553370B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116405509A (zh) * | 2023-06-09 | 2023-07-07 | 深圳前海环融联易信息科技服务有限公司 | 分布式监听方法及其计算机设备、存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170116315A1 (en) * | 2015-10-21 | 2017-04-27 | International Business Machines Corporation | Fast path traversal in a relational database-based graph structure |
US20180219888A1 (en) * | 2017-01-30 | 2018-08-02 | Splunk Inc. | Graph-Based Network Security Threat Detection Across Time and Entities |
CN108920947A (zh) * | 2018-05-08 | 2018-11-30 | 北京奇艺世纪科技有限公司 | 一种基于日志图建模的异常检测方法和装置 |
US20190087480A1 (en) * | 2017-09-15 | 2019-03-21 | Adobe Systems Incorporated | Clustering based on a directed graph |
CN109726318A (zh) * | 2017-10-12 | 2019-05-07 | 奥誓公司 | 用于识别欺诈性发布者网络的方法和系统 |
CN110209820A (zh) * | 2019-06-05 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 用户标识检测方法、装置及存储介质 |
CN112541022A (zh) * | 2020-12-18 | 2021-03-23 | 网易(杭州)网络有限公司 | 异常对象检测方法、装置、存储介质及电子设备 |
CN113010896A (zh) * | 2021-03-17 | 2021-06-22 | 北京百度网讯科技有限公司 | 确定异常对象的方法、装置、设备、介质和程序产品 |
-
2021
- 2021-07-27 CN CN202110851324.6A patent/CN113553370B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170116315A1 (en) * | 2015-10-21 | 2017-04-27 | International Business Machines Corporation | Fast path traversal in a relational database-based graph structure |
US20180219888A1 (en) * | 2017-01-30 | 2018-08-02 | Splunk Inc. | Graph-Based Network Security Threat Detection Across Time and Entities |
US20190087480A1 (en) * | 2017-09-15 | 2019-03-21 | Adobe Systems Incorporated | Clustering based on a directed graph |
CN109726318A (zh) * | 2017-10-12 | 2019-05-07 | 奥誓公司 | 用于识别欺诈性发布者网络的方法和系统 |
CN108920947A (zh) * | 2018-05-08 | 2018-11-30 | 北京奇艺世纪科技有限公司 | 一种基于日志图建模的异常检测方法和装置 |
CN110209820A (zh) * | 2019-06-05 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 用户标识检测方法、装置及存储介质 |
CN112541022A (zh) * | 2020-12-18 | 2021-03-23 | 网易(杭州)网络有限公司 | 异常对象检测方法、装置、存储介质及电子设备 |
CN113010896A (zh) * | 2021-03-17 | 2021-06-22 | 北京百度网讯科技有限公司 | 确定异常对象的方法、装置、设备、介质和程序产品 |
Non-Patent Citations (1)
Title |
---|
张玉清;吕少卿;范丹;: "在线社交网络中异常帐号检测方法研究", 计算机学报, no. 10 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116405509A (zh) * | 2023-06-09 | 2023-07-07 | 深圳前海环融联易信息科技服务有限公司 | 分布式监听方法及其计算机设备、存储介质 |
CN116405509B (zh) * | 2023-06-09 | 2023-09-01 | 深圳前海环融联易信息科技服务有限公司 | 分布式监听方法及其计算机设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113553370B (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106375331B (zh) | 一种攻击组织的挖掘方法及装置 | |
CN111355697B (zh) | 僵尸网络域名家族的检测方法、装置、设备及存储介质 | |
JP6401424B2 (ja) | ログ分析装置、ログ分析方法およびログ分析プログラム | |
CN111786950A (zh) | 基于态势感知的网络安全监控方法、装置、设备及介质 | |
CN112953938B (zh) | 网络攻击防御方法、装置、电子设备及可读存储介质 | |
US20220035806A1 (en) | Method and system for anomaly detection based on statistical closed-form isolation forest analysis | |
US10560473B2 (en) | Method of network monitoring and device | |
CN114157480A (zh) | 网络攻击方案的确定方法、装置、设备和存储介质 | |
CN113553370B (zh) | 异常检测方法、装置、电子设备及可读存储介质 | |
CN113312611A (zh) | 密码检测方法、装置、设备和计算机可读存储介质 | |
CN115589339B (zh) | 网络攻击类型识别方法、装置、设备以及存储介质 | |
CN115827379A (zh) | 异常进程检测方法、装置、设备和介质 | |
CN109992960B (zh) | 一种伪造参数检测方法、装置、电子设备及存储介质 | |
CN111666501A (zh) | 异常社团识别方法、装置、计算机设备和存储介质 | |
CN107995167B (zh) | 一种设备识别方法及服务器 | |
CN115643044A (zh) | 数据处理方法、装置、服务器及存储介质 | |
CN115314322A (zh) | 基于流量的漏洞检测确认方法、装置、设备以及存储介质 | |
CN110830518B (zh) | 溯源分析方法、装置、电子设备及存储介质 | |
JPWO2018138793A1 (ja) | 攻撃・異常検知装置、攻撃・異常検知方法、および攻撃・異常検知プログラム | |
CN115378746B (zh) | 网络入侵检测规则生成方法、装置、设备以及存储介质 | |
CN115102728B (zh) | 一种用于信息安全的扫描器识别方法、装置、设备及介质 | |
CN112836212B (zh) | 邮件数据的分析方法、钓鱼邮件的检测方法及装置 | |
CN109241428B (zh) | 用户性别的确定方法、装置、服务器及存储介质 | |
CN110457893B (zh) | 获取帐号群组的方法和设备 | |
CN115879166A (zh) | 数据识别方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |