CN115883187A - 网络流量数据中的异常信息识别方法、装置、设备和介质 - Google Patents
网络流量数据中的异常信息识别方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN115883187A CN115883187A CN202211506884.9A CN202211506884A CN115883187A CN 115883187 A CN115883187 A CN 115883187A CN 202211506884 A CN202211506884 A CN 202211506884A CN 115883187 A CN115883187 A CN 115883187A
- Authority
- CN
- China
- Prior art keywords
- node
- information
- nodes
- client
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开提供了一种网络流量数据中的异常信息识别方法,涉及网络安全技术领域,尤其涉及数据挖掘、数据处理以及机器学习技术领域。具体实现方案为:从网络流量数据中获取网络协议IP信息、客户端用户信息以及客户端设备信息,分别作为IP节点、用户节点和设备节点,其中,客户端设备信息是通过向客户端设备发送指定任务,并根据客户端设备返回的指定任务的执行结果确定的;基于IP节点、用户节点和设备节点之间的关联关系,生成关系图;根据关系图,生成关系图中的节点的目标特征;以及根据目标特征,确定关系图中的异常节点。本公开还提供了一种网络流量数据中的异常信息识别装置、电子设备和存储介质。
Description
技术领域
本公开涉及网络安全技术领域,尤其涉及数据挖掘、数据处理以及机器学习技术。更具体地,本公开提供了一种网络流量数据中的异常信息识别方法、装置、电子设备和存储介质。
背景技术
在互联网中,广泛存在大量活跃的黑灰产团伙,对各类网站进行流量攻击、薅羊毛、刷排名等不良活动,对相关网站及所属企业带来极大困扰,甚至直接造成经济损失。
因此,需要一种对网络流量数据的异常信息进行识别的方法,来保障网络安全。
发明内容
本公开提供了一种网络流量数据中的异常信息识别方法、装置、设备以及存储介质。
根据第一方面,提供了一种网络流量数据中的异常信息识别方法,该方法包括:从网络流量数据中获取网络协议IP信息、客户端用户信息以及客户端设备信息,分别作为IP节点、用户节点和设备节点,其中,客户端设备信息是通过向客户端设备发送指定任务,并根据客户端设备返回的指定任务的执行结果确定的;基于IP节点、用户节点和设备节点之间的关联关系,生成关系图;根据关系图,生成关系图中的节点的目标特征;以及根据目标特征,确定关系图中的异常节点。
根据第二方面,提供了一种网络流量数据中的异常信息识别装置,该装置包括:第一获取模块,用于从网络流量数据中获取网络协议IP信息、客户端用户信息以及客户端设备信息,分别作为IP节点、用户节点和设备节点,其中,客户端设备信息是通过向客户端设备发送指定任务,并根据客户端设备返回的指定任务的执行结果确定的;第一生成模块,用于基于IP节点、用户节点和设备节点之间的关联关系,生成关系图;第二生成模块,用于根据关系图,生成关系图中的节点的目标特征;以及第一确定模块,用于根据目标特征,确定关系图中的异常节点。
根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行根据本公开提供的方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行根据本公开提供的方法。
根据第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序存储于可读存储介质和电子设备其中至少之一上,所述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开的一个实施例的可以应用网络流量数据中的异常信息识别方法和装置的示例性系统架构示意图;
图2是根据本公开的一个实施例的网络流量数据中的异常信息识别方法的流程图;
图3是根据本公开的一个实施例的关系图的示意图;
图4是根据本公开的一个实施例的将节点的图结构特征和属性特征融合为的目标特征的示意图;
图5是根据本公开的另一个实施例的网络流量数据中的异常信息识别方法的流程图;
图6是根据本公开的一个实施例的网络流量数据中的异常信息识别装置的框图;
图7是根据本公开的一个实施例的网络流量数据中的异常信息识别方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
对网络流量数据的异常信息进行识别可以包括识别网络流量数据中的正常用户信息和黑灰产团伙信息,还可以包括识别网络流量中的正常流量和恶意流量。
目前,网络流量数据的异常信息的识别往往是被动式发现,即网站所属业务方发现明显异常,甚至已经导致了显著的损失后,才能被动发现攻击方和恶意团伙。
一种网络流量数据的异常信息识别方法,可以通过对流量日志进行聚合、计数等统计操作来发现异常。例如对1P进行聚合,再进一步人工筛选出量级较大(可以认为是非人为操作的或是机器操作的)的部分加以定位。
但是,该统计分析的方法往往依赖大量的人工经验和长时间的观察定位,且往往只能找到头部的团伙,挖掘不充分。该方法维度相对单一,对于一些潜在的、不活跃的以及伪装为隐蔽的黑产团伙,通过统计分析的方法不能有效发现。另外,人工制定规则和筛选很有可能造成错误产出,将一些混杂在黑产流量中的正常流量一并误检。
一种网络流量数据的异常信息识别方法,可以通过关联分析的方法对流量进行挖掘,如常见的图分析方法有连通子图、标签传播等社区发现算法等。这些算法可以利用图结构信息,提取出图结构特征。但是,单一的图结构特征的分类效果依然不明显。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
图1是根据本公开一个实施例的可以应用网络流量数据中的异常信息识别方法和装置的示例性系统架构示意图。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105进行交互,以接收或发送消息等。终端设备101、102、103可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机等等。
本公开实施例所提供的网络流量数据中的异常信息识别方法一般可以由服务器105执行。相应地,本公开实施例所提供的网络流量数据中的异常信息识别装置一般可以设置于服务器105中。本公开实施例所提供的网络流量数据中的异常信息识别方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的网络流量数据中的异常信息识别装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
图2是根据本公开的一个实施例的网络流量数据中的异常信息识别方法的流程图。
如图2所示,该网络流量数据中的异常信息识别方法200可以包括操作S210~操作S240。
在操作S210,从网络流量数据中获取网络协议IP信息、客户端用户信息以及客户端设备信息,分别作为IP节点、用户节点和设备节点。
例如,从网络流量日志中获取网络协议IP信息(例如IP地址)、使用网络协议IP地址访问服务器的客户端用户信息以及客户端设备信息。
例如,客户端用户信息可以包括用户标识、用户账号等,可以记为用户ID。客户端设备信息可以包括设备标识、设备MAC地址、设备型号、设备序列号等,可以记为设备ID。
例如,客户端设备信息还可以是通过向客户端设备发送指定任务,并根据客户端设备返回的指定任务的执行结果确定的。例如,客户端设备使用IP地址访问服务器时,服务器向客户端设备发送指定任务,客户端设备执行该指定任务,生成执行结果,并返回给服务器。服务器对该执行结果进行编码、加密等操作,得到的信息可以作为该客户端设备的设备ID。
例如,指定任务包括绘图任务,绘图任务可以包括预设的图形形状,用于指示客户端设备按照该图像形状进行绘制,得到图形绘制结果,作为执行结果。
例如,不同的客户端设备的硬件条件不同、客户端环境条件不同,因此,不同的客户端执行指定任务的执行结果不同。因此,该指定任务的执行结果可以作为该客户端设备的唯一表示,可以记为设备指纹或者设备ID。
例如,还可以将编码后的执行结果与设备的MAC地址设备型号、设备序列号等信息中的至少之一进行组合,得到的组合信息作为设备ID。
例如,上述IP地址属于网络层信息,上述客户端用户信息属于应用层的信息,上述客户端设备信息属于物理层的信息。
在操作S220,基于IP节点、用户节点和设备节点之间的关联关系,生成关系图。
例如,可以将IP地址、用户ID和设备ID分别作为IP节点、用户节点和设备节点,根据各节点之间的关联关系,可以生成关系图。
例如,关系图可以包括多个节点,每个节点是IP节点、用户节点和设备节点中的之一,具有关联关系的各节点之间连接有边。
例如,IP节点与用户节点之间的关联关系表示该用户节点的用户使用该IP节点的IP地址访问服务器。IP节点与设备节点之间的关联关系表示该设备节点的设备使用该IP节点的IP地址访问服务器。用户节点和设备节点之间的关联关系表示该用户节点的用户使用该设备节点的设备访问服务器。
例如,上述IP节点属于网络层、用户节点属于应用层、设备节点属于物理层。因此,该关系图包含了网络层、应用层和物理层等多维度的节点信息,使得关系图包含的信息更加丰富。
在操作S230,根据关系图,生成关系图中的节点的目标特征。
例如,针对关系图,可以使用图分析方法例如Node2Vec(一种用向量表示网络中节点的方法)、MetaPath2Vec(基于元路径Meta Path的随机游走)等图嵌入算法,生成图结构特征。
例如,还可以根据节点自身的属性信息(例如设备的用户代理信息、地理位置信息等)、与该节点关联的相邻节点的属性信息以及与该节点相连的边的属性信息(例如边承载的关联关系、边的数量,即相关联的两个节点之间关联的次数等),生成各节点的属性特征。
例如,可以将节点的图结构特征和属性特征进行融合,得到目标特征。
在操作S240,根据目标特征,确定关系图中的异常节点。
例如,针对每个节点,将该节点的目标特征输入机器学习模型,得到该节点的类别。节点类别包括正常节点和异常节点。
例如,机器学习模型可以包括基于逻辑回归算法、随机森林算法或SVM(SupportVector Machine,支持向量机)算法构建的分类模型。该分类模型的输入可以是节点的目标特征,输出可以是该节点的类别。
根据本公开的实施例,由于关系图包含了网络层、应用层和物理层等多维度的节点信息,使得关系图包含的信息更加丰富,因此,关系图中节点的特征包含的信息也更加丰富,能够提高异常节点的识别准确率。
根据本公开的实施例,相比于相关技术中仅利用了结构信息,而忽略了节点本身的特征和行为,导致分类效果不明显。本实施例融合了图结构特征、节点属性特征、关联节点的属性特征以及关联边的属性特征,能够提高异常节点的识别准确率。
图3是根据本公开的一个实施例的关系图的示意图。
如图3所示,关系图可以包含多个用户节点、多个设备节点以及多个IP节点,各类节点之间可以是多对多连接的。各连接关系的含义如下。
一个用户节点连接多个设备节点表示一个用户使用多个设备访问服务器。一个用户节点连接多个IP节点表示一个用户使用多个IP地址访问服务器。一个设备节点连接多个用户节点表示多个用户使用一个设备访问服务器。一个设备节点连接多个IP节点表示一个设备使用多个IP地址访问服务器。一个IP节点连接多个用户节点表示多个用户使用一个IP地址访问服务器。一个IP节点连接多个设备节点表示多个设备使用一个IP地址访问服务器。
根据本公开的实施例,根据关系图,生成关系图中的节点的目标特征包括:针对每个节点,根据关系图的结构,生成该节点的图结构特征;根据该节点自身的属性信息、与该节点关联的相邻节点的属性信息以及与该节点相连的边的属性信息,生成该节点的属性特征。根据图结构特征和属性特征,生成该节点的目标特征。
例如,针对设备节点301,利用Node2Vec算法以该节点为起点进行随机游走并采样,得到采样序列。可以生成采样序列的嵌入向量,作为该设备节点301的图结构特征。
例如,针对设备节点301,可以统计该设备节点301自身的属性信息、与该节点关联的相邻节点(IP节点302、IP节点303、IP节点304以及用户节点305)的属性信息以及该节点与各相邻节点之间的边的属性信息,根据统计得到的属性信息,生成属性特征。
例如,设备节点301的属性信息可以包括设备的用户代理信息(User Agent,UA)、设备型号、序列号等硬件信息、设备访问服务器的访问时间、访问频率、访问接口和访问渠道。IP节点302、IP节点303以及IP节点304的属性信息可以包括该IP地址的地理位置、使用该IP地址进行访问的访问时间、访问频率、访问接口和访问渠道。用户节点305的属性信息可以包括用户身份、年龄、地区等用户标签,还包括用户访问服务器的访问时间、访问频率、访问接口和访问渠道。
该设备节点301与各相邻节点之间的边的属性信息可以包括用户使用该设备进行访问的访问时间、访问频率、访问接口和访问渠道等。该设备使用该IP地址进行访问的访问时间、访问频率、访问接口和访问渠道等。因此,访问时间、访问频率、访问接口和访问渠道是节点以及与节点关联的边共有的属性信息。
例如,可以通过对流量日志进行统计分析,得到上述访问时间信息、访问频率信息、访问接口信息以及访问渠道信息,可以统计访问时间分布、访问频率分布、访问接口分布以及访问渠道分布,作为对应的属性特征。上述属性信息按照类别可以划分为环境信息(例如设备UA、设备型号等)、时序信息(例如访问时间信息、访问频率信息)和行为信息(例如访问接口信息以及访问渠道信息)。因此,设备节点301的属性特征可以包括环境特征、时序特征和行为特征。
需要说明的是,各节点的属性特征包含了该节点自身的属性特征以及与该节点关联的相邻节点和边的属性特征,因此,各节点的属性特征的计算依据了关系图中各节点之间关联关系,但是各节点的属性特征并非作为关系图的内容进行图嵌入计算的,而是区别于图结构特征、单独计算的属性特征。
例如,可以将设备节点301的图结构特征和属性特征相融合或拼接,得到设备节点301的目标特征。
图4是根据本公开的一个实施例的将节点的图结构特征和属性特征融合为的目标特征的示意图。
如图4所示,特征向量[f1 f2 f3]是目标节点的图结构特征,特征向量[g1 g2 g3]是目标节点的属性特征。将特征向量[f1 f2 f3]和特征向量[g1 g2 g3]相融合,得到融合特征[f1 f2 f3...g1 g2 g3],作为目标节点的目标特征。目标节点可以是关系图中任一节点,该节点可以是IP节点、用户节点和设备节点中的之一。
本实施例的目标特征融合了图结构特征和属性特征,将该目标特征输入分类模型,能够提高对目标节点的分类效果。
图5是根据本公开的另一个实施例的网络流量数据中的异常信息识别方法的流程图。
如图5所示,该方法包括操作S510~S580。
在操作S510,获取网络流量数据。
在操作S520,统计网络流量数据中的IP地址、客户端用户标识和客户端设备标识,分别生成IP节点、用户节点和设备节点。
例如,客户端设备标识是在服务器被访问的过程中,服务器通过向客户端设备发送指定任务,并对设备返回的执行结果进行编码而生成的,生成的该设备标识保存在网络流量数据(例如流量日志)中。
例如,对网络流量中的IP地址、用户标识、设备标识进行统计和分析,将每个IP地址、用户标识、设备标识分别确定为IP节点、用户节点和设备节点,并添加到关系图中。
在操作S530,根据IP节点、用户节点和设备节点之间的关联关系,生成关系图。
例如,根据使用设备的用户标识确定用户节点和设备节点之间的关联关系,根据使用IP地址的用户标识确定IP节点和用户节点之间的关联关系,根据使用IP地址的设备标识确定IP节点和设备节点之间的关联关系。
例如,将关系图中彼此之间具有关联关系的IP节点、用户节点和设备节点相连接,生成完整的关系图。
在操作S540,针对每个节点,根据关系图的结构,生成该节点的图结构特征。
例如,利用Node2Vec算法生成每个节点的图结构特征。
在操作S550,针对每个节点,根据该节点自身的属性信息、与该节点关联的相邻节点的属性信息以及该节点与各相邻节点之间的边的属性信息,生成该节点的属性特征。
例如,针对每个节点,可以统计该节点自身的属性信息、与该节点关联的相邻节点的属性信息以及该节点与各相邻节点之间的边的属性信息,根据统计得到的属性信息,生成该节点的属性特征。
在操作S560,针对每个节点,将该节点的图结构特征和属性特征融合为目标特征。
例如,针对每个节点,将该节点的图结构特征和属性特征进行拼接,得到该节点的目标特征。
在操作S570,针对每个节点,将该节点的目标特征输入机器学习模型,得到节点类别。
在操作S580,输出类别为异常的节点,并将与异常节点对应的流量确定为异常流量。
例如,针对每个节点,将该节点的目标特征输入机器学习模型,得到节点类别。类别包括异常节点和正常节点。
针对异常的IP节点和设备节点,可以将与该异常IP节点和异常设备节点关联的用户节点确定为异常用户节点。针对异常的用户节点,可以将该用户节点的用户确定为黑灰产团伙,可以对该用户的访问请求进行限制等操作。
针对异常用户节点、异常设备节点以及异常IP节点产生的流量,可以确定为异常流量,可以对异常流量进行清理等操作。
图6是根据本公开的一个实施例的网络流量数据中的异常信息识别装置的框图。
如图6所示,该网络流量数据中的异常信息识别装置600包括第一获取模块601、第一生成模块602、第二生成模块603以及第一确定模块604。
第一获取模块601用于从网络流量数据中获取网络协议IP信息、客户端用户信息以及客户端设备信息,分别作为IP节点、用户节点和设备节点,其中,客户端设备信息是通过向客户端设备发送指定任务,并根据客户端设备返回的指定任务的执行结果确定的。
第一生成模块602用于基于IP节点、用户节点和设备节点之间的关联关系,生成关系图。
第二生成模块603用于根据关系图,生成关系图中的节点的目标特征。
第一确定模块604用于根据目标特征,确定关系图中的异常节点。
根据本公开的实施例,关系图包括多个节点,每个节点为IP节点、用户节点和设备节点中的之一,具有关联关系的各节点之间连接有边。
第二生成模块603包括第一生成单元、第二生成单元和第三生成单元。
第一生成单元用于根据关系图的结构,生成该节点的图结构特征。
第二生成单元用于根据该节点自身的属性信息、与该节点关联的相邻节点的属性信息以及该节点与各相邻节点之间的边的属性信息,生成该节点的属性特征。
第三生成单元,用于根据图结构特征和属性特征,生成该节点的目标特征。
第一确定模块604用于将节点的目标特征输入机器学习模型,得到节点的类别,其中,类别包括正常节点和异常节点。
网络流量数据中的异常信息识别装置600还包括第二确定模块。
第二确定模块用于将与异常节点对应的流量确定为恶意流量。
网络流量数据中的异常信息识别装置600还包括第二获取模块,用于从网络流量数据中获取访问时间信息、访问频率信息、访问接口信息以及访问渠道信息中的至少之一,作为关系图中的节点和边的属性信息。
网络流量数据中的异常信息识别装置600还包括发送模块、接收模块和编码模块。
发送模块用于向设备发送指定任务。
接收模块用于接收来自设备针对指定任务的执行结果。
编码模块用于将执行结果进行编码,得到设备信息。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如网络流量数据中的异常信息识别方法。例如,在一些实施例中,网络流量数据中的异常信息识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的网络流量数据中的异常信息识别方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行网络流量数据中的异常信息识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (15)
1.一种网络流量数据中的异常信息识别方法,包括:
从网络流量数据中获取网络协议IP信息、客户端用户信息以及客户端设备信息,分别作为IP节点、用户节点和设备节点,其中,所述客户端设备信息是通过向所述客户端设备发送指定任务,并根据所述客户端设备返回的所述指定任务的执行结果确定的;
基于所述IP节点、用户节点和设备节点之间的关联关系,生成关系图;
根据所述关系图,生成所述关系图中的节点的目标特征;以及
根据所述目标特征,确定所述关系图中的异常节点。
2.根据权利要求1所述的方法,其中,所述关系图包括多个节点,每个节点为IP节点、用户节点和设备节点中的之一,具有关联关系的各节点之间连接有边;所述根据所述关系图,生成所述关系图中的节点的目标特征包括:针对每个节点,
根据所述关系图的结构,生成该节点的图结构特征;
根据该节点自身的属性信息、与该节点关联的相邻节点的属性信息以及该节点与各相邻节点之间的边的属性信息,生成该节点的属性特征;以及
根据所述图结构特征和所述属性特征,生成该节点的目标特征。
3.根据权利要求1或2所述的方法,其中,所述根据所述目标特征,确定所述关系图中的异常节点包括:针对每个节点,
将所述节点的目标特征输入机器学习模型,得到所述节点的类别,其中,所述类别包括正常节点和异常节点。
4.根据权利要求3所述的方法,还包括:
将与所述异常节点对应的流量确定为恶意流量。
5.根据权利要求2所述的方法,还包括:
从所述网络流量数据中获取访问时间信息、访问频率信息、访问接口信息以及访问渠道信息中的至少之一,作为所述关系图中的节点和边的属性信息。
6.根据权利要求1所述的方法,还包括:
向所述客户端设备发送所述指定任务;
接收来自所述客户端设备针对所述指定任务的执行结果;以及
将所述执行结果进行编码,得到所述客户端设备信息。
7.一种网络流量数据中的异常信息识别装置,包括:
第一获取模块,用于从网络流量数据中获取网络协议IP信息、客户端用户信息以及客户端设备信息,分别作为IP节点、用户节点和设备节点,其中,所述客户端设备信息是通过向所述客户端设备发送指定任务,并根据所述客户端设备返回的所述指定任务的执行结果确定的;
第一生成模块,用于基于所述IP节点、用户节点和设备节点之间的关联关系,生成关系图;
第二生成模块,用于根据所述关系图,生成所述关系图中的节点的目标特征;以及
第一确定模块,用于根据所述目标特征,确定所述关系图中的异常节点。
8.根据权利要求7所述的装置,其中,所述关系图包括多个节点,每个节点为IP节点、用户节点和设备节点中的之一,具有关联关系的各节点之间连接有边;所述第二生成模块包括:
第一生成单元,用于根据所述关系图的结构,生成该节点的图结构特征;
第二生成单元,用于根据该节点自身的属性信息、与该节点关联的相邻节点的属性信息以及该节点与各相邻节点之间的边的属性信息,生成该节点的属性特征;以及
第三生成单元,用于根据所述图结构特征和所述属性特征,生成该节点的目标特征。
9.根据权利要求7或8所述的装置,其中,所述第一确定模块用于针对每个节点,将所述节点的目标特征输入机器学习模型,得到所述节点的类别,其中,所述类别包括正常节点和异常节点。
10.根据权利要求9所述的装置,还包括:
第二确定模块,用于将与所述异常节点对应的流量确定为恶意流量。
11.根据权利要求8所述的装置,还包括:
第二获取模块,用于从所述网络流量数据中获取访问时间信息、访问频率信息、访问接口信息以及访问渠道信息中的至少之一,作为所述关系图中的节点和边的属性信息。
12.根据权利要求7所述的装置,还包括:
发送模块,用于向所述客户端设备发送所述指定任务;
接收模块,用于接收来自所述客户端设备针对所述指定任务的执行结果;以及
编码模块,用于将所述执行结果进行编码,得到所述客户端设备信息。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序存储于可读存储介质和电子设备其中至少之一上,所述计算机程序在被处理器执行时实现根据权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211506884.9A CN115883187A (zh) | 2022-11-28 | 2022-11-28 | 网络流量数据中的异常信息识别方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211506884.9A CN115883187A (zh) | 2022-11-28 | 2022-11-28 | 网络流量数据中的异常信息识别方法、装置、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115883187A true CN115883187A (zh) | 2023-03-31 |
Family
ID=85764485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211506884.9A Pending CN115883187A (zh) | 2022-11-28 | 2022-11-28 | 网络流量数据中的异常信息识别方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115883187A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117033745A (zh) * | 2023-10-10 | 2023-11-10 | 北京智慧易科技有限公司 | 一种作弊对象识别方法、系统、设备和存储介质 |
CN117176416A (zh) * | 2023-09-01 | 2023-12-05 | 中国信息通信研究院 | 一种基于图模型的攻击团伙发现方法和系统 |
CN117176416B (zh) * | 2023-09-01 | 2024-05-24 | 中国信息通信研究院 | 一种基于图模型的攻击团伙发现方法和系统 |
-
2022
- 2022-11-28 CN CN202211506884.9A patent/CN115883187A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117176416A (zh) * | 2023-09-01 | 2023-12-05 | 中国信息通信研究院 | 一种基于图模型的攻击团伙发现方法和系统 |
CN117176416B (zh) * | 2023-09-01 | 2024-05-24 | 中国信息通信研究院 | 一种基于图模型的攻击团伙发现方法和系统 |
CN117033745A (zh) * | 2023-10-10 | 2023-11-10 | 北京智慧易科技有限公司 | 一种作弊对象识别方法、系统、设备和存储介质 |
CN117033745B (zh) * | 2023-10-10 | 2024-01-09 | 北京智慧易科技有限公司 | 一种作弊对象识别方法、系统、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200389495A1 (en) | Secure policy-controlled processing and auditing on regulated data sets | |
US20210092160A1 (en) | Data set creation with crowd-based reinforcement | |
US20230362200A1 (en) | Dynamic cybersecurity scoring and operational risk reduction assessment | |
CN113010896B (zh) | 确定异常对象的方法、装置、设备、介质和程序产品 | |
EP4083823A2 (en) | Method and apparatus for determining risk level of instance on cloud server and electronic device | |
CN110135978B (zh) | 用户金融风险评估方法、装置、电子设备和可读介质 | |
CN114024884B (zh) | 一种测试方法、装置、电子设备及存储介质 | |
WO2024098699A1 (zh) | 实体对象的威胁检测方法、装置、设备及存储介质 | |
CN115883187A (zh) | 网络流量数据中的异常信息识别方法、装置、设备和介质 | |
CN113037489B (zh) | 数据处理方法、装置、设备和存储介质 | |
CN110599278B (zh) | 聚合设备标识符的方法、装置和计算机存储介质 | |
CN113904943A (zh) | 账号检测方法、装置、电子设备和存储介质 | |
CN113312560A (zh) | 群组检测方法、装置及电子设备 | |
EP4102772A1 (en) | Method and apparatus of processing security information, device and storage medium | |
CN115827379A (zh) | 异常进程检测方法、装置、设备和介质 | |
CN113553370A (zh) | 异常检测方法、装置、电子设备及可读存储介质 | |
CN113691403A (zh) | 拓扑节点配置方法、相关装置及计算机程序产品 | |
KR102471731B1 (ko) | 사용자를 위한 네트워크 보안 관리 방법 | |
CN114547448B (zh) | 数据处理、模型训练方法、装置、设备、存储介质及程序 | |
CN115378746B (zh) | 网络入侵检测规则生成方法、装置、设备以及存储介质 | |
US20230370486A1 (en) | Systems and methods for dynamic vulnerability scoring | |
CN117729005A (zh) | 一种网络资产测绘方法 | |
CN115102728A (zh) | 一种用于信息安全的扫描器识别方法、装置、设备及介质 | |
CN115426143A (zh) | 识别异常身份标识的方法、装置、设备以及存储介质 | |
CN116112245A (zh) | 攻击检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |