CN113661489A - 通过协作过滤实时检测恶意活动 - Google Patents
通过协作过滤实时检测恶意活动 Download PDFInfo
- Publication number
- CN113661489A CN113661489A CN202080026439.5A CN202080026439A CN113661489A CN 113661489 A CN113661489 A CN 113661489A CN 202080026439 A CN202080026439 A CN 202080026439A CN 113661489 A CN113661489 A CN 113661489A
- Authority
- CN
- China
- Prior art keywords
- port
- entity
- network
- model
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title claims abstract description 37
- 238000001914 filtration Methods 0.000 title claims abstract description 32
- 238000011897 real-time detection Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000002547 anomalous effect Effects 0.000 claims abstract description 13
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 239000013598 vector Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000001010 compromised effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 101001094649 Homo sapiens Popeye domain-containing protein 3 Proteins 0.000 description 1
- 101000608234 Homo sapiens Pyrin domain-containing protein 5 Proteins 0.000 description 1
- 101000578693 Homo sapiens Target of rapamycin complex subunit LST8 Proteins 0.000 description 1
- 102100027802 Target of rapamycin complex subunit LST8 Human genes 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种因恶意活动而抵抗力低的机器通过标识在网络的实体上所开放的异常端口而被检测。异常端口使用网络上的实体的开放端口使用从正常网络业务得出的使用模式通过协作过滤被检测。协作过滤利用交替最小二乘法采用奇异值分解来生成推荐分数，推荐分数标识具有新开放端口的实体是否可能被用于恶意活动。
Description
背景技术
检测遭受恶意活动的机器是一项具有挑战性的任务，因为恶意攻击者已经提高了其逃避检测的能力。大多数恶意攻击者通过网络进行通信以寻找易受攻击的目标。不良行为者通常在发起攻击之前执行网络扫描和/或端口扫描，以获得关于网络的结构和行为的信息。网络扫描被用于检测网络上的所有活动主机及其IP地址。端口扫描被用于标识主机的开放的端口和服务。端口通常是网络犯罪分子的目标。网络犯罪分子寻求开放端口，以便访问其背后的应用和服务。
由于网络的复杂性和开放端口的数目，网络攻击并不总是立即可标识的。网络入侵检测系统和防火墙通常被用来检测这样的恶意扫描：其通常依赖于预先配置的规则。预先配置的规则基于先前攻击的知识。然而，恶意行为者已经学会通过使扫描的频率变化、无序地访问端口、和/或欺骗其源地址来躲避这些类型的检测技术。
发明内容
本发明内容被提供以按照简化形式介绍构思的选择，这些构思在下文具体实施方式中被进一步描述。本发明内容既不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在被用于限制所要求保护的主题的范围。
网络上恶意活动的实时检测是通过标识开放端口上的异常活动来执行的。基于模型的推荐系统被用于表示网络中的实体的开放端口上的正常活动。基于模型的推荐系统被用于确定现有实体的新开放端口是被用于合法工作负载的非异常端口还是被用于恶意活动的异常端口的可能性。可能性基于在其他实体上的新开放端口被用于合法工作负载的相似度。
在一个方面，使用隐式反馈数据集的协作过滤被用于预测新开放端口是否被用于恶意活动。实体端口对的模型或矩阵是从网络业务的分析而被构建的，以便确定在合法工作负载中所使用的端口。实体端口对由频率表示，该频率是实体基于从网络流业务中所捕获的传输中的TCP SYN-ACK设置来使用开放端口的频率。原始观察值被变换为偏好和置信度对。
然后，模型利用交替最小二乘法使用奇异值分解而被分解，以预测缺失值。当新开放端口在现有实体上被检测到时，推荐分数被计算并被用于指示新开放端口是否是被用于恶意活动的异常端口。
这些和其他特征以及优点将通过阅读以下说明并且回顾相关联的附图而变得明显。应理解，前述通用描述和以下详细描述两者仅仅是解释性的，而不约束如所要求保护的方面。
附图说明
图1图示了用于通过协作过滤来实时检测恶意活动的示例性系统。
图2是图示了用于使用隐式反馈数据集生成协作过滤模型的示例性方法的流程图。
图3是图示了用于通过协作过滤模型检测异常端口的示例性方法的流程图。
图4是图示了示例性计算或操作环境的框图。
具体实施方式
概述
所公开的主题涉及一种用于通过检测开放端口上的异常活动来检测机器(例如虚拟机、计算设备、服务器等)是否缺乏抵抗力的机制。机制采用基于模型的推荐系统来表示网络的每个实体的开放端口上的正常活动，以便确定实体的新开放端口是正在被用于合法工作负载的非异常端口还是被用于恶意活动的异常端口的可能性。可能性基于从基于模型的推荐系统得出的推荐分数。
该技术生成实体端口对rui的模型或矩阵A，其中u是实体并且i是实体u上的开放端口。实体端口对rui表示实体u使用端口i来传输和/或接收传输的频率。网络流数据中所捕获的传输中的TCP SYN-ACK设置被用于确定端口i是否是开放端口。原始观察值rui被变换为偏好pui，且然后被变换为置信度水平cui。
然后，大小为m x n的矩阵A使用奇异值分解被分解为两个较小的矩阵：X，大小为mx f；和Y，大小为f x n。X和Y是通过随机分配X和Y中的值并迭代地使用交替最小二乘法来优化X且固定Y来生成的，且反之亦然，直到实现A的最佳近似为止。X中的向量和Y中的向量将实体和端口映射到其可以被比较的公共潜在因子空间中。
本文中所公开的技术在几个方面是有利的。技术不利用实体内部的代理(例如组件、扩展或模块)。相反，该技术使用在网络内被捕获的网络流数据而不干扰实体的操作。该技术不依赖于不能快速更改以适应网络行为的改变的预先配置的规则。相反，该技术能够实时分析网络行为，使得恶意活动可以被快速检测到。
现在注意力转向使用基于模型的协作过滤技术以及隐式数据集来检测异常端口的示例性系统的更详细的描述。
系统
图1图示了示例性系统100，其被配置为支持通过协作过滤来检测缺乏抵抗力的机器。在一个方面，系统100包括被通信耦合到网络实体或网络106的实体104的计算设备102。实体104可以被耦合到子网络108A至108C(统称为“108”)和/或具有通过网络106将数据分组传输给计算设备102的能力的路由器110。
计算设备102可以是单个计算设备102或被实施为多个服务器。例如，这样的服务器可以是与网络106和/或子网108相关联的特定组织或公司的一部分，或可以包括被配置为为多个组织提供网络分析和/或监测服务的基于云的服务器。计算设备102可以包括这样的服务器设备和/或其他计算设备中的一个或多个，这些设备被定位于同一地点或被定位成彼此远离。此外，尽管图1描绘了单个计算设备102，但是应当理解，实施方式可以包括任何数量的计算设备。
网络106和子网络108可以各自包括局域网(LAN)、广域网(WAN)、个域网(PAN)、通信网络的组合中的任一个中的一个或多个，诸如互联网和/或虚拟网络。计算设备102可以通过网络和/或子网络被通信耦合到实体104。计算设备、路由器、网络以及子网络之间的通信可以通过应用编程接口和其他技术和接口进行。计算设备102、路由器110、网络106、子网络108和实体104可以各自包括支持彼此之间的通信的至少一个通信接口。
实体104可以包括网络106和/或子网络108的节点。实体104可以包括被耦合到网络106和/或子网108中的任一个的任何电子设备或机器(物理的或虚拟的)。在一个示例实施例中，网络106和/或子网108可以共同包括组织(包括但不限于公司、企业或基于云的订阅)的网络，并且实体104可以包括被耦合到网络106的节点(例如物理设备或机器或虚拟节点)。在一些进一步的示例实施例中，网络106和/或子网108可以包括虚拟或基于云的网络，并且实体104可以包括虚拟或基于云的网络的一个或多个虚拟机或节点。
在一些其他示例中，任何实体104可以包括台式计算机、便携式计算机、智能电话、平板电脑、可穿戴式计算设备(例如智能手表、智能耳机)、混合和/或虚拟现实设备(例如Microsoft HoloLensTM)或任何其他处理设备。在一些其他示例实施方式中，网络106和/或子网108可以共同包括云计算网络，并且实体104可以是被耦合到云计算网络的节点。实体104在实施方式中不限于处理设备，并且可以包括网络上的其他资源，诸如存储设备(例如物理存储设备、本地存储设备、基于云的存储装置、硬盘驱动器、固态驱动器、随机存取存储器(RAM)设备等)、数据库、虚拟机等。
每个实体104与至少一个端口相关联。端口允许实体104支持通过特定协议与网络上的其他实体进行的多个通信会话。端口与实体104的IP地址相关联。端口具有标识其相关联的协议的端口编号。
在传输控制协议(TCP)和用户数据报协议(UDP)中，端口编号介于1至65535的范围。存在三类端口编号：(1)端口编号1至1023是众所周知的端口，其与广泛使用的网络服务的系统进程相关联；(2)端口编号1024至49151是注册端口，其由互联网编号分配机构(IANA)分配且与特定协议或应用一起使用；(3)端口编号49152至65535是针对特定会话处于活动状态的专用或动态端口。
常见的端口编号包括以下：
21：文件传送协议(FTP)
22：安全壳(SSH)
23：telnet远程登录服务
25：简单邮件传送协议(SMTP)
53：域名系统(DNS)服务
80：超文本传送协议(HTTP)
110：邮局协议(POP3)
119：网络新闻传送协议(NNTP)
123：网络时间协议(NTP)
143：互联网消息访问协议(IMAP)
161：简单网络管理协议(SNMP)
194：互联网中继聊天(IRC)
443：HTTP安全(HTTPS)
计算设备102从网络设备(诸如路由器、交换机和/或防火墙)接收采样的网络流数据(即网络业务)112。网络流数据112表示传输给属于同一连接的实体104和从实体104传输的网络分组。采样的网络流数据112可以使用网络流组件109来获得，该网络流组件根据网络流协议(诸如互联网协议流信息导出(IPFIX)协议)操作。IPFIX协议定义了网络流数据被格式化并从收集器传输到控制器(诸如从路由器(即收集器)110传输到计算设备102(即控制器))的方式。
在一个方面，系统100使用路由器110在计算机网络之间转发数据分组以根据IPFIX协议聚合和格式化网络流数据。然而，应当注意，系统不限于路由器，并且其他网络设备(例如交换机、防火墙等)可以被用于转发网络流数据。此外，系统不限于IPFIX协议。提供相同功能性的其他网络流协议可以被利用。
计算设备102可以包括实体端口映射组件114、协作过滤组件118和端口推荐组件122。实体端口映射组件114生成实体端口矩阵或模型116，该实体端口矩阵或模型116追踪网络的每个实体的开放端口的针对合法工作负载(即非恶意活动)的使用。实体端口映射组件114使用网络流数据112来生成如下频率rui：实体u上的端口i是开放的且被用于非异常工作负载的频率rui。
协作过滤组件118将频率rui变换为偏好和置信度对126。偏好和置信度对126在交替最小二乘近似中被用于预测实体端口矩阵116中的缺失值。实体端口矩阵116通常是具有从网络分组中的设置得出的值的稀疏矩阵。缺失值不指示开放端口被用于恶意活动还是被用于合法工作负载。相反，协作过滤组件118通过交替最小二乘法技术来预测这些缺失值。
协作过滤组件118使用奇异值分解128将实体端口矩阵116分解为两个较小的矩阵X和Y，这两个矩阵被用于生成指示每个端口上的活动是否是合法工作负载的一部分的推荐分数。具体地，协作过滤被用于检测网络业务中的模式，这些模式指示利用同一开放端口的实体之间的关联性。
端口推荐组件122使用X和Y矩阵120来对被用于合法目的的特定开放端口的可行性做出推荐。端口推荐组件124接收实时网络流数据112，该实时网络流数据针对现有实体上的新开放端口的存在而被分析。端口推荐组件120生成指示实体将新开放端口用于合法工作负载的可能性的推荐分数。推荐分数基于从Xu*YT 130的点积得出的计算。当推荐分数低于阈值时，新开放端口被预测为异常端口并且警报124被发出。
应当注意，图1示出了本发明的各个方面可以被实践的环境的一个方面中的系统的组件。然而，图1中所示出的组件的确切配置可能不需要实践图1中所示出的配置的各个方面和变化，并且在不脱离本发明的精神或范围的情况下可以确定组件的类型。
现在将注意力转向利用本文中所公开的系统和设备的各种示例性方法的描述。
方法
可以参考各种示例性方法进一步描述这些方面的操作。可以了解的是，除非另外指示，否则代表性方法不一定必须以所呈现的顺序或以任何特定顺序被执行。此外，相对于方法所描述的各种活动可以以串行或并行方式或串行及并行操作的任何组合来执行。在一个或多个方面，方法说明了用于本文中所公开的系统和设备的操作。
推荐系统是旨在预测用户对项目的偏好的信息过滤技术。推荐系统被用于基于用户对其他项目的偏好来生成感兴趣的项目的推荐。存在两种主要类型的推荐系统：协作过滤；和基于内容的过滤。基于内容的过滤基于项目的内容与用户简档的比较来推荐项目。
协作过滤基于大量用户对项目的聚合行为构建模型或矩阵，以向特定用户推荐相关项目。模型可以进一步被分类为基于隐式和显式反馈的方法。显式反馈方法使用关于用户的项目偏好的显式信息(通常呈评级的形式)。隐式反馈是从用户利用该项目的历史(诸如用户对项目的使用)得出的。
协作过滤技术可以被分类为基于存储器的技术和基于模型的技术。基于存储器的技术使用算术运算(诸如余弦相似度和皮尔逊(Pearson)相关系数)来找到最接近的相似用户或相似项目。基于模型的技术生成矩阵或模型以捕获用户项目偏好。矩阵通常是稀疏的，这是由于没有针对每个用户项目偏好的值。缺失值被预测而不是被设置为零。由于矩阵非常大，因此矩阵通过矩阵因子分解被分解为更小的特征空间，以便找到隐藏的特征空间，在隐藏的特征空间中，用户和项目具有紧密对准的特征向量。
矩阵因子分解被应用于原始矩阵以在数学上将原始矩阵的维度减少为两个较低维矩阵的乘积。两个较低维矩阵表示特定项目维度的所有用户和特定用户维度的所有项目。矩阵因子分解的主要障碍是估计针对用户项目对的缺失值。这是通过重复使用线性回归方法来估计参数值并最小化预测值与实际值之间的误差来完成的。
在本公开的一个方面，使用隐式反馈数据集的协作过滤技术被用于基于端口相似度实时检测缺乏抵抗力的机器。该技术生成实体端口对rui的模型或矩阵A，其中u是实体并且i是实体u上的开放端口。实体端口对rui表示实体u使用端口i来传输和/或接收传输的频率。且该端口i根据网络流数据中所捕获的传输中的TCP SYN-ACK设置标识端口i是否是开放端口而是开放的。
原始观察值rui被变换为具有不同解释的两个值：偏好pui和置信度水平cui。偏好pui指示实体u将端口i用于合法工作负载。当原始数据指示实体u频繁使用端口i时，则偏好pui为正，而当实体u尚未使用端口i时，则偏好pui为零。因此，偏好pui被如下计算：
pui＝1，rui>0且pui＝0，rui＝0。
置信度水平cui与实体u和端口i相关联以指示被用于合法工作负载的偏好的置信度水平。置信度水平可以被表达为cui＝1+∝rui，其中∝控制增长率。置信度水平基于反馈数据的幅度，由此实体使用开放端口的次数越多，生成的置信度就越大。
然后，大小为m x n的矩阵A使用奇异值分解被分解为两个较小的矩阵：X，大小为mx f；和Y，大小为f x n。X和Y具有每个实体端口对有多么相关的权重。X和Y是通过随机分配X和Y中的值并迭代地使用交替最小二乘法来优化X且固定Y而被生成的，且反之亦然，直到实现A的最佳近似为止。
然后目标是找到将分解实体偏好的针对每个实体u的向量xu和针对每个端口i的向量yi。实体偏好是内积
向量xu被认为是实体因子，而向量yi被认为是端口因子。这些向量将实体和端口映射到公共潜在因子空间中，实体和端口可以在公共潜在因子空间中被比较。这些因子通过最小化以下成本函数被计算：
针对最小化成本函数(1)的xu的表达式如下：
xu＝(YTCuY+λI)-1YTCUp(u) (2)
针对最小化成本函数(1)的yi的表达式如下：
yi＝(XTCuX+λI)-1XTCip(i) (3)
端口因子yi被收集在n x f矩阵Y内。实体因子xu被收集在f x m矩阵X内。
为了计算实体之间的相似度，推荐分数被生成，该推荐分数是实体向量与端口向量的转置之间的点积Xu*YT，其中Xu是针对实体u的实体向量，且YT是端口向量的转置。该结果提供针对实体u和每个端口的推荐分数。推荐分数指示端口是否应该开放。当针对实体u和端口i的推荐分数低于阈值时，推荐分数指示该端口不应开放。阈值通过交叉验证被确定。在该情况下，警报被生成。警报可以是被传输给受影响实体的网络管理员或实体管理员的消息。
转向图2，示出了用于使用隐式数据集生成网络活动的协作过滤模型的示例性方法。在网络内通信的实体通过分析被传输给每个实体和从每个实体传输的分组而被监测。在一个方面，驻留在指定网络实体(诸如路由器、交换机或防火墙)上的网络流组件109收集关于从网络接收和通过网络传输的分组的数据。网络流组件109聚合数据并将其传输给控制器，诸如计算设备102(框202)。
网络流组件109可以利用网络数据流协议，诸如IPFIX，其指示数据将如何被格式化并被传输给控制器。IPFIX数据包括关于分组的源IPv4地址、目的IPv4地址、源输送端口、目的输送端口和TCP控制位的信息。TCP控制位包括SYN和ACK标志。SYN和ACK标志在发起与请求连接的客户端的TCP连接期间被设置。客户端向服务器发送SYN消息。服务器利用从特定端口返回到客户端的SYN-ACK消息来确认该请求，由此指示该端口是开放的。当SYN和ACK标志两者被设置在TCP控制位中时，对应源输送端口被认为是开放的，并且对应实体端口对rui在实体端口矩阵116中被更新。
计算设备102在指定的时间段内收集网络流数据112(框204)。在指定的时间段期间，实体端口映射组件114生成实体端口矩阵116，该实体端口矩阵针对每个实体追踪分组被传输给实体上的开放端口或从实体上的开放端口传输的次数(框204)。在一个方面，实体端口矩阵116被配置为具有针对每个实体的行和针对每个可用端口的列。实体可以通过IP地址来标识，并且针对每个源IP4地址和针对每个目的地IP4地址，在实体端口矩阵中存在条目。针对实体端口对的值rui表示端口i已经从实体u接收或向实体u发送分组的次数的计数(框204)。计数rui在存在SYN-ACK位的设置时被递增(框204)。
在阈值量的网络流数据已经被收集之后，观察rui被变换为偏好置信度对，偏好pui和置信度水平cui(框206)。偏好pui指示实体u将端口i用于合法工作负载。偏好pui计算如下：pui＝1，rui>0且pui＝0,rui＝0。置信度水平cui与实体u和端口i相关联以指示被用于合法工作负载的偏好的置信度水平。置信度水平可以被表达为cui＝1+∝rui，其中∝控制增长率。
接下来，协作过滤组件利用交替最小二乘法使用奇异值分解来生成最小化针对实体因子的成本函数和针对端口因子的成本函数的实体向量和端口向量(框206)。如上所述，成本函数(2)至(3)在预定次数的迭代内被迭代计算，从而生成实体向量和端口向量，实体向量和端口向量被存储在矩阵X和Y中(框206)。
应当注意，X和Y矩阵可以最初被生成并且以周期性间隔被更新。当这些矩阵需要被更新以反映当前网络数据流时，框202至框206被重复以反映网络的当前实体/端口状态。
转向图3，示出了图示了端口推荐组件124确定新开放端口是否异常的示例性方法。端口推荐组件124实时获得网络流数据112(框302)。端口推荐组件124从网络流数据112标识现有实体上的新开放端口(框304)。
端口推荐组件120使用X和Y矩阵来生成针对具有新开放端口的实体的推荐分数(框306)。针对实体u的推荐分数与阈值进行比较以确定新开放端口是被用于恶意活动的异常端口还是用于合法目的的开放端口(框306)。
当新开放端口被确定为异常端口时，警报124被发出(框308)。警报表示存在新开放端口可能被用于恶意活动的概率。否则，系统继续分析针对其他新开放端口的网络流数据。
操作环境
现在注意力转向对示例性操作环境的讨论。应当注意，操作环境400是示例性的，而不旨在暗示对实施例的功能性的任何限制。实施例可以被应用于利用被耦合到网络404的计算设备的操作环境400。
计算设备402可以是任何类型的电子设备，诸如但不限于移动设备、个人数字助理、移动计算设备、智能电话、蜂窝电话、手持式计算机、服务器、服务器阵列或服务器群、web服务器、网络服务器、刀片式服务器、互联网服务器、工作站、小型计算机、大型计算机、超级计算机、网络家电、web家电、分布式计算系统、多处理器系统或其组合。操作环境400可以被配置在网络环境、分布式环境、多处理器环境或能够访问远程或本地存储设备的独立计算设备中。
计算设备402可以包括一个或多个处理器406、存储器414、通信接口408、存储设备410和输入/输出设备412。处理器406可以是任何可商购处理器并且可以包括双微处理器和多处理器架构。通信接口408支持计算设备402与其他设备之间的有线或无线通信。存储设备410可以是不包含传播信号(诸如通过载波所传输的调制数据信号)的计算机可读介质。存储设备410的示例包括但不限于RAM、ROM、EEPROM、闪速存储器或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置，所有这些都不包含传播信号，诸如通过载波所传输的调制数据信号。输入设备412可以包括键盘、鼠标、笔、语音输入设备、触摸输入设备等，以及其任何组合。输出设备412可以包括显示器、扬声器、打印机等，以及其任何组合。
存储器414可以是可以存储可执行程序、应用和数据的任何非暂时性计算机可读存储介质。计算机可读存储介质与传播信号(诸如通过载波所传输的调制数据信号)无关。该计算机可读存储介质可以是与传播信号(诸如通过载波所传输的调制数据信号)无关的任何类型的非暂时性存储器设备(例如随机存取存储器、只读存储器等)、磁存储装置、易失性存储装置、非易失性存储装置、光存储装置、DVD、CD、软盘驱动器等。存储器414还可以包括与传播信号(诸如通过载波所传输的调制数据信号)无关的一个或多个外部存储设备或远程定位的存储设备。存储器414可以包含指令、组件和数据，诸如操作系统416、实体端口映射组件418、实体端口矩阵或模型420、协作过滤组件422、端口推荐组件424以及其他应用和数据426。
计算设备402被通信地耦合到网络404以支持与其他实体的通信。网络402可以体现任何众所周知的通信技术，诸如适用于分组交换网络(例如诸如互联网的公共网络、诸如企业内联网的专用网络等等)、电路交换网络(例如公共交换电话网络)或分组交换网络和电路交换网络(具有合适的网关和转换器)的组合。
结论
公开了一种系统，该系统具有一个或多个处理器和存储指令的一个或多个存储器设备的系统。存储的指令被配置为由一个或多个处理器执行以执行如下动作：监测去往网络中的一个或多个实体的一个或多个开放端口的网络业务流；检测第一实体上的新开放端口；基于协作过滤模型来确定第一实体上的新开放端口是否可能被用于恶意活动，协作过滤模型基于隐式数据集，隐式数据集包括一个或多个实体的一个或多个开放端口的针对非恶意活动的使用模式；以及当新开放端口被确定为用于恶意活动时发布警报。
系统执行附加动作以：将来自网络业务流的数据结构化为实体端口模型，该实体端口模型反映由一个或多个实体对一个或多个开放端口的针对非恶意活动的使用；利用交替最小二乘法执行奇异值分解，以将实体端口模型分解为实体因子的第一矩阵和端口因子的第二矩阵；以及使用第一矩阵和第二矩阵生成指示新开放端口是否是异常端口的推荐分数。
使用模式是从传输控制协议(TCP)分组中的同步(SYN)和确认(ACK)设置获得的。网络流数据是从互联网协议流信息导出(IPFIX)数据得出的。实体端口模型以周期性间隔利用来自网络业务流的附加数据而被更新。警报在推荐分数低于阈值时被发出。在执行奇异值分解之前，实体端口对被变换为偏好和置信度对。
公开了一种设备，该设备具有至少一个处理器和至少一个存储器设备。至少一个处理器被配置为：获得协作过滤模型，以表示网络的多个实体的一个或多个开放端口，其中一个或多个开放端口用于非恶意活动；实时检测针对多个实体中的第一实体的新开放端口；利用协作过滤模型来确定新开放端口是异常端口的可能性；以及响应于确定新开放端口被确定为异常，实时发出警报以阻止异常端口的使用。
设备进一步被配置为使用隐式数据集来构造协作过滤模型，隐式数据集从网络中所分布的传输分组中的设置得出。由设备执行的进一步动作包括生成实体端口模型，该实体端口模型表示标识针对实体的开放端口的使用频率的值；以及利用交替最小二乘法应用奇异值分解来估计针对实体的端口的缺失值，该应用生成表示实体因子的第一矩阵和表示端口因子的第二矩阵。针对第一实体和新开放端口的推荐分数基于第一矩阵和第二矩阵。当推荐分数低于阈值时，警报被发出。
公开了一种可以在本文中所描述的系统和设备上被实践的方法，该方法在具有至少一个处理器和至少一个存储器的计算设备上操作。方法获得实体端口模型，该实体端口模型反映对网络的一个或多个实体的一个或多个开放端口的针对非恶意活动的使用，利用线性回归使用矩阵因子分解来估计对一个或多个实体的非开放端口的使用，将实体端口模型分解为实体因子和端口因子，从实体因子和端口因子生成针对选择实体的新开放端口的推荐分数，其中推荐分数指示新开放端口是否是异常端口，并且当推荐分数指示新开放端口为异常端口的概率时发出警报。
通过关联针对每个实体端口对的频率使用值，在网络的一个或多个实体的开放端口处所使用的正常网络活动被监测并被协作到实体端口模型中。传输分组上的SYN-ACK设置被分析以确定网络的实体的开放端口。实体端口模型利用来自监测正常网络活动的附加数据被周期性地更新。对实体端口模型到实体因子和端口因子的分解将偏好-置信度对与实体端口模型中的每个值相关联，偏好-置信度对包括偏好值和置信度值，偏好值基于使用频率，且置信度值基于使用频率的幅度，且对偏好-置信度对应用矩阵因子分解。
矩阵因子分解应用交替最小二乘法技术来最小化针对实体因子的成本函数和用以最小化端口因子的成本函数。矩阵因子分解应用奇异值分解。推荐分数是实时确定的。
尽管本主题已经针对结构特征和/或方法动作被语言描述，但是应理解，所附权利要求书中所定义的主题不必被限于上文所描述的特定特征或动作。相反，上文所描述的特定特征和动作作为实施权利要求书的示例形式被公开。
Claims (15)
1.一种系统，包括：
一个或多个处理器；以及
一个或多个存储器设备，所述一个或多个存储器设备存储指令，所述指令被配置为由所述一个或多个处理器执行，以执行如下动作：
监测通过网络中的一个或多个实体的一个或多个开放端口的网络业务流；
检测第一实体上的新开放端口；
基于协作过滤模型来确定所述第一实体上的所述新开放端口是否可能被用于恶意活动，所述协作过滤模型基于隐式数据集，所述隐式数据集包括所述一个或多个实体的所述一个或多个开放端口的针对非恶意活动的使用模式；以及
当所述新开放端口被确定为用于恶意活动时发布警报。
2.根据权利要求1所述的系统，其中所述一个或多个存储器设备存储在由所述一个或多个处理器执行时执行如下动作的指令：
将来自所述网络业务流的数据结构化为实体端口模型，所述实体端口模型反映由所述一个或多个实体对所述一个或多个开放端口的针对非恶意活动的使用；
利用交替最小二乘法执行奇异值分解，以将所述实体端口模型分解为实体因子的第一矩阵和端口因子的第二矩阵；以及
使用所述第一矩阵和所述第二矩阵生成指示所述新开放端口是否是异常端口的推荐分数。
3.根据权利要求1所述的系统，其中所述一个或多个存储器设备存储在由所述一个或多个处理器执行时执行如下动作的指令：
从传输控制协议(TCP)分组中的同步(SYN)和确认(ACK)设置获得所述使用模式。
4.根据权利要求3所述的系统，其中所述使用模式是从互联网协议流信息导出(IPFIX)数据得出的。
5.根据权利要求1所述的系统，其中所述一个或多个存储器设备存储在由所述一个或多个处理器执行时执行如下动作的指令：
以周期性间隔利用来自所述网络业务流的附加数据来更新所述实体端口模型。
6.根据权利要求1所述的系统，其中所述一个或多个存储器设备存储在由所述一个或多个处理器执行时执行如下动作的指令：
当所述推荐分数低于阈值时发出警报。
7.根据权利要求2所述的系统，其中所述一个或多个存储器设备存储在由所述一个或多个处理器执行时执行如下动作的指令：
在执行奇异值分解之前，将所述实体端口模型的实体端口对变换为偏好和置信度对。
8.一种方法，包括：
在具有至少一个处理器和至少一个存储器的计算设备处获得实体端口模型，所述实体端口模型反映对网络的一个或多个实体的一个或多个开放端口的针对非恶意活动的使用；
利用线性回归使用矩阵因子分解来估计对所述一个或多个实体的非开放端口的使用；
将所述实体端口模型分解为实体因子和端口因子；
从所述实体因子和所述端口因子生成针对选择实体的新开放端口的推荐分数，所述推荐分数指示所述新开放端口是否是异常端口；以及
当所述推荐分数指示所述新开放端口是异常端口的可能性时发出警报。
9.根据权利要求8所述的方法，还包括：
监测在网络的所述一个或多个实体的开放端口处所使用的正常网络活动；以及
通过关联针对每个实体端口对的频率使用值，将所述正常网络活动聚合到所述实体端口模型中。
10.根据权利要求8所述的方法，还包括：
分析所述网络中所使用的传输分组上的SYN-ACK设置，以确定每个实体的所述开放端口。
11.根据权利要求8所述的方法，还包括：
利用来自监测所述正常网络活动的附加数据，更新所述实体端口模型。
12.根据权利要求8所述的方法，其中将所述实体端口模型分解为实体因子和端口因子还包括：
将偏好-置信度对与所述实体端口模型中的每个值相关联，所述偏好-置信度对包括偏好值和置信度值，所述偏好值基于所述使用频率，并且所述置信度值基于所述使用频率的幅度；以及
对所述偏好-置信度对应用所述矩阵因子分解。
13.根据权利要求12所述的方法，其中应用所述矩阵因子分解还包括应用交替最小二乘法技术来最小化针对所述实体因子的成本函数和用于最小化所述端口因子的成本函数。
14.根据权利要求8所述的方法，其中所述矩阵因子分解包括奇异值分解。
15.根据权利要求8所述的方法，还包括：
实时计算所述推荐分数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410938058.4A CN118673490A (zh) | 2019-04-01 | 2020-02-26 | 通过协作过滤实时检测恶意活动 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/371,578 | 2019-04-01 | ||
| US16/371,578 US11363037B2 (en) | 2019-04-01 | 2019-04-01 | Real-time detection of malicious activity through collaborative filtering |
| PCT/US2020/019844 WO2020205095A1 (en) | 2019-04-01 | 2020-02-26 | Real-time detection of malicious activity through collaborative filtering |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410938058.4A Division CN118673490A (zh) | 2019-04-01 | 2020-02-26 | 通过协作过滤实时检测恶意活动 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113661489A true CN113661489A (zh) | 2021-11-16 |
| CN113661489B CN113661489B (zh) | 2024-07-19 |
Family
ID=69904237
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080026439.5A Active CN113661489B (zh) | 2019-04-01 | 2020-02-26 | 通过协作过滤实时检测恶意活动 |
| CN202410938058.4A Pending CN118673490A (zh) | 2019-04-01 | 2020-02-26 | 通过协作过滤实时检测恶意活动 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410938058.4A Pending CN118673490A (zh) | 2019-04-01 | 2020-02-26 | 通过协作过滤实时检测恶意活动 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US11363037B2 (zh) |
| EP (1) | EP3948606A1 (zh) |
| CN (2) | CN113661489B (zh) |
| WO (1) | WO2020205095A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201915265D0 (en) * | 2019-10-22 | 2019-12-04 | Senseon Tech Ltd | Anomaly detection |
| US11632385B2 (en) * | 2020-02-03 | 2023-04-18 | University Of South Florida | Computer networking with security features |
| US11973796B2 (en) | 2021-04-06 | 2024-04-30 | Microsoft Technology Licensing, Llc | Dangling domain detection and access mitigation |
| US11983152B1 (en) * | 2022-07-25 | 2024-05-14 | Blackrock, Inc. | Systems and methods for processing environmental, social and governance data |
| WO2024209608A1 (ja) * | 2023-04-05 | 2024-10-10 | 日本電信電話株式会社 | 監視装置、監視方法及び監視プログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070289017A1 (en) * | 2001-01-31 | 2007-12-13 | Lancope, Inc. | Network port profiling |
| KR20080040257A (ko) * | 2006-11-02 | 2008-05-08 | 한국전자통신연구원 | 네트워크 수준의 웜, 바이러스 조기 탐지 방법 및 장치 |
| US8990944B1 (en) * | 2013-02-23 | 2015-03-24 | Fireeye, Inc. | Systems and methods for automatically detecting backdoors |
| CN107852416A (zh) * | 2015-08-26 | 2018-03-27 | 微软技术许可有限责任公司 | 监测计算机网络连接的生命周期 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7543056B2 (en) * | 2002-01-15 | 2009-06-02 | Mcafee, Inc. | System and method for network vulnerability detection and reporting |
| US7243148B2 (en) * | 2002-01-15 | 2007-07-10 | Mcafee, Inc. | System and method for network vulnerability detection and reporting |
| US7814542B1 (en) * | 2003-06-30 | 2010-10-12 | Cisco Technology, Inc. | Network connection detection and throttling |
| US8020207B2 (en) * | 2007-01-23 | 2011-09-13 | Alcatel Lucent | Containment mechanism for potentially contaminated end systems |
| US8955122B2 (en) * | 2007-04-04 | 2015-02-10 | Sri International | Method and apparatus for detecting malware infection |
| US7962957B2 (en) * | 2007-04-23 | 2011-06-14 | International Business Machines Corporation | Method and apparatus for detecting port scans with fake source address |
| US9521154B2 (en) * | 2011-08-03 | 2016-12-13 | Hewlett Packard Enterprise Development Lp | Detecting suspicious network activity using flow sampling |
| WO2013055807A1 (en) * | 2011-10-10 | 2013-04-18 | Global Dataguard, Inc | Detecting emergent behavior in communications networks |
| US20150215334A1 (en) | 2012-09-28 | 2015-07-30 | Level 3 Communications, Llc | Systems and methods for generating network threat intelligence |
| US9350748B1 (en) * | 2013-12-16 | 2016-05-24 | Amazon Technologies, Inc. | Countering service enumeration through optimistic response |
| US20160149933A1 (en) * | 2014-11-25 | 2016-05-26 | Canon Kabushiki Kaisha | Collaborative network security |
-
2019
- 2019-04-01 US US16/371,578 patent/US11363037B2/en active Active
-
2020
- 2020-02-26 WO PCT/US2020/019844 patent/WO2020205095A1/en unknown
- 2020-02-26 EP EP20713143.4A patent/EP3948606A1/en active Pending
- 2020-02-26 CN CN202080026439.5A patent/CN113661489B/zh active Active
- 2020-02-26 CN CN202410938058.4A patent/CN118673490A/zh active Pending
-
2022
- 2022-05-17 US US17/746,707 patent/US12021882B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070289017A1 (en) * | 2001-01-31 | 2007-12-13 | Lancope, Inc. | Network port profiling |
| KR20080040257A (ko) * | 2006-11-02 | 2008-05-08 | 한국전자통신연구원 | 네트워크 수준의 웜, 바이러스 조기 탐지 방법 및 장치 |
| US8990944B1 (en) * | 2013-02-23 | 2015-03-24 | Fireeye, Inc. | Systems and methods for automatically detecting backdoors |
| CN107852416A (zh) * | 2015-08-26 | 2018-03-27 | 微软技术许可有限责任公司 | 监测计算机网络连接的生命周期 |
Also Published As
| Publication number | Publication date |
|---|---|
| US12021882B2 (en) | 2024-06-25 |
| US11363037B2 (en) | 2022-06-14 |
| US20220278999A1 (en) | 2022-09-01 |
| CN118673490A (zh) | 2024-09-20 |
| CN113661489B (zh) | 2024-07-19 |
| US20200314119A1 (en) | 2020-10-01 |
| EP3948606A1 (en) | 2022-02-09 |
| WO2020205095A1 (en) | 2020-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113661489B (zh) | 通过协作过滤实时检测恶意活动 | |
| US10721243B2 (en) | Apparatus, system and method for identifying and mitigating malicious network threats | |
| AU2018203393B2 (en) | Path scanning for the detection of anomalous subgraphs and use of dns requests and host agents for anomaly/change detection and network situational awareness | |
| US8533819B2 (en) | Method and apparatus for detecting compromised host computers | |
| Sakib et al. | Using anomaly detection based techniques to detect HTTP-based botnet C&C traffic | |
| JP2019523584A (ja) | ネットワーク攻撃防御システムおよび方法 | |
| Haddadi et al. | DoS-DDoS: taxonomies of attacks, countermeasures, and well-known defense mechanisms in cloud environment | |
| Bou-Harb et al. | A systematic approach for detecting and clustering distributed cyber scanning | |
| Baskaran et al. | Enhancing network visibility and security through tensor analysis | |
| Lyu et al. | A survey on enterprise network security: Asset behavioral monitoring and distributed attack detection | |
| Feitosa et al. | An orchestration approach for unwanted Internet traffic identification | |
| US11463331B1 (en) | Identification of beaconing from network communication events of network traffic log | |
| Lyu et al. | PEDDA: Practical and Effective Detection of Distributed Attacks on enterprise networks via progressive multi-stage inference | |
| Shirsath et al. | SYNTROPY: TCP SYN DDoS attack detection for Software Defined Network based on Rényi entropy | |
| Ozcelik | Dos attack detection and mitigation | |
| Okafor et al. | Vulnerability bandwidth depletion attack on distributed cloud computing network: A qos perspective | |
| US10594724B2 (en) | Network security user interface for domain query volume time series with custom signal modifications | |
| Bou-Harb et al. | On detecting and clustering distributed cyber scanning | |
| Venkatesan et al. | DeBot: A novel network‐based mechanism to detect exfiltration by architectural stealthy botnets | |
| O'Reilly | Passive Data Collection and Threat Identification Through Use of a Graph Database in IoT Devices | |
| Babu | Network Traffic Analysis and Anomaly Detection: A Comparative Case Study | |
| Lyu | Enterprise Network Security via Data-driven Methods and Programmable Network Telemetry | |
| Jerge et al. | On the Use and Reuse of Graphs for Network Security with Real-Time Edge Learning | |
| Roponena et al. | Use Cases and Design of an Intelligent Intrusion Detection System. | |
| Nayyar | Approximate Auto Regressive Modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |