CN109478156B - 用于将测试数据点重新分类为非异常的基于密度的装置、计算机程序和方法 - Google Patents

Abstract

提供了一种基于密度的装置、计算机程序和方法，用于将测试数据点重新分类为非异常。每个被分类为异常的一个或多个测试数据点被接收。与一个或多个测试数据点中的每个测试数据点相关地，为每个被已知为非异常的多个已知数据点确定密度。进一步地，基于所述确定，所述一个或多个测试数据点中的至少一个被重新分类为非异常。

Description

用于将测试数据点重新分类为非异常的基于密度的装置、计 算机程序和方法

相关申请的交叉引用

本申请要求于2016年8月10日递交的、题为“用于将测试数据点重新分类为非异常的基于密度的装置、计算机程序和方法”(“Density-Based Apparatus,Computer Program,And Method For Reclassifying Test Data Points As Not Being An Anomoly”)、申请号为15/233,852的美国非临时专利申请的优先权，其通过引用并入本文，如同其整体再现。

技术领域

本发明涉及异常检测，尤其涉及用于减少与异常检测相关的误报的技术。

背景技术

在机器学习领域，构建了可以从现有数据学习并作出预测的算法。作为一个示例，聚类分析通常被用作检测异常的算法，其通过基于特性将测试数据项分组使得不同的分组包含具有不同的特性的对象，从而检测异常。良好的聚类的特征在于组内的高度相似性和不同组间的高度差异性。

在使用中，测试数据项集合可以包含特性显著不同于其余测试数据项的子集。测试数据项的这个子集中的每个都被认为是异常(例如，离群值等)。因此，异常识别产生与其余测试数据项有很大不同的较小组的测试数据项。这种技术在以下领域中具有应用，包括但不限于检测电信系统中的高级持续性威胁(advanced persistent threat，APT)攻击，金融欺诈检测、稀有基因识别、数据清理等。

已广泛采用非参数异常识别技术的一个常见示例涉及使用一类支持向量机(one-class support vector machine，OCSVM)。OCSVM显示出计算上的效率，但其通常不使用数据集的分布特性，而且另外也不具有对误报率(false positive rate，FPR)的直接控制。

发明内容

提供了一种基于密度的装置、计算机程序和方法，用于将测试数据点重新分类为非异常。每个被分类为异常的一个或多个测试数据点被接收。与一个或多个测试数据点中的每个测试数据点相关地，为每个被已知为非异常的多个已知数据点确定密度。进一步地，基于所述确定，所述一个或多个测试数据点中的至少一个被重新分类为非异常。

在第一实施例中，所述一个或多个测试数据点可以通过一类支持向量机(OCSVM)和/或K均值聚类算法被每一个地分类为异常。例如，通过以下方式，所述一个或多个测试数据点可以被分类为异常：基于一个或多个参数将多个所述测试数据点分组到多个组中，并为所述每组多个测试数据点识别至少一个边界，确定所述一个或多个测试数据点是否在相应的边界外，以及如果所述一个或多个测试数据点位于所述相应的边界外，将所述一个或多个测试数据点分类为异常。

在第二实施例中，(其可以与第一实施例结合也可以不与第一实施例结合)，所述一个或多个测试数据点可以包括多个所述测试数据点。进一步地，所述密度的确定可以针对所述多个测试数据点中的每个来执行。此外，所述密度的确定可以导致的是对应于所述多个测试数据点中每个的密度信息。因此，所述多个测试数据点可以基于所述密度信息被排名。进一步地，资源可以根据所述排名被分配。

在第三实施例中(其可以与第一和/或第二实施例结合也可以不与第一和/或第二实施例结合)，所述将一个或多个测试数据点重新分类为非异常可以导致误报的减少。

在第四实施例中(其可以与第一、第二和/或第三实施例结合也可以不与第一、第二和/或第三实施例结合)，所述一个或多个测试数据点可以反映安全事件的发生。在本实施例的其他方面中，关于这一点，所述一个或多个测试数据点可以反映其它类型的事件或其他任何事。

作为一种方式，在某些可选实施例中，前述装置，计算机程序和/或方法的前述特征中的一个或多个可以通过使用基于密度的方法减少被分类为异常的测试数据点以减少误报。作为结果，这可以导致处理用于被分类为异常而实际上不是异常的测试数据点所需要的资源的减少和/或重新配置。应注意，阐述前述的潜在优点仅用于说明性目的，不应被以任何方式解释为进行限制。

附图说明

图1示出了根据一实施例的用于将测试数据点重新分类为非异常的方法。

图2示出了根据一实施例的用于将测试数据点重新分类为非异常并将其排名的系统。

图3示出了根据一实施例的用于执行基于聚类的异常检测的方法。

图4A示出了根据一实施例的用于执行基于密度的异常检测的方法。

图4B示出了根据威胁评估实施例的用于执行基于聚类的异常检测的方法。

图4C示出了根据威胁评估实施例的用于执行基于密度的异常检测的方法。

图4D示出了根据一实施例的用于将测试数据点重新分类为非异常并将其排名的系统。

图5示出了根据一实施例的显示基于聚类的异常检测方法的结果的绘图，所述结果可能受到将异常重新分类为正常的基于密度的异常检测的影响。

图6示出了根据一可能实施例的网络架构。

图7示出了根据一实施例的示例性系统。

具体实施方式

图1示出了根据一实施例的用于将测试数据点重新分类为非异常的方法100。如图所示，接收每个被分类为异常的一个或多个测试数据点。参见操作102。在本说明书的上下文中，测试数据点可以指包括关于人、地点、事物、事件和/或任何能够被分类为异常的任何其他事物的信息的任何数据结构。此外，这样的异常可以指任何偏离标准的、正常的和/或期望的事物。在各种实施例中，被用于定义异常的参数、阈值等(如果用到的话)可以以任何希望的方式变化。

例如，在一实施例中，一个或多个测试数据点可以反映在信息安全系统的上下文中的安全事件的发生。具体地，在这样的实施例中，一个或多个测试数据点可以在下列的上下文中收集：检测系统(intrusion detection system，IDS)、入侵防御系统(intrusionprevention system，IPS)、防火墙、安全事故和事件管理(security incident and eventmanagement，SIEM)系统和/或适用于解决高级持续性威胁(advanced persistent threat，APT)、零日和/或未知攻击(即，签名/指纹对其不可用，等)的任何类型的安全系统。然而，应强烈指出，一个或多个测试数据点可以反映任何类型的事件。例如，这样的异常检测可以应用于金融诈骗检测、稀有基因识别、数据清理等和或可以受益于异常检测的任何其他应用。

此外，在本说明书中，前述分类完全可以使用可操作用于将测试数据点分类为异常的任何技术来实现。例如，在一可能实施例中，使用基于聚类的技术(在这一点上，或者是任何其他技术)，可以将一个或多个测试数据点中每个分类为异常。这样的基于聚类的技术的一个示例可以涉及K均值聚类算法的使用。在一实施例中，这样的K均值聚类算法可以涉及将n个观察结果划分成k个聚类的任何算法，其中每个观察结果属于具有最近均值的聚类。

这样的异常检测技术的另一示例可以涉及在进行聚类后，对于每个聚类使用一类支持向量机(one-class support vector machine，OCSVM)。具体地，在一可选实施例中，通过以下步骤可以将所述一个或多个测试数据点分类为异常：基于一个或多个参数将多个所述测试数据点分组到多个组中，并为每组所述多个测试数据点识别至少一个边界，确定所述一个或多个测试数据点是否在相应的边界外，以及如果所述一个或多个测试数据点位于所述相应的边界外，将一个或多个测试数据点分类为异常。在本说明书的上下文中，前述边界可以指定义已知数据点分组的任何分界或任何其他的参数，其中这样的边界可以被用于将每个测试数据点分类。下文将在对图5的描述中阐述这样的边界的示例。关于这样的可能实施例的更多信息将在对后续实施例的描述中进行描述。

继续参考图1，与一个或多个测试数据点中每个相关地，为每个被已知为非异常的多个已知数据点确定密度，方法100以此方式继续进行。参见操作104。在不同实施例中，已知数据点可以通过任何期望的分析和/或结果来被指定，包括但不限于经验分析，推断，假设等。进一步地，应注意，一个或多个测试数据点可以包括多个测试数据点，使得密度的确定可以为多个测试数据点中的每个执行。

此外，在本说明书的上下文中，密度可以指每单位有限范围的任何数量，该每单位有限范围是可以在一维、二维和/或多维中测量。例如，在已知数据点绘制在二维图上(其中x、y轴反映任何期望的参数)的一实施例中，密度可以指每单位空间(例如，区域、长度等)中的数量。此外，前述“有限范围”的准确位置(相对于每个测试数据点)，以及该有限范围的界限(例如，区域等)可以以任何期望方式被静态地和或动态地定义。

如操作106中所示，基于操作104的确定，一个或多个测试数据点中的至少一个被重新分类为非异常。在本说明书的上下文中，这样的重新分类可以指(一个或多个)测试数据点的任何变化和/或与变化相关的信息，所述信息指示和/或可用于指示(一个或多个)测试数据点非异常。在使用中，预期某些重新分类尝试可能不导致重新分类。

仅限于作为选项，可以执行操作108(以虚线示出)。具体地，密度的确定(按照操作104)可以导致的是对应于多个测试数据点中每个的密度信息。基于此密度信息，该多个测试数据点可以按照操作108被排名。在一可能实施例中，可以使用可以与也可以不与前述接口通信的处理器(其示例将在下文被阐述)执行操作104-108中的任何一个或多个，使得操作的结果可以通过可以与也可以不与所述处理器通信的至少一个输出设备(其示例将在下文被阐述)输出。

作为另一选项，资源可以基于所述排名被分配。在本说明书的上下文中，前述资源可以包括自动化的硬件/软件/服务和/或人工操作程序。进一步地，在一实施例中，所述资源可以被分配给提示相关测试数据点为异常的潜在事件(或其他任何事物)。

作为一种方式，在某些可选实施例中，前述特征中的一个或多个可以通过使用基于密度的方法减少被分类为异常的测试数据点来减少误报。例如，将至少一个测试数据点重新分类为非异常可以导致这样的误报的减少。如前所述，OCSVM例如显示出计算上的效率，但其通常不使用数据集的分布特性。因此，如下文所述，凭借基于不同异常检测准则(例如，密度相关准则)的不同技术的使用，通过与OCSVM相关的基于密度的方法，误差率被改善。下文进一步详细阐述，这样的基于密度的处理的目的是，通过使用非基于聚类的异常检测技术，以更大的确定性确认测试数据点是否可能如最初分类的那样真的是异常。作为结果，这可能导致处理被分类为异常而实际上不是异常的测试数据点需要的资源的减少和/或重新分配。应注意，阐述前述的潜在优点仅用于说明性目的，不应以任何方式被解释为进行限制。

现将阐述关于各种可选架构和使用的更多说明性信息，其中前述方法按照用户期望可以被也可以不被实现。应注意，阐述以下信息是用于说明性目的，不应被解释为以任何方式进行限制。在排除或不排除描述的其他特征的情况下，以下特征中任一项可以可选地被包括。

图2示出了根据一实施例的用于将测试数据点重新分类为非异常并将其排名的系统200。作为一选项，系统200可以用任何先前和/或后续(一个或多个)图中和/或该图的描述中阐述的任何一个或多个实施例的一个或多个特征实现。然而，应理解，系统200可以在任何期望环境的上下文中实现。

如图所示，提供了基于聚类的异常检测系统202，其接收测试数据点206，以及用于基于聚类技术将测试数据点206分类为异常的各种信息208。在使用中，基于聚类的分析可以被用作用于检测异常的无监督算法，其基于特性将数据对象分组，使得不同组包含具有不同特性的对象。这样的聚类的特征可以是，组内的高度相似性和和不同组间的高度差异。

在一实施例中，基于聚类的异常检测系统202可以包括OCSVM，所述OCSVM需要多个参数形式的信息208和学习边界信息。具体地，学习边界信息可以由已知为正常的已知数据点等定义。使用这样的输入，基于聚类的异常检测系统202用于确定测试数据点206是否存在于这样的学习边界外，如果其存在于这样的学习边界外，将这样的在外的测试数据点206分类为异常210。关于用于执行基于聚类的分析的示例性方法的更多信息将在提及图3时更详细地阐述。

继续参考图2，进一步提供了与基于聚类的异常检测系统202通信的基于密度的异常检测系统204。应注意，虽然基于聚类的异常检测系统202和基于密度的异常检测系统204被示出为分立组件(其可以被也可以不被远距离地放置)，但它们可以集成在单个系统中。如进一步示出的，基于密度的异常检测系统204可以接收从基于聚类的异常检测系统202输出的异常210作为输入。进一步地，已知数据点212可以进一步地输入到基于密度的异常检测系统204，用于执行基于密度的分析(与前述基于聚类的技术不同)，以确认异常210是否已经被事实上正确地分类为异常。

具体地，对于异常210中的每个，至少一个相关组的已知数据点212(已知为正常，即非异常)被处理以识别这样已知数据点212的密度。如果与异常210中的一个相关的已知数据点212的密度低(例如，低于某阈值等)，可以确定此异常的最初分类正确地将所述已知数据点212分类为异常并且不需要重新分类。在另一方面，如果与异常210中的一个相关的已知数据点212的密度高(例如，高于某阈值等)，可以确定此异常的最初分类没有正确地将所述已知数据点212分类为异常并且可进行重新分类，以生成一个或多个重新分类结果214。由于很快将变得明显的原因，指示或基于前述密度分析的分数可以包括在一个或多个重新分类结果214中。关于用于执行基于密度的分析的示例性方法的更多信息将在提及图4A时进行更详细地阐述。

进一步提供了与基于密度的异常检测系统204通信的可选排名/资源部署模块216。在操作中，排名/资源部署模块216使用重新分类结果214的分数来排名所述分数。具体地，在一实施例中，这样的排名可以将具有较低密度分数的重新分类结果214(其因此更可能是异常)放置在排名列表的较高位置，而具有较高密度分数的重新分类结果214(其因此更可能是非异常，即正常)放置在排名列表较低位置。

作为一种方式，前述排名列表从排名/资源部署模块216被输出，作为排名结果218。在一实施例中，这样的排名结果218还可以用于部署资源以处理由排名结果218代表的处理潜在事件(或任何其他事物)。进一步地，这样的资源部署的至少一方面可以基于相应排名结果218的排名。例如，在一实施例中，较高排名的排名结果218可以在较低排名的排名结果218前被首先处理。在另一实施例中，较高排名的排名结果218可以被分配更多资源，而较低排名的排名结果218可以被分配较少资源。

在一实施例中，前述资源可以包括人工劳动，通过用于分配/跟踪该人工劳动的自动化或人工加标签程序来分配所述人工劳动。在其他实施例中，前述资源可以包括在具有有限资源的系统的控制下可部署的软件代理。当然，该资源可以指用于解决围绕异常的一个或多个问题的任何事物。

图3示出了根据一实施例的用于执行基于聚类的异常检测的方法300。作为一选项，方法300在任何先前和/或后续(一个或多个)图中和/或该图的描述中阐述的任何一个或多个实施例的上下文中实现。例如，在一实施例中，方法300可以在图2的基于聚类的异常检测系统202的上下文中实现。然而，应理解，方法300可以在任何期望的环境的上下文中实现。

如图所示，在操作302中，测试数据点被接收。这样的接收可以以任何期望的方式实现。例如，测试点可以被上传到基于聚类的异常检测系统(例如，图2的基于聚类的异常检测系统202等)。如图所示，在接收后，每个测试数据点一个接一个地被处理。

具体地，在操作304中，初始/下一测试数据点被选取，基于一个或多个参数将这样的测试数据点分组。参见操作306。具体地，可以选择特定的聚类，其代表与操作304中选取的当前测试数据点最适合的一个范围内的参数。这样的参数可以反映被分类的潜在实体的任何方面。仅作为示例，在网络上拦截的分组的上下文中，这样的参数可以包括网络协议(Internet Protocol，IP)地址、端口、分组类型、时间戳、分段等中的一个或多个。

然后，在判定308中确定在操作304中选取的当前测试数据点是否存在于在操作306中确定的聚类外(即，位于在操作306中确定的聚类之外等)。如果在操作304中选取的当前测试数据点不在操作306中确定的聚类外，当前数据测试点被确定为非异常，并且方法300通过在操作304中选取下一数据测试点继续进行。另一方面，如果在操作304中选取的当前数据测试点存在于在操作306中确定的聚类外(即，位于在操作306中确定的聚类之外等)，这样的当前数据测试点被分类为离群值(例如，异常等)。参见操作310。

按照判定312，方法300继续为每个测试数据点执行操作304-312直到完成。在此时，在操作314中，(被分类为异常的)测试数据点被输出，用于进一步地进行基于密度的处理，从而以更大的确定性并使用非基于聚类的异常检测技术确认测试数据点是否可能如最初分类的那样是真正的异常。现在将阐述关于一可能的基于密度的异常检测技术的更多信息。

图4A示出了根据一实施例的用于执行基于密度的异常检测的方法400。作为一选项，方法400可以在任何先前和/或后续(一个或多个)图中和/或该图的描述中阐述的任何一个或多个实施例的上下文中实现。例如，在一实施例中，方法400可以在图2的基于密度的异常检测系统204和/或排名/资源部署模块216的上下文中实现。然而，应理解，方法400可以在任何期望的环境的上下文中实现。在一实施例中，在图4A中示出的方法400可以是图3中示出的方法的继续。包括图3和图4A中的一些或所有步骤的方法的一个优势是可以减少误报的数量。

如图所示，在操作404中，已知为非异常的已知数据点可以被识别。这样的已知数据点的相关性可以基于任何期望的因素。例如，相关已知数据点可以是紧邻于要被分析的测试数据点的那些数据点、在预确定或可配置的空间(其依赖于或独立于要被分析的测试数据点)内的那些数据点、和/或基于其他准则被认为相关的那些数据点。

在操作406中，相关已知数据点的密度可以被确定。如上所述，在一实施例中，这可能涉及在某区域内的已知数据点数量的计算。进一步地，基于密度的分数被分配给每个被分类为异常的测试数据点。参见操作410。在一实施例中，这样的基于密度的分数可以线性地或以其他方式与前述密度成比例。进一步地，每个测试数据点(或测试数据点的小组)可以被分配相应的基于密度的分数。

接下来，在判定412中，为每个测试数据点确定基于密度的分数是否超过阈值。这样的阈值可以被静态地或动态地确定，以将(一个或多个)测试数据点重新分类(为非异常，例如，正常等)。参见操作414。例如，在各种实施例中，该阈值可以是可配置的(例如，用户-/系统-可配置等)。

接下来，在操作416中，测试数据点基于基于密度的分数被排名。在一实施例中，仅那些没有被重新分类的测试数据点被排名。当然，在其他实施例中，所有的测试数据点可以被排名。作为一种方式，在操作418中，资源可以基于排名被分配，使得更可能为异常的那些测试数据点优先于更不可能为异常的那些数据测试点被分配资源。通过这种设计，资源被更智能地分配，使得这样的资源被消耗在(更不可能是异常的)测试数据点的情况可以至少被部分避免。作为结果，如此节省的资源根据期望被可选地重新分配。

图4B示出根据威胁评估实施例的用于执行基于聚类的异常检测的方法420。作为一选项，方法420可以在任何先前和/或后续(一个或多个)图中和/或该图的描述中阐述的任何一个或多个实施例的上下文中实现。例如，在一实施例中，方法420可以在图2的基于聚类的异常检测系统202的上下文中实现。然而，应理解，方法420可以在任何期望的环境的上下文中实现。

如图所示，在操作422中，网络数据点被接收。在各种实施例中，网络数据点可以包括任何网络数据(例如，源/目的地信息，会话信息，报头/有效负载信息等)。进一步地，这样的接收可以以任何期望的方式被实现。例如，测试点可以被上传到基于聚类的异常检测的系统(例如，图2的基于聚类的异常检测系统202等)。在接收后，每个网络数据点被一个接一个地处理，如图所示。

具体地，在操作424中，初始/下一个网络数据点被选取，并且特征向量被计算以被处理用于威胁检测。参见操作426。具体地，特征向量可以代表与网络数据点相关联的任何一个或多个参数。进一步地，这样的特征向量可以用于选择与操作424中选取的当前网络数据点最相对应的特定聚类。如上文中提到的，在网络上拦截的分组的上下文中，前述参数可以包括网络协议(Internet Protocol，IP)地址、端口、分组类型、时间戳、分段等中的一个或多个。

然后，在判定428中，确定在操作424中选取的当前网络数据点是否存在于选择的聚类外(即，位于选择的聚类之外等)。如果在操作424中选取的当前网络数据点不在选择的聚类外，当前网络数据点被确定为非威胁，并且方法420通过在操作424中选取下一网络数据点而继续进行。另一方面，如果在操作424中选取的当前网络数据点在选择的聚类外(即，位于选择的聚类之外等)，按照操作430，这样的当前网络数据点被分类为异常(例如，威胁等)。

按照判定432，方法420继续为每个网络数据点进行操作424-430直到完成。在此时，在操作434中，(被分类为威胁的)网络数据点被输出，用于进一步地进行基于密度的处理，从而以更大的确定性并使用非基于聚类的异常检测技术确认网络数据点是否可能如最初分类的那样真的是威胁。现在将在威胁评估实施例的上下文中阐述关于一可能的基于密度的异常检测技术的更多信息。

图4C示出了根据一威胁评估实施例的用于执行基于密度的异常检测的方法440。作为一选项，方法440在在任何先前和/或后续(一个或多个)图中和/或该图的描述中阐述的任何一个或多个实施例的上下文中实现。例如，在一实施例中，方法440在图2的基于密度的异常检测系统204和/或排名/资源部署模块216的上下文中实现。然而，应理解，方法440可以在任何期望的环境的上下文中实现。在一实施例中，图4C中示出的方法可以是图4B中示出的方法的继续。

如图所示，在操作441中，已知为非异常(异常为例如威胁等)的相关数据点被识别。这样的已知数据点的相关性可以基于任何期望因素。例如，相关的已知数据点可以是紧邻于要被分析的网络数据点的那些数据点、在预确定或可配置的空间(其依赖于或独立于要被分析的网络数据点)内的那些数据点、和/或基于其他准则被认为相关的那些数据点。在一可能实施例中，已知数据点可以从已知不存在威胁的无害环境(benign environment)中收集。

在操作442中，相关已知数据点的密度被确定。如上文中提到的，在一实施例中，这可以涉及某区域内若干数据点数量的计算。进一步地，基于密度的分数被分配给每个被分类为威胁的网络数据点。参见操作443。在一实施例中，这样的基于密度的分数可以线性地或以其他方式与前述密度成比例。进一步地，每个网络数据点(或网络数据点的小组)可以被分配相应的基于密度的分数。

接下来，在判定444中，为每个测试数据点确定基于密度的分数是否超过阈值。这样的阈值可以被静态地或动态地确定，以将(一个或多个)网络数据点重新分类(为非威胁，例如，正常等)。参见操作445。

接下来，在操作446中，网络数据点基于基于密度的分数被排名。在一实施例中，仅那些没有被重新分类的网络数据点被排名。当然，在其他实施例中，所有的网络数据点可以被排名。在任一情况下，所述排名可以反映相关数据点的风险水平。

在一实施例中，阈值0.05可以在判定444的上下文中使用。由于方法440的基于密度的技术，以及特别是操作446，计算每个网络点相对于标称数据点的风险水平，阈值可以被视为显著性水平[即误报率(false positive rate，FPR)等]。换句话说，通过设置这样的阈值，可以确保作为结果的FPR不大于阈值。这可以提供相对于OCSVM的可能优势，因为后者通常不能控制FPR。事实上，在对异常分布的某些假设下，基于密度的方法440可以构成一致最大功效(uniformly most powerful，UMP)检验。也就是说，在保持最高的召回率的同时，可以实现不大于阈值的FPR。在一可能实施例中，取决于具体的特定场景，前述FPR可以被显著地改善(例如，从0.0132到0.0125等)。

作为一种方式，在操作447中，资源可以基于排名被分配，使得更可能为威胁的那些网络数据点优先于更不可能为威胁的那些网络数据点被分配资源。通过这种设计，资源被更智能地分配，使得这样的资源被消耗在(更不可能是威胁的)网络数据点的情况可以至少被部分避免。作为结果，如此节省的资源根据期望被可选地重新分配。

图4D示出了根据一实施例的用于将测试数据点重新分类为非异常并将其排名的系统450。作为一选项，系统450可以用任何先前和/或后续(一个或多个)图中和/或该图的描述中阐述的任何一个或多个实施例的一个或多个特征实现。然而，应理解，系统450可以在任何期望的环境的上下文中实现。

如图所示，提供了分类模块452形式的分类装置，用于将一个或多个测试数据点分类。在各种实施例中，分类模块452可以包括但不限于图2的基于聚类的异常检测系统202、至少一个处理器(下文中进行描述)以及控制该至少一个处理器的任何软件、和/或能够进行前述功能的任何其他电路。

还包括重新分类模块454形式的重新分类装置，其与分类模块452通信，用于确定每个被已知为非异常的多个已知数据点的密度并基于该确定将一个或多个测试数据点中的至少一个重新分类为非异常。在各种实施例中，重新分类模块454可以包括但不限于图2的基于密度的异常检测系统204、至少一个处理器(下文中进行描述)以及控制该至少一个处理器的任何软件、和/或能够进行前述功能的任何其他电路。

继续参考图4D，排名模块456形式的排名装置与重新分类模块454通信，用于基于对应于多个测试数据点中每个数据点的密度信息将多个测试数据点排名。在各种实施例中，排名模块456可以包括但不限于图2的排名/资源部署模块216，至少一个处理器(下文中进行描述)以及控制该至少一个处理器的软件、和/或能够进行前述功能的任何其他电路。

图5示出了根据一实施例的显示基于聚类的异常检测方法的结果的绘图500，所述结果可能受到将异常重新分类为正常的基于密度的异常检测的影响。作为一选项，绘图500可以反映任何先前和/或后续(一个或多个)图中和/或该图的描述中阐述的任何一个或多个实施例的操作。例如，在一实施例中，图500可以反映图2的系统200的操作。

如图所示，绘图500包括一对边界502形式的学习的边界，其与基于聚类的异常检测技术(例如，图3的方法300等)相关地使用。具体地，多个测试数据点(标记为“□”和“○”)被示出为在边界502的内部和外部，作为基于聚类的异常检测技术的结果。应注意，一些测试数据点(标记为“□”)是被认为是正常的数据点，并且一些测试数据点(标记为“○”)是被认为是异常的数据点(例如，反常的等)。

在使用中，位于边界502外(因此被分类为异常)的正常测试数据点(□)是基于密度的异常检测技术(例如，图4A的方法400等)的对象。这样的基于密度的异常检测技术涉及多个已知数据点(标记为

)，并尤其涉及对接近测试数据点(□)的这样的已知数据点

的密度计算。通过此设计，以另一种方式根据基于聚类的异常检测技术被分类为异常的测试数据点(□)就被重新分类为非异常(并可能被排名)，从而减少误报。

图6示出了根据一实施例的网络架构600。在各种实施例中，网络架构600(或其任何组件)可以合并在任何先前的图和/或其描述中阐述的任何一个或多个实施例中的任何一个或多个特征。进一步地，在其他实施例中，网络架构600本身可以是由任何先前的(一个或多个)图和/或其描述中阐述的任何一个或多个实施例中提供的异常检测的对象。

如图所示，提供了至少一个网络602。在本网络架构600的上下文中，网络602可以采用包括但不限于远程通信网络、局域网(local area network，LAN)、无线网络、广域网(wide area network，WAN)的任何形式，所述WAN诸如因特网、对等网络、有线电视网等。虽然仅示出了一个网络，应理解，可以提供两个或更多类似或不同的网络602。

多个设备与网络602耦合。例如，服务器计算机612和端用户计算机608可以与网络602耦合，用于通信目的。这样的端用户计算机608可以包括台式计算机、笔记本电脑和/或任何其他类型的逻辑电路。此外，包括个人数字助理(personal digital assistant，PDA)设备610、移动电话设备606、电视604等的各种其他设备可以与网络602耦合。

图7示出了根据一实施例的示例性系统700。作为一选项，系统700可以在图6的网络架构600的任何设备的上下文中实现。然而，应理解，系统700可以在任何期望的环境中实现。

如图所示，提供了系统700，其包括与总线712连接的至少一个中央处理器702。系统700还包括主存储器704[例如，硬盘驱动器、固态驱动器、随机存取存储器(randomaccess memory，RAM)等]。系统700还包括图形处理器708和显示器710。

系统700还可以包括二级存储706。二级存储706包括例如硬盘驱动器和/或代表软盘驱动器、磁带驱动器、光盘驱动器等的可移动存储驱动器。可移动存储驱动器以周知的方式驱动对于可移动存储单元的读取或写入。

计算机程序或计算机控制逻辑算法可以存储在主存储器704、二级存储706和/或用于此事项的任何存储器中。当执行这样的计算机程序时，使得系统700能够执行(例如，如上文中阐述的)各种功能。存储器704、二级存储706和/或任何其他存储是非暂时性计算机可读介质的可能示例。

根据一实施例，系统包括分类装置和确定装置，所述分类装置用于将一个或多个测试数据点分类为异常，所述确定装置用于与被分类为异常的一个或多个测试数据点中每个测试数据点相关地确定每个被已知为非异常的多个已知数据点的密度。系统还包括重新分类装置，所述重新分类装置用于利用至少一个处理器基于所述确定将一个或多个测试数据点中的至少一个重新分类为非异常，并用于通过与至少一个处理器通信的至少一个输出设备输出重新分类结果，以减少误报数量。

在一实施例中，如果与至少一个测试数据点相关地被确定的密度超过可配置的阈值，则至少一个测试数据点被重新分类为非异常。在相同或不同实施例中，为多个测试数据点中的每个执行密度的确定，并进一步包括：基于对应于多个测试数据点的每个测试数据点的密度信息，将多个测试数据点排名。

应注意，在一方面，本文中描述的技术体现在存储在计算机可读介质中的可执行指令中，供诸如基于计算机或包含处理器的机器、装置或设备的指令执行机器、装置或设备使用或与其连接。本领域技术人员应理解，对于一些实施例，包括了可以存储计算机可访问的数据的其他类型的计算机可读介质，所述计算机可读介质为例如磁带、闪存存储器卡、数字视频盘、伯努利盒、随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)等。

本文中使用的“计算机可读介质”包括用于存储计算机程序的可执行指令的任何合适的介质中的一个或多个，使得指令执行机器、系统、装置或设备可以从计算机可读机制中读取(或提取)指令并执行该指令以实施描述的方法。合适的存储格式包括电子、磁、光和电磁格式的一个或多个。传统示例性计算机可读介质的非穷举列表包括：便携式计算机磁盘；RAM；ROM；可擦除可编程只读存储器(erasable programmable read only memory，EPROM或闪存存储器)；光学存储设备，包括便携式光盘(compact disc，CD)、便携式数字视频盘(digital video disc，DVD)、高清DVD(high definition DVD，HD-DVD TM)、蓝光盘等。

应理解，所描述的图中示出的组件的安排是示例性的并且其他的安排是可能的。还应理解，由在各种框图中示出的多种系统组件(和装置)代表根据本文中公开的主题进行配置的一些系统中的逻辑组件。

例如，这些系统组件(和装置)中的一个或多个可以由在描述的图中示出的安排中所示出的组件的至少一部分整体或部分实现。此外，虽然这些组件中的至少一个至少部分地实现为电子硬件组件，并且因此构成机器，但是其他组件可以以软件实现，当所述软件包括在执行环境中时，其构成机器、硬件、或硬件和软件的组合。

更具体地，由本公开限定的至少一个组件至少部分地实现为电子硬件组件，例如指令执行机器(例如，基于处理器的或包含处理器的机器)和/或专用电路或电路系统(例如，互连以执行专用功能的离散逻辑门)。其他组件可以用软件、硬件或软件和硬件的组合来实现。此外，这些组件的部分或者全部可以组合，这些组件的一些可以完全省略，并且可以添加额外的组件，同时仍实现本文描述的功能。因此，本文中描述的主题可有以多种不同变体体现，并且所有这些变体预期都在要求保护的范围内。

在上述描述中，除非另有说明，否则参考由一个或多个设备执行的操作的动作和符号表示来描述主题。这样，应理解，有时被称为计算机可执行的这样的动作和操作包括由处理器进行的对结构化形式的数据的操纵(manipulation)。此操纵将数据进行变换或将其维持在计算机的存储器系统的位置，所述操纵以本领域技术人员熟知的方式重新配置或更改设备的操作。数据被维持在存储器的物理位置，作为具有由数据格式定义的特定属性的数据结构。然而，虽然主题是在前述上下文中描述的，但这不意味着限制，因为本领域技术人员将理解下文描述的各种动作和操作也可以用硬件实现。

为了帮助理解本文中描述的主题，围绕动作序列描述了多个方面。由本公开中至少一个由电子硬件组件执行。例如，应认识到，各种动作由通过特定电路或电路系统，或由一个或多个处理器执行的程序指令，或由上述两种的组合执行。本文中的描述的任何动作序列不旨在暗示必须遵循执行该序列的特定顺序。除非本文中另有说明或与上下文明显矛盾，本文中描述的所有方法可以以任何合适的顺序执行。

除非本文另有说明或与上下文明显矛盾，在描述主题的上下文中(尤其是本文中权利要求的上下文中)使用的术语“一”、“一个”、“所述”以及类似的指示词应被解释为涵盖单数和复数。除非本文中另有说明，本文中对于值的范围的列举仅旨在用作单独指代落入该范围的每个分开的值的快捷方法，并且每个分开的值被并入本说明书中，如同其在本文中单独列举一样。此外，前述说明书仅用作说明而非限制的目的，因为寻求的保护范围是由本文所述的权利要求及其任何有资格的等同物限定。除非另有声明，否则本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地说明主题并且不对主题的范围构成限制。在权利要求和书面描述中使用术语“基于”和表示产生结果的条件的其他类似短语并不旨在排除导致该结果的任何其他条件。说明书中的任何语言都不应被解释为表明任何未要求保护的要素对于实行要求保护的本发明是必须的。

本文中描述的实施例包括发明人已知的用于实施要求保护的主题的一个或多个模式。应理解，在阅读前述描述后，那些实施例的变体对于本领域普通技术人员来说将变得显而易见。发明人期望熟练技术人员适当地采用这些变体，并且发明人希望以不同于本文具体描述的方式实行要求保护的主题。因此，要求保护的主题包括适用法律允许的所附权利要求中记载的主题的所有修改和等同物。此外，除非本文另有说明或与上下文明显矛盾，否则上述元件的所有可能变体的任何组合都被涵盖。

Claims (8)

1.一种计算机可读介质，包括存储在非暂时性计算机可读介质上的计算机可执行指令，当所述非暂时性计算机可执行指令被一个或多个处理器执行时，促使所述一个或多个处理器：

通过确定一个或多个测试数据点在与第一组测试数据点相关联的边界外，使用基于聚类的一类支持向量机OCSVM将所述第一组测试数据点内的所述一个或多个测试数据点分类为异常，其中在所述边界外的所述第一组测试数据点内的所述一个或多个测试数据点是基于密度的异常检测的对象，其中所述基于聚类的OCSVM不使用数据集的分布特性并且不具有对误报率FPR的直接控制；以及

基于所述第一组测试数据点内的或与所述第一组测试数据点相关联的已知非异常数据点的密度以及阈值将所述一个或多个测试数据点重新分类为非异常，以减少误报的数量，其中所述阈值为所述FPR；

其中所述一个或多个测试数据点包括多个所述测试数据点并且所述一个或多个测试数据点反映远程通信网络中的安全事件的发生；以及

其中所述计算机指令促使所述一个或多个处理器为所述多个所述测试数据点中的每个测试数据点确定密度，生成对应于所述多个所述测试数据点中每个测试数据点的密度信息，基于密度信息将所述多个所述测试数据点排名，并且基于所述排名分配资源。

2.根据权利要求1所述的计算机可读介质，其中所述计算机指令促使所述一个或多个处理器使用所述OCSVM通过以下方式将所述一个或多个测试数据点分类为异常：基于一个或多个参数将所述多个所述测试数据点分组到包括所述第一组测试数据点的多个组中，并为每组所述多个测试数据点识别包括与所述第一组测试数据点相关联的边界的至少一个边界。

3.根据权利要求1或2所述的计算机可读介质，其中所述计算机指令促使所述一个或多个处理器使用K均值聚类算法将所述一个或多个测试数据点分类为异常。

4.根据权利要求1或2所述的计算机可读介质，其中所述计算机指令促使所述一个或多个处理器进行以下操作：如果所述第一组测试数据点内的或与所述第一组测试数据点相关联的已知非异常数据点的所述密度超过可配置的阈值，将所述一个或多个测试数据点重新分类为非异常。

5.一种方法，包括：

通过确定一个或多个测试数据点在与第一组测试数据点相关联的边界外，使用基于聚类的一类支持向量机OCSVM将所述第一组测试数据点内的所述一个或多个测试数据点分类为异常，其中在所述边界外的所述第一组测试数据点内的所述一个或多个测试数据点是基于密度的异常检测的对象，其中所述基于聚类的OCSVM不使用数据集的分布特性并且不具有对误报率FPR的直接控制；以及

基于所述第一组测试数据点内的或与所述第一组测试数据点相关联的已知非异常数据点的密度以及阈值，使用至少一个处理器，将所述一个或多个测试数据点重新分类为非异常，以减少误报数量，其中所述阈值为所述FPR；

其中所述一个或多个测试数据点包括多个所述测试数据点并且所述一个或多个测试数据点反映远程通信网络中的安全事件的发生；以及

其中为所述多个所述测试数据点中的每个测试数据点确定密度，生成对应于所述多个所述测试数据点中每个测试数据点的密度信息，基于密度信息将所述多个所述测试数据点排名，并且基于所述排名分配资源。

6.根据权利要求5所述的方法，其中如果所述第一组测试数据点内的或与所述第一组测试数据点相关联的已知非异常数据点的所述密度超过可配置的阈值时，所述一个或多个测试数据点被重新分类为非异常。

7.一种装置，包括：

接口，所述接口用于接收每个被分类为异常的一个或多个测试数据点；

存储器，所述存储器包括计算机可执行指令；以及

与所述接口和所述存储器通信的至少一个处理器，所述至少一个处理器响应于所述计算机可执行指令的执行被促使：

通过确定一个或多个测试数据点在与第一组测试数据点相关联的边界外，使用基于聚类的一类支持向量机OCSVM将所述第一组测试数据点内的所述一个或多个测试数据点识别为异常，其中在所述边界外的所述第一组测试数据点内的所述一个或多个测试数据点是基于密度的异常检测的对象，其中所述基于聚类的OCSVM不使用数据集的分布特性并且不具有对误报率FPR的直接控制；以及

基于所述第一组测试数据点内的或与所述第一组测试数据点相关联的已知非异常数据点的密度以及阈值将所述一个或多个测试数据点重新分类为非异常，以减少误报的数量，其中所述阈值为所述FPR；

其中所述一个或多个测试数据点包括多个所述测试数据点并且所述一个或多个测试数据点反映远程通信网络中的安全事件的发生；以及

其中所述计算机指令促使所述至少一个处理器为所述多个所述测试数据点中的每个测试数据点确定密度，生成对应于所述多个所述测试数据点中每个测试数据点的密度信息，基于密度信息将所述多个所述测试数据点排名，并且基于所述排名分配资源。

8.根据权利要求7所述的装置，其中所述装置用于，使得如果所述第一组测试数据点内的或与所述第一组测试数据点相关联的已知非异常数据点的所述密度超过可配置的阈值，则所述一个或多个测试数据点被重新分类为非异常。

Images