CN107209770B - 用于分析事件的系统和方法以及机器可读存储介质 - Google Patents

用于分析事件的系统和方法以及机器可读存储介质 Download PDF

Info

Publication number
CN107209770B
CN107209770B CN201580073281.6A CN201580073281A CN107209770B CN 107209770 B CN107209770 B CN 107209770B CN 201580073281 A CN201580073281 A CN 201580073281A CN 107209770 B CN107209770 B CN 107209770B
Authority
CN
China
Prior art keywords
events
dimensions
values
event
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580073281.6A
Other languages
English (en)
Other versions
CN107209770A (zh
Inventor
M·C·郝
D·杰克尔
N·L·常
W-N·李
D·凯姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN107209770A publication Critical patent/CN107209770A/zh
Application granted granted Critical
Publication of CN107209770B publication Critical patent/CN107209770B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/16—Classification; Matching by matching signal segments
    • G06F2218/18—Classification; Matching by matching signal segments by plotting the signal segments against each other, e.g. analysing scattergrams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

计算包括多个维度的事件之间的相似性，所述相似性基于事件之间的二进制比较以及基于维度的用户所指定的权重而计算。基于所计算的事件之间的相似性来计算多维定标(MDS)值。生成事件的时间图的图形视觉化，该时间图包括对应于时间的第一轴以及对应于MDS值的第二轴，并且该时间图表示均包含表示事件的相应子集的像素的重叠时间片段。

Description

用于分析事件的系统和方法以及机器可读存储介质
背景技术
在诸如包括许多机器（例如，计算机、存储设备、通信节点等）的网络环境或者其它类型环境的环境中能够产生或接收大量的数据。作为示例，数据能够由传感器所采集或者由应用所收集。其它类型的数据可以包括财务数据、健康相关数据、销售数据、人力资源数据等。
发明内容
在本公开的第一个方面，提供了一种方法，包括：由包括处理器的系统计算包括多个维度的事件之间的相似性，所述相似性基于事件之间的二进制比较以及基于维度的用户所指定的权重而计算；由所述系统基于所计算的事件之间的相似性计算多维定标（MDS）值；以及由所述系统生成该事件的时间图的图形视觉化，该时间图包括对应于时间的第一轴以及对应于该MDS值的第二轴，并且该时间图表示均包含表示该事件的相应子集的像素的重叠时间片段。
在本公开的第一个方面，提供了一种系统，包括：至少一个处理器，用于：执行事件的维度之间的二进制比较，该二进制比较根据被分配给该维度的用户所指定的权重；根据该二进制比较计算事件之间的相似性；基于所计算的相似性来计算多维定标（MDS）值；使得对包括表示多个重叠时间片段中的事件的像素的时间图进行视觉化，该像素根据相对应事件的MDS值和时间值而被定位于该时间图中；以及使得对表示每个重叠时间片段中的事件维度的多样性值的图形元素进行视觉化。
在本公开的第三个方面，提供了一种包括指令的非瞬态机器可读存储介质，所述指令在执行时使得系统：计算包括多个维度的事件之间的相似性，该相似性基于事件的个体维度之间的多对多为二进制比较以及基于所述维度的用户所指定的权重来计算；定义重叠时间片段，每个时间片段包括相应的事件子集，其中该重叠时间片段中的第一时间片段与该重叠时间片段中的第二时间片段共享至少一个事件；计算所述重叠时间片段中的每个时间片段内的事件的多维定标（MDS）值，所述计算基于所计算的事件之间的相似性；以及生成该事件的时间图的图形视觉，该时间图包括对应于时间的第一轴以及对应于该MDS值的第二轴，并且该时间图表示均包含表示该事件的相应子集的像素的重叠时间片段。
附图说明
关于以下附图对本公开的一些实施方式进行描述。
图1是根据一些实施方式的示例过程的流程图。
图2是图示根据一些实施方式的被执行以产生时间图的各种示例任务的示意图。
图3描绘了根据一些实施方式的用于允许用户选择要分配给事件维度的权重的示例性视觉化屏幕。
图4A和4B是图示根据一些实施方式的示例时间片段的示意图，其中每个时间片段包括相应事件集合。
图5是描绘根据一些实施方式的示例时间图的图形视觉化，所述时间图包括位于根据一维（1D）多维定标（MDS）值以及时间值的时间图中的数据点。
图6A-6B是图示根据一些实施方式的表示事件的像素之间的互连线条的示例的图形。
图7是根据一些实施方式的包括示例时间图和多样性矩阵的图形视觉化。
图8是根据另外实施方式的包括示例时间图以及有关该时间图中所选择的事件的详细信息的视觉化屏幕。
图9是根据一些实施方式的示例计算机系统的框图。
具体实施方式
在环境内发生的活动能够引起事件。环境可以包括机器和/或程序代码的集合，其中该机器可以包括计算机、存储设备、通信节点等。在网络环境内能够发生的事件包括数据分组的接收或者其它事件，上述数据分组包含相对应的地址和/或端口、具体操作的所监视测量（诸如有关处理资源、存储资源、通信资源等的使用的度量）。虽然在一些示例中参考了网络环境的活动，但是所要注意的是，根据本公开的技术或机制能够被应用于其它环境中的其它类型的事件，其中这样的事件可以涉及到财务事件、健康相关事件、人力资源事件、销售事件等。
通常，事件能够响应于相应活动的发生而生成。事件能够被表示为数据点（也被称作数据记录）。
每个数据点可以包括多个维度（也被称作属性），其中属性可以是指数据点所表示的事件的特征或特性。更具体地，每个数据点可以包括多个属性的相应值集合。在网络环境的背景下，事件的属性示例包括网络地址属性（例如，源网络地址和/或目的地网络地址）、网络子网属性（例如，子网的标识符）、端口属性（例如，源端口号和/或目的地端口号），等等。包括相对大量属性（维度）的数据点可以被认为是高维度数据集的部分。
在存在很大量数据点时，可能难以在表示相应事件的数据点中找出模式（诸如有关故障或错误、未授权访问或其它问题的模式）。例如，一些模式可以指示黑客在网络环境上进行的攻击，或者可以指示其它安全问题。其它模式则可以指示可能必须要解决的其它问题。
依据根据本公开的一些实施方式，执行基于事件相似性的模式探索。事件的基于相似性的探索允许用户搜索可能感兴趣（例如，可能与一个或多个问题相关）的事件子空间（或具体群组）。事件之间的相似性可以基于多个用户定义的维度，以及为相应维度所分配的权重（这也可以是用户指定的）。而且，能够沿多于一个维度找出模式。
如图1所示，一种示例过程能够由计算机或者计算机的布置来执行，或者由处理器或处理器的布置来执行。该过程（在102）基于事件之间的二进制比较以及基于给事件的相应维度（或者更具体地，表示事件的数据点的维度）所分配的用户指定权重来计算事件之间的相似性。
事件之间的相似性可以基于事件之间的二进制比较而不是事件之间的欧几里得距离的计算来进行计算。（表示事件的数据点中所包括的）分类数据并没有数值，而是具有不同类别的值。分类数据的示例可以包括位置数据，其中位置可以由不同城市名称（类别）来识别。因此，位置维度（这是一种分类维度）的分类数据可以包括Los Angeles、SanFrancisco、Palo Alto等。
以下的表1图示了两个事件（或更具体地，表示两个事件的两个数据点）的二进制比较。注意到，数据点可以包括分类数据。
表1
维度1 维度2 维度3
事件A W X Z
事件B W Y Z
距离: 0 1 0
在以上示例中，假设事件A和B中的每一个具有三个维度（维度1、维度2、维度3）。针对事件A，维度1、2和3的值分别是W、X和Z。针对事件B，维度1、2和3的值分别是W、Y和Z。
在事件A和B之间执行每个维度的字符串比较。针对维度1，事件A和B这二者共享相同值；作为结果，相似性为高，因此维度1的字符串比较输出二进制值0。对于维度3也同样如此，其中事件A和B这二者共享相同的值D。作为结果，事件A和B之间沿维度3的距离也被分配以二进制值0。然而，对于维度2而言，事件A和B并没有相同值，因此事件A和B之间沿维度2的距离被分配以二进制值1。以上沿相应维度的事件的比较被统称为二进制比较，这是因为比较所产生的输出包括指示沿相应的不同维度的相似性或差异性二进制值的集合。在其中使用不同比较技术的可替换示例中，能够利用二进制值1来表示高相似性，而利用二进制值0来表示低相似性（或差异性）。
更具体地，为了计算两个事件A和B之间的相似性值，该计算迭代通过以i=1（第一维度）开始并且以维度数
Figure DEST_PATH_IMAGE001
结束的所有维度。该计算随后能够使用Iverson方括号（艾佛森方括号）[ ]来将事件A和B的第i个维度相互比较。Iverson方括号[ ]是以上所讨论的字符串比较的示例。随后，结果0或1在位置i:
Figure DEST_PATH_IMAGE002
处被乘以权重
Figure 126003DEST_PATH_IMAGE002
。为了构建平均值（即，事件A和B之间的加权距离），该计算对之前的加权值求和并且除以维度数（
Figure 43144DEST_PATH_IMAGE001
），如以下等式中所指定的：
Figure DEST_PATH_IMAGE003
（等式1）。
事件A和B之间的相似性被表示为以上的
Figure DEST_PATH_IMAGE004
。
在102所计算的事件之间的相似性涉及到事件的分类数据的多对多比较，其中该多对多比较是指事件的个体维度的比较。
该过程进一步计算（在104）多个时间片段中的每个时间片段内的事件的多维定标（MDS）值。该MDS值的计算使用在多对事件之间所计算的相似性值（如在102所计算的）。MDS被用于对数据集的个体事件的相似性级别进行视觉化。MDS技术能够把数据点布置（在一个或多个维度中）而使得数据点之间的距离得以被保留。在一些示例中，由于事件之间的距离沿一个方向被确定，所以所计算的MDS值被认为是一维（1D）MDS值。1D MDS值的计算能够采用各种技术，包括在主要作者为Bryan F.J.的“Multivariate Statistical Methods: APrimer, Third Edition（多变量统计方法：入门，第三版）”（CRC 出版社, 2004, 第163 –172页）中所描述的那些技术。
一对事件的MDS值之间的差表明这对事件的相应相似性。在一些实施方式中，该时间片段是重叠的时间片段，其中与第二时间片段重叠的第一时间片段能够共享至少一个事件——换句话说，所共享的事件处于第一和第二时间片段二者之中。使用重叠的时间片段能够提高事件分享的稳定性。此外，如以下进一步讨论的，使用重叠的时间片段能够提供事件在不同时间片段中的时间关系的表示。
该过程生成（在106）时间图的图形视觉化，其中该时间图的第一轴（例如，水平轴）表示时间，而该时间图的第二轴（例如，垂直轴）则表示MDS值（或者更特别地，在一些示例中是1D的 MDS值）。该MDS值指示事件之间的相似性。时间图的一个示例是图5中所示出的时间图502。该时间图中的图形元素（例如，以点或圈的形式）表示相应事件。在后续讨论中，在时间图中提供的图形元素被称作“像素”，其中每个像素表示相应的事件。表示相应事件的每个像素在时间图中的位置基于该相应事件的相应1D MDS值以及相应时间值。
该时间图表示重叠的时间片段，其中该时间图中的每个时间片段包含表示事件的相应子集的像素。
图2图示了根据一些实施方式的对应于图1的过程的各种示例具体任务（1-5）。任务1构造出事件的输入数据表202，其中数据表202中的每一行对应于相应的不同事件（图2中所描绘的时间1、2、3），并且每一列则表示相应的不同维度（例如，图2中所描绘的A、B、C）。作为更为具体的示例，相应事件的维度可以包括时间、网际协议（IP）地址、端口、协议等。
图2中的任务2包括向数据表202中的相应维度A、B和C分配权重（204）。每个权重能够由用户所指定。分配给相应维度的权重能够基于能够指定哪些维度对于用户感兴趣的具体问题（例如，网络环境的安全攻击）更加相关的领域专家的知识。
任务3包括创建距离矩阵206，其中距离矩阵206包括对应于不同事件的多个行以及对应于不同事件的多个列。例如，行1对应于事件1（E1），行2对应于事件2（E2），等等。列1对应于事件1（E1），列2对应于事件2（E2），列3对应于事件3（E3），等等。
距离矩阵206中的每个单元包括一对事件之间的相似性值（根据等式1所计算的加权距离）。更一般地，一对事件之间的每个相似性值的计算基于将给相应维度所分配的权重纳入考虑的二进制比较。
任务4包括为事件的有序矩阵208定义时间片段210，事件在上述有序矩阵208中根据时间进行排序（例如，时间升序或时间降序）。如图2中所描绘的，每个事件片段210与至少一个其它时间片段210有所重叠。
任务5包括产生包括时间图212的图形视觉化，上述时间图212包括表示事件的像素，其中每个像素在时间图212中的位置基于相应像素所表示的事件的相应1D MDS值和时间值。由于时间图212相对于时间而绘制出了多个事件的1D MDS值，所以时间图212可以被称作1D MDS图。
如图2所示，时间图212被划分为多个重叠的时间片段，它们被表示为214-1、214-2、214-3、214-4等。在任务5中生成的时间图212中的重叠时间片段对应于任务4中所定义的重叠时间片段210。
每个时间片段214-i（i = 1, 2, . . .）包括表示相应时间片段中的事件的像素子集。由于事件片段214-1、214-2, . . . 是重叠的时间片段，所以时间片段能够共享至少一个事件。例如，时间片段214-1和214-2能够共享至少一个处于时间片段214-1和214-2之内的事件。注意到，多于两个的时间片段能够共享一个事件。
图3是允许用户为相应维度分配权重的示例图形用户界面（GUI）屏幕的示意图。在其它示例中，可以提供其它类型的用户界面以允许用户给维度分配权重。在GUI屏幕的维度加权区域302中列出了各种维度（例如，ART、Y、Z、MRT等）。每个所列出的维度旁是相应的用户可启动控制按钮304，该按钮能够向左或向右横向移动从而调节相对应维度的权重。如维度加权区域302的列306中所示，控制按钮304的移动使得权重被调节为0和1之间的值（或者一些其它值范围）。列306中针对每个维度的值基于相应控制按钮304的位置。
控制按钮304能够被用户调节从而向一些维度分配以较大权重而向其它维度分配以较低权重。
图3的GUI屏幕还包括数据预览区域308，该区域包括表示相应事件的条目310。每个条目310包括这些事件的各个维度的值。数据预览区域308中的每个条目310包括相应事件的相应维度的值。与较低权重相关联的某些维度（例如，Y和Z）可以与数据预览窗口308中的较低亮度相关联，如图3所示。
图4A 描绘了被划分到两个并不重叠的单独时间片段402-1和402-2之中的事件A、B、C、D、E和F，而使得时间片402-1包括事件A、B和 C的第一子集，而时间片402-2则包括事件D、E和F的第二子集，其中该第一和第二子集并不相交（在第一和第二子集中没有共同的事件）。
另一方面，图4B定义了事件A、B、C、D、E和F到重叠的时间片段404-1、404-2、404-3和404-4之中的划分。注意到，事件B和C由时间片段404-1和404-2所共享；换句话说，时间片段404-1和404-2中的每一个都包括事件B和C。注意到，事件C还由时间片段404-3所共享。事件C和D由时间片段404-2和404-3所共享。事件D和E由时间片段404-3和404-4所共享。
图5示出了包括根据相应事件的1D MDS值和时间值的事件的时间图502的示例图形视觉化，其中表示事件的像素位于时间图502中。沿时间轴的每个点表示相应的重叠时间片段。注意到，每个时间片段中的一对事件的1D MDS值的差表示这两个事件的相似性。
注意到，多个事件可能会共享共同的1D MDS值和时间值对，因此该多个事件将会被映射至时间图502中的相同位置。注意到，这种到相同位置的映射能够取决于事件及其值的总体分布。后续时间片段中被重复使用的事件的位置存在偏差是可能的。
在一些实施方式中，时间图502中的每个像素还能够具有与之相关联的亮度，其中像素的亮度表示与该像素相关联的事件密度。与像素相关联的事件密度指示该像素所表示的事件的数量（由于所述事件共享共同的1D MDS值和时间值对而映射至时间图502中的相同位置）。
时间图502中的虚圈表示相应的子空间或模式，其中每个子空间包括多个像素。作为示例，虚圈所指示的子空间能够对应于网络环境中所执行的端口扫描，其中每个子空间包括表示共享共同目的地IP地址但是不同端口的事件的像素。高亮的子空间允许便于检测用户可能感兴趣的具体模式。
图6A示出了在时间图504中的像素之间所绘制的互连线条（例如，506和508）。每条互连线条表示事件在时间片段之间的“移动”，并且提供时间片段之间的时间关系的表示。如以上所提到的，多个时间片段能够共享给定事件，并且因此表示该给定事件的像素会出现在多个时间片段中。例如，如图4B所示，事件C出现在时间片段404-1、404-2和404-3中，因此将绘制出互连线条来将时间片段404-1、404-2和404-3中表示事件C的像素互相连接。
将多个时间片段中的像素互相连接的互连线条因此指示该事件在多个时间片段中出现；这样的事件会看上去在多个时间片段之间“移动”。
由于事件和表示这样的事件的像素相对高的密度，在图6A的时间图504中所绘制的互连线条能够（至少部分）相互重叠。
图6B描绘了有关能够由图6A和6B中的互连线条所表示的问题的注释512、516和514。注释512指向互连线条的高度重叠，这意味着针对相应不同事件的互连线条在时间区域中几乎完全相互重叠。互连线条的高度重叠能够表明事件的一致性布局（这些相同的事件出现在相同的多个时间片段中）以及事件之间的高度相似性。
注释514指向（由注释512所指示的）在互连线条的高度重叠的时间区域之后所散开的互连线条。与注释512相关联的高度重叠之后的与注释514相关联的分散线条能够表明在该分散线条存在于其中的另一个时间区域期间可能已经发生了问题。
[01] 注释516指向互连线条的异常值集合，这可以指示另一个问题。
为了提供对时间图（诸如以上所讨论的任意时间图）所表示的事件的进一步分析，能够执行事件多样性的计算。事件多样性可以以每个维度为基础来计算。在一些示例中，能够使用香农（Shannon）熵技术来导出维度的多样性值。
事件子集的给定维度的值的多样性按如下计算：
Figure DEST_PATH_IMAGE005
（等式2）
其中
Figure DEST_PATH_IMAGE006
表示某个值i出现在事件子集的给定维度（例如，IP地址的某个值）内的概率。
较高的多样性指示给定维度的值更加分散开，并且因此可能更被用户感兴趣。
图7示出了包括时间图702和多样性矩阵704的示例图形视觉化。时间图702包括表示相应事件的像素（例如，点或圈）。多个时间片段706-1、706-2、706-3、706-4、706-5、706-5、706-6和706-7由时间图702所表示，其中每个时间片段包括表示相应事件子集的像素。
在多样性矩阵704中，表示了六个维度D1、D2、D3、D4、D5和D6（708）。每个维度的值的多样性被计算并且利用多样性矩阵704中的相应图形元素来表示。例如，对于时间片段706-1中所表示的事件，根据等式2针对相应的六个维度D1、D2、D3、D4、D5和D6计算六个多样性值。
这六个多样性值由多样性矩阵704中的相对应列（对应于时间片段706-1）中的相应图形元素710-1、710-2、710-3、710-4、710-5和710-6所表示。注意到，多样性矩阵704具有对应于时间图702中的七个时间片段的七个列。每一列包括表示相应时间片段中事件的相对应六个维度的多样性值的相应六个图形元素集。
图形元素710-1表示时间片段706-1中事件的维度D1的值的多样性，图形元素710-2表示时间片段706-1中事件的维度D2的值的多样性，图形元素710-3表示时间片段706-1中事件的维度D3的值的多样性，等等。
不同的多样性值由诸如范围712中所表示的那些的不同视觉指示符所表示。不同的视觉指示符可以是不同颜色、不同亮度、不同填充图案，或者所述前述的组合。例如，不同的多样性值能够由不同亮度的不同颜色来表示。因此，第一维度的较高多样性通过向多样性矩阵704中的第一图形元素分配以第一视觉指示符来表示，而第二维度的较低多样性则通过向多样性矩阵704中的第二图形元素分配以第二视觉指示符来表示。
维度的多样性能够近似按照相应时间片段中事件的1D MDS值的本征值排序，并且因此能够提供相应时间片段中事件的语义理解（semantic insight）。感兴趣的区域能够在视觉上被绘制，诸如具有在多样性矩阵704中的图形元素所指示的高多样性值的这样的区域。
在图7的图形视觉化中，能够应用涂刷和链接技术。涂刷是指选择事件的子集以便进行进一步分析，诸如时间图702所表示的事件的子集。该所选择的事件子集可以被链接至有关该子集的事件的进一步信息。例如，所选择的事件子集能够被链接至表示多样性矩阵704中的多样性值的相对应图形元素。注意到：所选择的事件子集能够小于给定时间片段中的所有事件，而使多样性值仅基于所选择事件子集来计算并视觉化。
作为示例，（与网络环境的安全攻击相关联的）端口扫描能够在（多样性矩阵的图形元素的诸如明亮颜色的第一视觉指示符所表示的）端口维度上具有高的多样性，而在（多样性矩阵的图形元素的诸如暗淡颜色的第二视觉指示符所表示的）IP地址维度上具有低的多样性。
图8示出了描绘时间图802的另一种示例图形视觉化，上述时间图802将事件的IDMDS值表示为时间的函数。在时间图802中，子空间804已经被识别（诸如，由用户利用诸如鼠标、键盘、触摸板、触摸屏等的输入设备所选择）。例如，图8提供了用户能够如何针对用户可能感兴趣的事件子空间执行搜索的示例。事件的子空间804可以包括彼此相似的事件。
图8的图形视觉化还包括文本区域806，该文本区域806包括子空间804中所表示的事件的详细信息。该详细信息可以包括子空间804中所表示事件的维度的数值。
使用根据一些实施方式的技术或机制，用户能够确定哪些事件随时间有所变化，并且还能够检测出事件行为随时间的复发模式或变化。
在一些实施方式中，用户能够将光标在时间图的像素上进行移动（例如，通过使用鼠标设备或其它输入设备将鼠标在像素上移动）从而查看光标已经被移动于其上的像素所表示的事件的详细信息。
用户能够复查事件的详细信息并且能够将该详细信息与另一个事件的详细信息进行比较。
而且，用户能够以迭代方式向维度分配不同的权重，定义不同的时间片段，并且使得生成相对应的视觉化从而在搜索感兴趣的模式或观察时改善对事件的分析。
图9是根据一些实施方式的示例计算机系统900的框图。计算机系统900包括物理或硬件处理器（或多个处理器）902。处理器能够包括微处理器、微控制器、可编程集成电路、可编程门阵列或者另一个物理处理设备。
（多个）处理器902能够耦合至非瞬态机器可读或计算机可读存储介质（或多个存储介质）904。存储介质（多个存储介质）904能够存储各种机器可读指令，包括维度权重选择指令906（用于选择分配至维度的权重）、相似性计算指令908（用于诸如根据等式1来计算相似性）、重叠时间片段选择指令910（用于选择重叠的时间片段）、1D MDS计算指令912（用于计算1D MDS值）和视觉化指令914（用于生成诸如以上所讨论的那些的各种视觉化）。维度权重选择指令906能够基于用户所输入的权重（诸如图2中的204或者响应于图3中的用户可启动控制按钮304的启动）来分配权重。相似性计算指令908能够按照102（例如，根据等式1）所执行的那样来计算相似性。重叠时间片段选择指令910能够选择重叠的时间片段，诸如根据图2中的任务4那样进行，从而例如产生如图4B所示的重叠的时间片段。1D MDS计算指令912能够诸如根据图1的任务104所执行的那样来计算1D MDS值。视觉化指令914能够生成诸如图5-8中所示的那些视觉化。
存储介质（或多个存储介质）904能够包括一种或多种不同形式的存储器，包括半导体存储器设备，诸如动态或静态随机访问存储器（DRAM或SRAM）、可擦除和可编程只读存储器（EPROM）、电可擦除和可编程只读存储器（EEPROM）和闪存；磁盘，诸如固定盘、软盘和可移除盘；包括磁带的其它磁性介质；诸如紧致盘（CD）或数字视频盘（DVD）的光学介质；或者其它类型的存储设备。注意到，以上所讨论的指令能够被提供在一个计算机可读或机器可读存储介质上，或者可替换地可以被提供在分布在具有多个节点的大型系统中的多个计算机可读或机器可读存储介质上。这样的一种或多种计算机可读或机器可读存储介质被认为是物品（或制造品）的一部分。物品或制造品可以是指任何所制造的单个组件或多个组件。一个或多个存储介质可以位于运行机器可读指令的机器之中，或者位于能够通过网络从其下载机器可读指令以便执行的远程站点。
在以上描述中，给出了很多细节以提供对这里所公开主题的理解。然而，实施方式可以在没有这些细节的情况下被实践。其它实施方式可以包括对以上所讨论细节的修改和变化。所附权利要求意在覆盖这样的修改和变化。

Claims (14)

1.一种用于分析事件的方法，包括：
由包括处理器的系统计算包括多个维度且发生在网络环境之内的事件之间的相似性，所述相似性基于事件之间的二进制比较以及基于维度的用户所指定的权重而计算；
由所述系统基于所计算的事件之间的相似性计算多维定标MDS值；
由所述系统生成所述事件的时间图的图形视觉化，所述时间图包括对应于时间的第一轴以及对应于所述MDS值的第二轴，并且所述时间图表示均包含表示所述事件的相应子集的像素的重叠时间片段；
针对每个所述重叠时间片段，计算所述多个维度中的每个维度的属性值的多样性，其中在所述多个维度的属性值的多样性的所有值中所述多个维度的给定维度的属性值的多样性的值越高就表明所述给定维度的属性值与其它属性值更为分散；以及
由所述系统从所述图形视觉化识别所述网络环境之内的安全性问题。
2.根据权利要求1所述的方法，其中MDS值包括一维MDS值。
3.根据权利要求1所述的方法，进一步包括：
在所述图形视觉化中提供相应的图形元素，所述图形元素表示所述重叠时间片段的给定时间片段中的多个维度的每个维度的多样性。
4.根据权利要求3所述的方法，进一步包括：
向相应图形元素分配不同的视觉指示符以表示不同的多样性值。
5.根据权利要求4所述的方法，其中向相应图形元素分配不同的视觉指示符包括分配不同亮度的不同颜色。
6.根据权利要求1所述的方法，进一步包括：
呈现列出多个维度的图形用户界面，所述图形用户界面包括用户能够启动从而为多个维度指定相应权重的控制元素；以及
响应于用户对所述控制元素的启动而设置多个维度的相应权重。
7.根据权利要求1所述的方法，其中计算所述相似性包括基于事件的各个维度之间的二进制比较来计算事件之间的加权距离。
8.根据权利要求7所述的方法，进一步包括生成具有对应于事件的行以及对应于事件的列的距离矩阵，其中所述距离矩阵的单元包括表示一对事件之间的加权距离的值。
9.根据权利要求1所述的方法，进一步包括：
定义重叠时间片段，其中所述重叠时间片段中的第一时间片段与所述重叠时间片段中的第二时间片段共享至少一个事件。
10.根据权利要求1所述的方法，进一步包括：
在执行定义重叠时间片段、分配用户所指定的权重和生成图形视觉化之间进行迭代。
11.一种用于分析事件的系统，包括：至少一个处理器，用于：
执行发生在网络环境之内的事件的多个维度的各个维度之间的二进制比较；
基于所述二进制比较并且基于分配给所述多个维度的用户所指定的权重而计算所述事件之间的相似性；
基于所计算的相似性来计算多维定标MDS值；
使得对包括表示多个重叠时间片段中的事件的像素的时间图进行图形视觉化，所述像素根据相对应事件的MDS值和时间值而被定位于所述时间图中；
使得对表示每个重叠时间片段中的事件的多个维度的多样性值的图形元素进行图形视觉化，其中在所述多个维度的属性值的多样性的所有值中所述多个维度的给定维度的属性值的多样性的值越高就表明所述给定维度的属性值与其它属性值更为分散；以及
从所述图形视觉化识别所述网络环境之内的安全性问题。
12.根据权利要求11所述的系统，进一步包括：
绘制互连线条以连接表示出现在多个重叠时间片段中的多个时间片段中的给定事件的像素。
13.根据权利要求11所述的系统，其中所述至少一个处理器用于接收用户对所述时间图中的像素子集的选择，并且将所选择的像素子集链接至有关所选择的像素子集所表示的事件的进一步信息。
14.一种存储指令的非瞬态机器可读存储介质，所述指令在执行时使得系统：
计算包括多个维度且发生在网络环境之内的事件之间的相似性，所述相似性基于事件的各个维度之间的多对多二进制比较以及基于所述维度的用户所指定的权重来计算；
定义重叠时间片段，每个时间片段包括相应的事件子集，其中所述重叠时间片段中的第一时间片段与所述重叠时间片段中的第二时间片段共享至少一个事件；
计算所述重叠时间片段中的每个时间片段内的事件的多维定标MDS值，所述计算基于所计算的事件之间的相似性；
生成所述事件的时间图的图形视觉化，所述时间图包括对应于时间的第一轴以及对应于所述MDS值的第二轴，并且所述时间图表示均包含表示所述事件的相应子集的像素的重叠时间片段；
针对每个所述重叠时间片段，计算所述多个维度的每个维度的属性值的多样性，其中在所述多个维度的属性值的多样性的所有值中所述多个维度的给定维度的属性值的多样性的值越高就表明所述给定维度的属性值与其它属性值更为分散；以及
从所述图形视觉化识别所述网络环境之内的安全性问题。
CN201580073281.6A 2015-03-17 2015-03-17 用于分析事件的系统和方法以及机器可读存储介质 Expired - Fee Related CN107209770B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/021012 WO2016148702A1 (en) 2015-03-17 2015-03-17 Pixel-based temporal plot of events according to multidimensional scaling values based on event similarities and weighted dimensions

Publications (2)

Publication Number Publication Date
CN107209770A CN107209770A (zh) 2017-09-26
CN107209770B true CN107209770B (zh) 2020-10-30

Family

ID=56919983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580073281.6A Expired - Fee Related CN107209770B (zh) 2015-03-17 2015-03-17 用于分析事件的系统和方法以及机器可读存储介质

Country Status (4)

Country Link
US (1) US10699449B2 (zh)
EP (1) EP3271829A4 (zh)
CN (1) CN107209770B (zh)
WO (1) WO2016148702A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190122122A1 (en) * 2017-10-24 2019-04-25 Tibco Software Inc. Predictive engine for multistage pattern discovery and visual analytics recommendations
US11003960B2 (en) 2018-05-25 2021-05-11 Microsoft Technology Licensing, Llc Efficient incident management in large scale computer systems
CN112269990A (zh) * 2020-10-15 2021-01-26 深信服科技股份有限公司 一种安全事件类型确定方法、设备、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013109731A1 (en) * 2012-01-18 2013-07-25 Singular Bio Inc. Methods for mapping bar-coded molecules for structural variation detection and sequencing
CN104067281A (zh) * 2011-11-28 2014-09-24 惠普发展公司，有限责任合伙企业 按多个时间维度的聚类事件数据

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1458492A (en) * 1991-03-04 1992-10-06 Inference Corporation Case-based reasoning system
US7659895B2 (en) 2001-05-18 2010-02-09 International Business Machines Corporation Multidimensional visualization method
US7017186B2 (en) 2002-07-30 2006-03-21 Steelcloud, Inc. Intrusion detection system using self-organizing clusters
US7103222B2 (en) 2002-11-01 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Pattern discovery in multi-dimensional time series using multi-resolution matching
US20040183518A1 (en) * 2003-03-19 2004-09-23 Weller Dennis J. Apparatus and method for clock recovery and eye diagram generation
US7181373B2 (en) 2004-08-13 2007-02-20 Agilent Technologies, Inc. System and methods for navigating and visualizing multi-dimensional biological data
US7523349B2 (en) * 2006-08-25 2009-04-21 Accenture Global Services Gmbh Data visualization for diagnosing computing systems
US7996374B1 (en) * 2008-03-28 2011-08-09 Symantec Corporation Method and apparatus for automatically correlating related incidents of policy violations
US20130290219A1 (en) * 2008-08-04 2013-10-31 Donald DuBois Method and apparatus for computing the relative risk of financial assets using risk-return profiles
US8302015B2 (en) * 2008-09-04 2012-10-30 Qualcomm Incorporated Integrated display and management of data objects based on social, temporal and spatial parameters
US20100076785A1 (en) 2008-09-25 2010-03-25 Air Products And Chemicals, Inc. Predicting rare events using principal component analysis and partial least squares
US20120123232A1 (en) 2008-12-16 2012-05-17 Kayvan Najarian Method and apparatus for determining heart rate variability using wavelet transformation
US8700638B2 (en) * 2011-03-08 2014-04-15 Libera, Inc. Computer-implemented weighted tree search to resolve variable name ambiguity
WO2013096558A2 (en) * 2011-12-22 2013-06-27 Saudi Arabian Oil Company Systems, machines, computer-implemented methods, and computer-readable media to provide decision-making model for outsourcing
JP5661727B2 (ja) * 2012-12-18 2015-01-28 ヤフー株式会社 情報配信装置、情報配信方法および情報配信プログラム
CN105408746A (zh) * 2013-02-28 2016-03-16 普罗吉涅股份有限公司 基于图像的人胚胎细胞分类的装置、方法和系统
US9754394B2 (en) * 2014-12-17 2017-09-05 Shimadzu Corporation Analytical data display processing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067281A (zh) * 2011-11-28 2014-09-24 惠普发展公司，有限责任合伙企业 按多个时间维度的聚类事件数据
WO2013109731A1 (en) * 2012-01-18 2013-07-25 Singular Bio Inc. Methods for mapping bar-coded molecules for structural variation detection and sequencing

Also Published As

Publication number Publication date
WO2016148702A1 (en) 2016-09-22
EP3271829A4 (en) 2018-12-19
US10699449B2 (en) 2020-06-30
CN107209770A (zh) 2017-09-26
US20170365079A1 (en) 2017-12-21
EP3271829A1 (en) 2018-01-24

Similar Documents

Publication Publication Date Title
US11670021B1 (en) Enhanced graphical user interface for representing events
US11868376B2 (en) Systems and methods for visualization of data analysis
US9972105B2 (en) Visualization of data clusters
US9591028B2 (en) Visualization and analysis of complex security information
Martins et al. Explaining Neighborhood Preservation for Multidimensional Projections.
Nouanesengsy et al. Adr visualization: A generalized framework for ranking large-scale scientific data using analysis-driven refinement
Koutra et al. Perseus: an interactive large-scale graph mining and visualization tool
Fujiwara et al. A visual analytics system for optimizing the performance of large-scale networks in supercomputing systems
CN107209770B (zh) 用于分析事件的系统和方法以及机器可读存储介质
US10929785B2 (en) System and method for multi-level data representation of object lifecycle
US9280612B2 (en) Visualizing a relationship of attributes using a relevance determination process to select from candidate attribute values
Fan et al. Robust multivariate control chart for outlier detection using hierarchical cluster tree in SW2
Evers et al. Uncertainty‐aware Visualization of Regional Time Series Correlation in Spatio‐temporal Ensembles
US20090058867A1 (en) Optimized Visualization And Analysis Of Tabular And Multidimensional Data
US11275485B2 (en) Data processing pipeline engine
Engle et al. Visualizing distributed memory computations with hive plots
US10642898B1 (en) Three-dimensional graph
US20150178339A1 (en) Interactive multi-dimensional nested table supporting scalable real-time querying of large data volumes
US20180011850A1 (en) Temporal-based visualized identification of cohorts of data points produced from weighted distances and density-based grouping
US20140214804A1 (en) Methods, apparatus and system for a multi-resolution visual crosstab
US11782576B2 (en) Configuration of user interface for intuitive selection of insight visualizations
CN117609412B (zh) 一种基于网络结构信息的空间对象关联方法及装置
Ngo et al. Visual analysis of governing topological structures in excitable network dynamics
Shou et al. Arachnid: generalized visual data cleaning
US20200320108A1 (en) Hexagon clustering of spatial data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201030

CF01 Termination of patent right due to non-payment of annual fee