CN108604220A - 计算机网络建模 - Google Patents

Abstract

在一个一般方面中，公开了一种用于自动地检测计算机系统的特性的基于计算机的方法，所述计算机系统包括由数字通信网络连接的不同的运行的服务器。该方法包括通过数字通信网络在网络中的每个不同的目标服务器上运行资源标识代理、通过数字通信网络从代理接收针对目标服务器的机器可读网络接口信息，以及通过数字通信网络从代理接收关于目标服务器上存在的功能的机器可读信息。基于所接收的信息建立并存储计算机网络中的目标服务器之间的交互的机器可读模型，并且根据所存储的机器可读模型来检测计算机系统的特性。

Description

计算机网络建模

相关申请的交叉引用

本申请要求2015年8月19日提交的美国临时专利申请号62/207,369的优先权，其被通过引用结合于本文中。

技术领域

本发明涉及用于诸如通过建立并分析计算机网络的模型来分析此类网络的方法和装置。

背景技术

由一般每个运行一个操作系统以及多种其它软件应用的联网计算机组成的联网计算机系统现在普遍存在并且显著地被发现在企业和政府组织中。这些一般包括经由通信网络（诸如经由互联网协议（IP）网络）互连的计算机，诸如工作站和服务器。每个计算机都可以运行多种不同的程序并且这些程序可以经由网络彼此通信。但是随着这些系统在大小和范围上增加，一般跨越数十个或数百个服务器实例和数千个进程，完全理解它们变得越来越困难。

发明内容

在一个一般方面中，本发明以一种用于自动地检测计算机系统的特性的基于计算机的方法为特征，所述计算机系统包括由数字通信网络连接的不同的运行的服务器。该方法包括通过数字通信网络在网络中的每个不同的目标服务器上运行资源标识代理、通过数字通信网络从代理接收针对目标服务器的机器可读网络接口信息，以及通过数字通信网络从代理接收关于目标服务器上存在的功能的机器可读信息。基于所接收的信息建立并存储计算机网络中的目标服务器之间的交互的机器可读模型，并且根据所存储的机器可读模型来检测计算机系统的特性。

在优选实施例中，建立并存储机器可读模型的步骤可以包括存储并建立包括关于子系统和高级服务如何互连的信息的模型。接收关于目标服务器上存在的功能的信息的步骤可以包括接收关于服务器上存在的打开的文件、配置文件、操作系统文件、打开的套接字以及进程级信息的信息，其中接收针对目标服务器的机器可读网络接口信息的步骤包括接收针对目标服务器的IP地址。检测计算机系统的特性的步骤可以包括为计算机系统检测网络安全性、稳定性、可扩展性和/或部署特性。建立并存储模型的步骤可以建立并存储包括以下各项的模型：包含从代理导出的针对系统的进程级信息的进程层，包含从基本层导出的关于进程之间的通信的信息的连接层，以及包括从连接层导出的关于服务的信息的服务层。发送、接收和建立的步骤可以在包括虚拟化服务器和虚拟化通信层的计算机系统上操作。接收回复的步骤可以包括接收根据RDF资源发现模型所格式化的信息的步骤。该方法可以进一步包括基于模型来显示计算机系统的视觉表示的步骤。检测计算机系统的特性的步骤可以包括为在计算机系统中的服务器上可用的技术编目录（catalog）。该方法可以进一步包括在对计算机系统的架构的更新之后对运行和接收的步骤进行重复的步骤，并且进一步包括更新所存储的模型以反映计算机系统的经更新的架构的步骤。运行代理的步骤可以终止而不在服务器上留下任何存储信息。可以通过通用收集器（gatherer）和特定收集器来执行运行和接收的步骤。

在另一个一般方面中，本发明以一种包括可操作以在计算机系统服务器上运行且报告关于计算机系统服务器的信息的存储指令的代理为特征。该代理包括可操作以收集关于计算机系统服务器的网络接口的机器可读信息的网络接口收集器、可操作以收集关于计算机系统服务器上的文件的信息的文件信息收集器、可操作以收集关于计算机系统服务器上的进程的信息的进程信息收集器，以及可操作以通过通信网络向建模服务器报告来自网络接口收集器、文件信息收集器和进程信息收集器的结果的报告模块。在优选实施例中，代理可以使用脚本语言来实现。

在进一步的一般方面中，本发明以一种用于自动地检测计算机系统的特性的基于计算机的系统为特征，所述计算机系统包括由数字通信网络连接的多个不同的运行的服务器。该系统包括用于通过数字通信网络在网络中的多个不同的目标服务器中的每个上运行多个资源标识代理的部件、用于通过数字通信网络从代理接收针对目标服务器的机器可读网络接口信息的部件、用于通过数字通信网络从代理接收关于目标服务器上存在的功能的机器可读信息的部件、用于基于所接收的信息来建立并存储计算机网络中的目标服务器之间的交互的机器可读模型的部件，以及用于根据所存储的机器可读模型来检测计算机系统的特性的部件。

根据本发明的系统可以被设计成根据常常跨越数百个或数千个服务器（目标系统）的运行的复杂且分布式的软件系统而非侵入式且自动地建立模型。它们可以采用独特的方法来实现目标系统的各种方面的高保真模型，所述各种方面诸如真实网络拓扑、子系统如何互连、高级服务如何互连、一直到详细的进程级，其包括什么文件和套接字是打开的以及用于关键初始化和配置文件的元数据。

于是可以在各种相关应用中使用由根据本发明的系统创建的模型，所述相关应用诸如（i）目标系统的架构概述，（ii）包括各部分之间的不恰当连接或文件的不安全使用的安全风险的分析，（iii）包括潜在单点故障的稳定性/可扩展性的分析，以及（iv）生成适于公共或私有云中的现代部署场景的针对目标系统的流线型自动部署线束（harness）。

根据本发明的系统可以以关于允许组织以自动方式得到关于可扩展性、稳定性和安全性的精确定位问题，目标系统以及复杂软件系统的基础架构和拓扑并且还简化系统到公共或私有云中的更灵活且可扩展基础上的转变的此类方式来实现。并且那一切都可以从运行的目标系统导出而不需要任何安装。

根据本发明的系统可以提供胜过其中现有软件架构或系统文档常常过时或甚至不存在的现有技术网络管理程序的显著改进。在商业环境中使用此类现有技术系统常常导致：

● 保持IT操作工作人员在周围，仅为了关于他们碰巧内在化的软件系统的关键信息。这可能增加维护成本。

● 使得创建新的测试或QA环境是冗长乏味且有时不可能的任务。收集信息建立新环境可能耗费数月。

● 使得将系统移动到云解决方案是长期且昂贵的任务，常常跨越一年或更久。

● 不了解整个系统的安全漏洞及其可能导致安全缺口的组成和相互关联性。

● 不知道在系统中可能影响系统的可扩展性和稳定性二者的潜在瓶颈和单点故障存在于哪里。

● 系统中具有可以被清除的未使用的技术，增加了复杂性。

● 甚至不知道系统中正在使用什么技术。

可以将根据本发明的系统设计成解决这些种类的问题，如在下面更详细讨论的。

附图说明

图1是根据本发明的说明性模型建立和分析系统的框图；

图2是要通过图1的系统建模的说明性目标网络的框图；

图3是示出通用信息收集代理的部署的图2的目标网络的框图；

图4是示出如由通用信息收集代理检测的目标网络的进程层的图2的目标网络的框图；

图5是在通用信息收集代理的终止之后示出的图4的目标网络的框图；

图6是示出如由特定信息收集代理检测并且由进程连接器细化的目标网络的连接层的图2的目标网络的框图；

图7是示出如由特定信息收集代理检测并且由服务分析器细化的目标网络的服务层的图2的目标网络的框图；

图8是图示图1的系统在图2的目标网络上的操作的流程图；

图9A是针对附录I的元模型的连接层次（stratum）的语义图的可视化；

图9B是图9A的模型的上半部；

图9C是图9A的模型的下半部；

图10是针对附录I的元模型的连接层次的语义图的可视化；以及

图11是针对附录I的元模型的服务层次的语义图的可视化。

具体实施方式

参考图1和图2，根据本发明的模型建立和分析系统10包括信息收集子系统20，所述信息收集子系统20可以连接至包括多个计算机14a、14b……14n的运行的目标网络12。该信息收集子系统包括信息收集控制器22，所述信息收集控制器22负责在目标网络上的各种计算机上部署不同类型的信息收集器，并且基于将在下面更详细描述的元模型、使用返回的信息来在模型贮存器30中建立特定目标系统的层状模型。还提供模型细化子系统40来细化模型。并且提供模型分析子系统50来分析模型并且由此导出分析结果，诸如系统可视化54以及结果列表和/或用于修改系统的建议52。

可以使用数据库来实现模型贮存器30并且将其划分成三个部分。这些存储模型的三个部分，包括进程模型层32、连接模型层34和服务模型层36。模型细化子系统40包括进程连接器42和服务分析器44，其每个都可以细化模型。

在操作中，参考图1-8，信息收集子系统20接收关于目标网络12中的计算机的信息，诸如它们的网络地址以及对应的访问信息（步骤100）。在该实施例中，操作员手动地提供该信息，并且该信息包括参与执行目标系统（虚拟或非虚拟的）的所有机器的IP地址（虚拟或非虚拟的）并且还包括至SSH私有密钥文件的路径。这在操作员可以编辑的简单文本文件中提供。

信息收集子系统20然后通过发动信息收集控制器22（步骤102）而开始操作。如下面所讨论的，控制器可以被实现为触发所有动作并且向目标服务器发送代理的操作工作站计算机上执行的命令行工具。

控制器通过向SSH私有密钥文本文件中列出的机器14a、14b…… 14c中的每个发送通用收集器21a、21b…… 21c（步骤104）而启动。每一寻找的信息项（诸如进程、文件等）发送一个通用收集器。这些通用收集器优选地被实现为Python或外壳脚本。

通用收集器21a、21b…… 21c然后收集通用数据（步骤106）并将原始输出发送回到信息收集控制器（步骤108）。在目标机器上的几分钟的低负荷之后，这些然后优选地消逝（die）而没有在任何目标机器上留下痕迹（步骤110）。通用收集器发现运行的进程连同文件和套接字，以及硬件信息。这可以包括几万或几十万个进程、文件和套接字。

控制器中的通用分析器然后分析来自通用收集器的原始输出，从而产生进程层的图段，其被添加至模型数据库（步骤112）。该层包含与服务器、文件系统和进程二者有关的低级概念。这是当分析在系统中涉及的各个服务器时创建的层。

控制器然后向SSH私有密钥文本文件中列出的每个机器发送特定收集器（步骤114）。每一依照被分析的服务所寻找的信息项，发送一个特定收集器。该特定收集器从脚本收集（步骤116）原始输出并将其发送回去（步骤118），在这之后它们消逝并且没有留下痕迹（步骤120）。由对应的特定分析器来分析来自特定收集器的原始输出（步骤122），从而产生进程层和服务层二者的图段，其被添加至模型数据库。服务层向模型添加服务以及服务内的角色，并且将它们耦合至各种服务器上的进程和文件。角色的两个典型示例是主设备和从设备。当应对服务集群时，该层给出系统的高级视图，作为互连服务和服务实例。

进程连接器42检查（go over）进程层，使用网络适配器数据来使用高级启发法解析套接字所使用的所有地址（步骤124）。将该信息添加至模型的连接层，使得它包含完全解析的网络地址以及基于此类已解析地址的进程之间的连接。这包括有效连接和潜在连接二者。从解析针对服务的配置文件获得潜在连接。

服务分析器44然后可以使用与进程的开始命令和文件匹配的模式，以将它们连接至服务层中的服务（步骤126）。系统使用高级启发法来识别许多进程和文件之中的服务。系统本身支持最常见的服务，但是还提供SDK，从而使得能实现新服务的添加。受支持的一些常见服务包括MySQL、MongoDB、Apache服务器和NGINX。

控制器还可以部署定制的收集器26连同其它，或者在它们自己的单独通路中部署定制的收集器26。这些可以被配置成在特定目标网络中检索特定类型的信息。它们可以由目标网络的所有者来建立或者被针对目标网络的所有者而建立。

一旦模型完成，就可以对其进行分析（步骤128）。分析任务包括开发系统及其各种部分的可视化，诸如进程互连。该模型可以是静态的或交互式的，从而允许用户选择系统的方面来检查系统的具体部分或钻入系统的具体部分中。更详细的分析可以包括（i）目标系统的架构概述，（ii）包括各部分之间的不恰当连接或文件的不安全使用的安全风险的分析，（iii）包括潜在的单点故障的稳定性/可扩展性的分析，以及（iv）生成适于公共或私有云中的现代部署场景的针对目标系统的流线型自动部署线束。

系统可以帮助用户专注于模型的各部分上。其可以通过使用返回整个模型的子图的传递闭包的过滤器来提取模型的切片而实现这一点。这可以允许探索性用户界面以允许用户理解目标系统的具体部分。用户界面可以在三个维度上示出切片中的一些或系统中的全部，并且它还可以显示一系列切片以示出系统随时间过去的变化。在一个实施例中，使用查询语言来专注于模型的各部分上。

模型

系统10使用针对被称作目标模型的针对目标系统所生成的模型和描述在目标模型中出现的概念的元模型二者的语义图。形式主义来自于RDF，并且在该文档中用于描述元模型和目标模型的具体语言是Turtle，但是关键部分在于采用语义图而不是特别地采用RDF和Turtle。

元模型和目标模型二者都由三个层或层次组成，每个是一个语义图，但是被一起用作针对大部分应用的组合图：

1. 进程层——包含直接从服务器收集的信息，诸如进程、文件和套接字。

2. 连接层——保持相同或不同服务器上的通信进程之间的连接。

3. 服务层——显现从运行的进程和文件提取的高级服务；服务可以被分发和群集，并且具有多个角色，诸如主设备和从设备。

除了该层状模型之外，还存在用于特定应用目的（诸如使架构可视化）的其它导出图。那些导出图不需要是语义图。注意，服务器可以是物理机器、虚拟机或虚拟化容器，诸如Docker或Rocket容器。

以下部分描述前述三个层次中的每个。附录I中呈现了使用Turtle规范语言和RDF实体的每个层的形式规范。

进程层

该层包含与服务器、文件系统和进程二者有关的低级概念。这是当分析在系统中涉及的各个服务器时创建的层。

连接层

该层包含完全解析的网络地址以及基于此类已解析地址的进程之间的连接。它还使用基于文件的套接字来连接进程。

服务层

该层添加服务以及服务内的角色，并且将它们耦合至各种服务器上的进程和文件。角色的两个典型示例是主设备和从设备。当应对服务集群时，该层给出系统的高级视图，作为互连服务和服务实例。

附录I

元模型规范

基本（进程）层次的Turtle规范

#这是针对基本层次的元模型的语义图。

#注意：无论何时rdfs:domain被给定和rdfs:range被省略，

#将属性的范围隐式地假定成是rdfs:Literal；

#这是为了简化元模型的规范和描画！

# RDF 命名空间

#基本层次的概念

#枚举

#性质

#服务器（Server）的性质

#设备（Device）的性质

#网络适配器（NetworkAdapter）的性质

#注意：该包（bag）被假定成包含地址实体

#进程（Process）的性质

# 套接字（Socket）的性质

#地址（Address）的性质

#文件（File）的性质

#用户（User）的性质

#组（Group）的性质

基本层次的示意图

图9A-9C中示出的示意图是针对元模型的基本层次的语义图的可视化。

模型：

（未知的）

命名空间：

连接层次的Turtle规范

#这是针对连接层次的元模型的语义图。

#注意：无论何时rdfs:domain被给定和rdfs:range被省略，

#将属性的范围隐式地假定成是rdfs:Literal；

#这是为了简化元模型的规范和描画。

# RDF 命名空间

#连接层次所添加的是针对套接字的已解析地址的集合

#并且然后是此类地址之间的连接

#套接字可以具有许多已解析地址

#待办事项：考虑使用Bag而不是单独的属性

#连接的方向通常是从客户端至服务器

连接层次的示意图

图10中示出的示意图是针对元模型的连接层次的语义图的可视化。

模型：

（未知的）

命名空间：

服务层次的Turtle规范

#这是针对服务层次的元模型的语义图。

#注意：无论何时rdfs:domain被给定和rdfs:range被省略，

#将属性的范围隐式地假定成是rdfs:Literal；

#这是为了简化元模型的规范和描画！

# RDF 命名空间

#每个服务具有名称并且由角色组成，所述角色依次指向进程

服务层次的示意图

图11中示出的该示意图是针对元模型的服务层次的语义图的可视化。

模型：

（未知的）

命名空间：

上面描述的系统可以使用特殊用途硬件、在通用处理器上运行的软件或二者的组合进行操作。此外，虽然可以将系统分成图1中示出的模块系列，但是本领域普通技术人员将会认识到组合它们和/或将它们分开以实现不同的分解也是可能的。包括模型、收集器和分析器的系统的各部分的具体实现也可以根据多种因素而变化，所述多种因素包括模型的目标和被分析的目标系统的类型。

现在已经结合本发明的许多具体实施例描述了本发明。然而，所设想的如落入本发明的范围内的众多修改对本领域技术人员而言现在应当是显而易见的。因此，意图使本发明的范围仅由附加到其的权利要求书的范围来限制。此外，不应当将权利要求的陈述顺序解释成限制权利要求中的任何特定术语的范围。

所要求保护的是：

Claims (15)

1.一种用于自动地检测包括由数字通信网络连接的多个不同的运行的服务器的计算机系统的特性的基于计算机的方法，包括：

通过数字通信网络在网络中的多个不同的目标服务器中的每个上运行多个资源标识代理，

通过数字通信网络从代理接收针对目标服务器的机器可读网络接口信息，

通过数字通信网络从代理接收关于目标服务器上存在的功能的机器可读信息，

基于所接收的信息来建立并存储计算机网络中的目标服务器之间的交互的机器可读模型，以及

根据所存储的机器可读模型来检测计算机系统的特性。

2.根据权利要求1所述的方法，其中建立并存储机器可读模型的步骤包括存储并建立包括关于子系统和高级服务如何互连的信息的模型。

3.根据权利要求1所述的方法，其中接收关于目标服务器上存在的功能的信息的步骤包括接收关于服务器上存在的打开的文件、配置文件、操作系统文件、打开的套接字以及进程级信息的信息，并且其中接收针对目标服务器的机器可读网络接口信息的步骤包括接收针对目标服务器的IP地址。

4.根据权利要求1所述的方法，其中检测计算机系统的特性的步骤包括为计算机系统检测网络安全性、稳定性、可扩展性和/或部署特性。

5.根据权利要求1所述的方法，其中建立并存储模型的步骤建立并存储包括以下各项的模型：

进程层，其包含从代理导出的针对系统的进程级信息，

连接层，其包含从基本层导出的关于进程之间的通信的信息，以及

服务层，其包括从连接层导出的关于服务的信息。

6.根据权利要求1所述的方法，其中发送、接收和建立的步骤在包括虚拟化服务器和虚拟化通信层的计算机系统上操作。

7.根据权利要求1所述的方法，其中接收回复的步骤包括接收根据RDF资源发现模型所格式化的信息的步骤。

8.根据权利要求1所述的方法，进一步包括基于模型显示计算机系统的视觉表示的步骤。

9.根据权利要求1所述的方法，其中检测计算机系统的特性的步骤包括为在计算机系统中的服务器上可用的技术编目录。

10.根据权利要求1所述的方法，进一步包括在对计算机系统的架构的更新之后对运行和接收的步骤进行重复的步骤，并且进一步包括更新所存储的模型以反映计算机系统的经更新的架构的步骤。

11.根据权利要求1所述的方法，其中运行代理的步骤终止而不在服务器上留下任何存储信息。

12.根据权利要求1所述的方法，其中通过通用收集器和特定收集器来执行运行和接收的步骤。

13.一种包括可操作以在计算机系统服务器上运行且报告关于计算机系统服务器的信息的存储指令的代理，包括：

网络接口收集器，其可操作以收集关于计算机系统服务器的网络接口的机器可读信息，

文件信息收集器，其可操作以收集关于计算机系统服务器上的文件的信息，

进程信息收集器，其可操作以收集关于计算机系统服务器上的进程的信息，以及

报告模块，其可操作以通过通信网络向建模服务器报告来自网络接口收集器、文件信息收集器和进程信息收集器的结果。

14.根据权利要求15所述的装置，其中代理使用脚本语言来实现。

15.一种用于自动地检测包括由数字通信网络连接的多个不同的运行的服务器的计算机系统的特性的基于计算机的系统，包括：

用于通过数字通信网络在网络中的多个不同的目标服务器中的每个上运行多个资源标识代理的部件，

用于通过数字通信网络从代理接收针对目标服务器的机器可读网络接口信息的部件，

用于通过数字通信网络从代理接收关于目标服务器上存在的功能的机器可读信息的部件，

用于基于所接收的信息来建立并存储计算机网络中的目标服务器之间的交互的机器可读模型的部件，以及

用于根据所存储的机器可读模型来检测计算机系统的特性的部件。