CN116527536B - 一种基于平行仿真的测试评估方法、装置及系统 - Google Patents
一种基于平行仿真的测试评估方法、装置及系统 Download PDFInfo
- Publication number
- CN116527536B CN116527536B CN202310477009.0A CN202310477009A CN116527536B CN 116527536 B CN116527536 B CN 116527536B CN 202310477009 A CN202310477009 A CN 202310477009A CN 116527536 B CN116527536 B CN 116527536B
- Authority
- CN
- China
- Prior art keywords
- scene
- test
- simulation
- data
- test evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 133
- 238000011156 evaluation Methods 0.000 title claims abstract description 109
- 238000004088 simulation Methods 0.000 title claims abstract description 88
- 238000004458 analytical method Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000007547 defect Effects 0.000 claims abstract description 19
- 238000010276 construction Methods 0.000 claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims description 24
- 230000003068 static effect Effects 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000007812 deficiency Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011076 safety test Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Abstract
本发明提供了一种基于平行仿真的测试评估方法、装置及系统，该方法包括：获取测试评估任务；分别执行真实场景下的所述测试评估任务和仿真场景下的所述测试评估任务，并采集对应场景下的数据；将真实场景下所采集的第一数据和仿真场景下所采集的第二数据，进行对比分析，得到分析结果；基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新。本发明可以持续有效地改进网络靶场的场景构建，以及提供真实系统/环境无法进行穷尽的策略组合，用于优化现有真实系统。
Description
技术领域
本发明涉及网络安全技术领域，尤其涉及一种基于平行仿真的测试评估方法、装置及系统。
背景技术
平行仿真是一项计算机仿真技术，是平行系统理论在计算机仿真领域中的应用，旨在利用复杂系统仿真建模理论，构建与实际系统相对应的人工系统，通过实际系统与人工系统的相互联接，在人工系统中进行计算实验，通过人工系统与实际系统的平行运行、演化逼近和反馈控制，进而对实际系统进行模拟、分析和预测。
网络靶场是可现实复杂网络环境的再现，通过整合虚拟化、云计算、SDN及网络编排技术快速完成仿真场景的构建，并可被应用到各种业务中。网络靶场通过采用平行仿真技术，实现系统的建模构建。
随着国家对网络安全的日益重视，关键基础设施一旦出现安全问题将产生严重的后果，安全保障并非处于静止状态，随着业务变化、版本更新动态因素影响，呈现的复杂性极大增加。原有的基于网络靶场的以静态仿真为核心的虚拟场景构建不能满足动态环境下的安全评估要求。当前存在的问题：1、缺少可行的网络靶场的持续改进、迭代的，实现网络靶场动态评估方法；2、关键基础设备安全测试评估风险高，不能做非验证性的/暴力性的测试，需有相应的网络靶场场景持续性的测试，得出诸多结果，并不断演变反向指导现实；3、关键基础设备的特性差异导致基于仿真的建模构建越来越复杂，成本越来越高，网络靶场中场景的构建也逐步采用虚拟场景和实体设备搭配方式进行构建，需要从测试角度进行平行仿真的构建。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于平行仿真的测试评估方法、装置及系统。
本发明的一个方面，提供了一种基于平行仿真的测试评估方法，所述方法包括：
获取测试评估任务；
分别执行真实场景下的所述测试评估任务和仿真场景下的所述测试评估任务，并采集对应场景下的数据；
将真实场景下所采集的第一数据和仿真场景下所采集的第二数据，进行对比分析，得到分析结果；
基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新。
进一步地，所述获取测试评估任务之前，还包括：配置测试评估任务；
所述测试评估任务，包括：测试对象、测试范围、测试目的、所需资源、时间计划、执行规划、采集数据及监控内容。
进一步地，所述获取测试评估任务之前，还包括：对测试环境/数据进行定义；
所述对测试环境/数据进行定义，包括：对虚拟化场景元素的描述、构建方式、网络、事件进行定义，生成目标定义，基于所述目标定义对数据采集内容、采集形式及数据接收方式进行说明。
进一步地，所述获取测试评估任务，包括：根据预先获取的场景库、资源库、测试库及镜像库，构建所需的场景，并配置场景所需的配置文件，在仿真系统中部署数据采集手段和策略，所述配置文件包括：网络、路由及地址。
进一步地，所述第一数据，包括：节点的网络流量、访问日志记录、设备监控记录和告警日志；
所述第二数据，包括：预设的系统的运行监控数据；
所述运行监控数据，包括：磁盘、内存、CPU及网络资源利用情况，预设的程序及文件目录的变更情况和系统的日志监控输出内容。
进一步地，所述基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新，还包括：基于所述分析结果，对预设的测试范围、资源和测试的强度进行发散，得到与发散方式对应的因素，并对所述因素进行聚合分析。
进一步地，所述不足，包括：静态仿真程度上的不足、动态上的不足及物理硬件的不足。
进一步地，所述基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新之后，还包括：输出评估结果；
所述评估结果，包括：优化后的网络靶场的场景定义特性、场景定义单元、场景所需的业务背景流量及调度生成策略、现有的真实世界业务弹性/网络弹性的评估结果、演进建议及重点方向。
本发明的第二方面，提供了一种基于平行仿真的测试评估装置，所述装置包括：
获取模块，用于获取测试评估任务；
采集模块，用于分别执行真实场景下的所述测试评估任务和仿真场景下的所述测试评估任务，并采集对应场景下的数据；
对比分析模块，用于将真实场景下所采集的第一数据和仿真场景下所采集的第二数据，进行对比分析，得到分析结果；
更新模块，用于基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新。
本发明的第三方面，提供了一种基于平行仿真的测试评估系统，所述系统包括：
场景定义模块，用于通过接口获取网络靶场中仿真场景的定义，所述场景定义，包括：资源定义、资源特性和使用方式；
策略配置模块，用于对数据采集范围、内容及方式进行配置，对网络靶场中场景的自定义访问、流量进行调度；
数据接收模块，用于接收真实场景下所采集的第一数据和仿真场景下所采集的第二数据；
综合测试模块，用于对网络靶场中场景内数据进行集中分析和对真实场景数据进行集中分析，提供多维度的可视化展示；
评估管理模块，用于输出可视化报告。
本发明实施例提供的一种基于平行仿真的测试评估方法、装置及系统，可以持续有效地改进网络靶场的场景构建，以及提供真实系统/环境无法进行穷尽的策略组合，用于优化现有真实系统。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的一种基于平行仿真的测试评估方法的流程图；
图2为本发明实施例提供的另一种基于平行仿真的测试评估方法的流程图；
图3为本发明实施例提供的一种基于平行仿真的测试评估装置的结构示意图；
图4为本发明实施例提供的一种基于平行仿真的测试评估系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
图1示意性示出了本发明一个实施例的基于平行仿真的测试评估方法的流程图。参照图1，本发明实施例的基于平行仿真的测试评估方法具体包括以下步骤：
S11、获取测试评估任务；
S12、分别执行真实场景下的所述测试评估任务和仿真场景下的所述测试评估任务，并采集对应场景下的数据；
S13、将真实场景下所采集的第一数据和仿真场景下所采集的第二数据，进行对比分析，得到分析结果；
S14、基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新。
进一步地，所述获取测试评估任务之前，还包括：配置测试评估任务；
所述测试评估任务，包括：测试对象、测试范围、测试目的、所需资源、时间计划、执行规划、采集数据及监控内容。
进一步地，所述获取测试评估任务之前，还包括：对测试环境/数据进行定义；
所述对测试环境/数据进行定义，包括：对虚拟化场景元素的描述、构建方式、网络、事件进行定义，生成目标定义，基于所述目标定义对数据采集内容、采集形式及数据接收方式进行说明。
进一步地，所述获取测试评估任务，包括：根据预先获取的场景库、资源库、测试库及镜像库，构建所需的场景，并配置场景所需的配置文件，在仿真系统中部署数据采集手段和策略，所述配置文件包括：网络、路由及地址。
进一步地，所述第一数据，包括：节点的网络流量、访问日志记录、设备监控记录和告警日志；
所述第二数据，包括：预设的系统的运行监控数据；
所述运行监控数据，包括：磁盘、内存、CPU及网络资源利用情况，预设的程序及文件目录的变更情况和系统的日志监控输出内容。
本实施例中，预设时间段内，例如真实系统/场景下，通过网络靶场进行虚拟仿真；测试的数据来源于真实业务场景的各节点数据流量；通过网络靶场进行构建，并执行回放真实业务场景的各节点数据流量，收集数据；例如虚拟仿真场景下，通过网络靶场进行构建，采用网络安全渗透人员进行安全测试和验证，执行危险性操作，对网络靶场中虚拟仿真场景/系统进行监控、数据分析；同时将该操作内容同步提供，在真实系统/环境中进行受控的有限测试和验证，并采集数据。
进一步地，所述基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新，还包括：基于所述分析结果，对预设的测试范围、资源和测试的强度进行发散，得到与发散方式对应的因素，并对所述因素进行聚合分析。
本实施例中，真实场景和仿真场景存在主体相似度高的特性，在相同的测试任务下，所采集的数据具有高的相似度，可以少进行预处理，进行比对和分析，得出偏差大的数据内容，并对该数据进行深入的分析，找出和该偏差数据相关联的虚拟仿真场景/系统的定义，仿真场景在构建时，在设定的测试范围、资源、测试的强度均进行发散，对同一任务下不同虚拟场景的数据进行对比分析，找出与发散方式相关的因素，并对因素进行聚合分析。
进一步地，所述不足，包括：静态仿真程度上的不足、动态上的不足及物理硬件的不足。
本实施例中，动态上的不足，包括：背景流量、业务访问、业务数据的缺少；物理硬件的不足为必要的特征量的缺少。
进一步地，所述基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新之后，还包括：输出评估结果；
所述评估结果，包括：优化后的网络靶场的场景定义特性、场景定义单元、场景所需的业务背景流量及调度生成策略、现有的真实世界业务弹性/网络弹性的评估结果、演进建议及重点方向。
本发明实施例提供的一种基于平行仿真的测试评估方法，可以持续有效地改进网络靶场的场景构建，以及提供真实系统/环境无法进行穷尽的策略组合，用于优化现有真实系统。
图2示意性示出了本发明一个实施例的另一种基于平行仿真的测试评估方法的流程图。参照图2，本发明实施例的另一种基于平行仿真的测试评估方法具体包括：
配置测试评估任务；对测试环境/数据进行定义；通过网络靶场生成测试环境和仿真系统，在仿真系统中部署数据采集手段和策略；分别执行真实场景下的测试评估任务和仿真场景下的测试评估任务，并采集对应场景下的数据；将真实场景下所采集的第一数据和仿真场景下所采集的第二数据，进行对比分析，得到分析结果；基于分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新；如果没有不足，则判断是否完成任务评估；如果完成任务评估，则输出评估结果，否则重新配置测试评估任务。
本发明实施例提供的另一种基于平行仿真的测试评估方法，可以持续有效地改进网络靶场的场景构建，以及提供真实系统/环境无法进行穷尽的策略组合，用于优化现有真实系统。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图3示意性示出了本发明一个实施例的基于平行仿真的测试评估装置的结构示意图。参照图3，本发明实施例的基于平行仿真的测试评估装置具体包括：
获取模块301，用于获取测试评估任务；
采集模块302，用于分别执行真实场景下的所述测试评估任务和仿真场景下的所述测试评估任务，并采集对应场景下的数据；
对比分析模块303，用于将真实场景下所采集的第一数据和仿真场景下所采集的第二数据，进行对比分析，得到分析结果；
更新模块304，用于基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新。
本发明实施例提供的一种基于平行仿真的测试评估装置，可以持续有效地改进网络靶场的场景构建，以及提供真实系统/环境无法进行穷尽的策略组合，用于优化现有真实系统。
图4示意性示出了本发明一个实施例的基于平行仿真的测试评估系统的结构示意图。参照图4，本发明实施例的基于平行仿真的测试评估系统具体包括：
场景定义模块，用于通过接口获取网络靶场中仿真场景的定义，所述场景定义，包括：资源定义、资源特性定义和使用方式定义；
策略配置模块，用于对数据采集范围、内容及方式进行配置，对网络靶场中场景的自定义访问、流量进行调度；
数据接收模块，用于接收真实场景下所采集的第一数据和仿真场景下所采集的第二数据；
综合测试模块，用于对真实场景下所采集的第一数据进行集中分析和对仿真场景下所采集的第二数据进行集中分析，提供多维度的可视化展示；
评估管理模块，用于输出可视化报告。
本发明实施例提供的一种基于平行仿真的测试评估系统，可以持续有效地改进网络靶场的场景构建，以及提供真实系统/环境无法进行穷尽的策略组合，用于优化现有真实系统。
此外，本发明实施例还提供了一种电子设备，该设备包括存储控制器，所述存储控制器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述基于平行仿真的测试评估方法的步骤。例如图1所示的步骤S11～S14。或者，所述处理器执行所述计算机程序时实现上述基于平行仿真的测试评估装置实施例中各模块/单元的功能，例如图3所示的获取模块301、采集模块302、对比分析模块303以及更新模块304。
本发明实施例提供的一种基于平行仿真的测试评估方法、装置及系统，可以持续有效地改进网络靶场的场景构建，以及提供真实系统/环境无法进行穷尽的策略组合，用于优化现有真实系统。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于平行仿真的测试评估方法，其特征在于，所述方法包括：
获取测试评估任务；
分别执行真实场景下的所述测试评估任务和仿真场景下的所述测试评估任务，并采集对应场景下的数据；
将真实场景下所采集的第一数据和仿真场景下所采集的第二数据，进行对比分析，得到分析结果；
基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新；
其中：
所述第一数据，包括：节点的网络流量、访问日志记录、设备监控记录和告警日志；
所述第二数据，包括：预设的系统的运行监控数据；
所述运行监控数据，包括：磁盘、内存、CPU及网络资源利用情况，预设的程序及文件目录的变更情况和系统的日志监控输出内容；
所述基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新，还包括：基于所述分析结果，对预设的测试范围、资源和测试的强度进行发散，得到与发散方式对应的因素，并对所述因素进行聚合分析；
所述不足，包括：静态仿真程度上的不足、动态上的不足及物理硬件的不足。
2.根据权利要求1所述的方法，其特征在于，所述获取测试评估任务之前，还包括：配置测试评估任务；
所述测试评估任务，包括：测试对象、测试范围、测试目的、所需资源、时间计划、执行规划、采集数据及监控内容。
3.根据权利要求1所述的方法，其特征在于，所述获取测试评估任务之前，还包括：对测试环境/数据进行定义；
所述对测试环境/数据进行定义，包括：对虚拟化场景元素的描述、构建方式、网络、事件进行定义，生成目标定义，基于所述目标定义对数据采集内容、采集形式及数据接收方式进行说明。
4.根据权利要求1所述的方法，其特征在于，所述获取测试评估任务，包括：根据预先获取的场景库、资源库、测试库及镜像库，构建所需的场景，并配置场景所需的配置文件，在仿真系统中部署数据采集手段和策略，所述配置文件包括：网络、路由及地址。
5.根据权利要求1所述的方法，其特征在于，所述基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新之后，还包括：输出评估结果；
所述评估结果，包括：优化后的网络靶场的场景定义特性、场景定义单元、场景所需的业务背景流量及调度生成策略、现有的真实世界业务弹性/网络弹性的评估结果、演进建议及重点方向。
6.一种基于平行仿真的测试评估装置，其特征在于，所述装置包括：
获取模块，用于获取测试评估任务；
采集模块，用于分别执行真实场景下的所述测试评估任务和仿真场景下的所述测试评估任务，并采集对应场景下的数据；
对比分析模块，用于将真实场景下所采集的第一数据和仿真场景下所采集的第二数据，进行对比分析，得到分析结果；
更新模块，用于基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新；
其中：
所述第一数据，包括：节点的网络流量、访问日志记录、设备监控记录和告警日志；
所述第二数据，包括：预设的系统的运行监控数据；
所述运行监控数据，包括：磁盘、内存、CPU及网络资源利用情况，预设的程序及文件目录的变更情况和系统的日志监控输出内容；
所述更新模块，通过如下方式基于所述分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新：基于所述分析结果，对预设的测试范围、资源和测试的强度进行发散，得到与发散方式对应的因素，并对所述因素进行聚合分析；
所述不足，包括：静态仿真程度上的不足、动态上的不足及物理硬件的不足。
7.一种基于平行仿真的测试评估系统，其特征在于，所述系统包括：
场景定义模块，用于通过接口获取网络靶场中仿真场景的定义，所述场景定义，包括：资源定义、资源特性和使用方式；
策略配置模块，用于对数据采集范围、内容及方式进行配置，对网络靶场中场景的自定义访问、流量进行调度；
数据接收模块，用于接收真实场景下所采集的第一数据和仿真场景下所采集的第二数据；
综合测试模块，用于对网络靶场中场景内数据进行集中分析和对真实场景数据进行集中分析，提供多维度的可视化展示；
评估管理模块，用于输出可视化报告；
其中：
所述第一数据，包括：节点的网络流量、访问日志记录、设备监控记录和告警日志；
所述第二数据，包括：预设的系统的运行监控数据；
所述运行监控数据，包括：磁盘、内存、CPU及网络资源利用情况，预设的程序及文件目录的变更情况和系统的日志监控输出内容；
所述综合测试模块，还用于基于分析结果，得到仿真系统/场景所存在的不足，通过人工/系统策略，对测试评估任务进行更新；具体用于基于所述分析结果，对预设的测试范围、资源和测试的强度进行发散，得到与发散方式对应的因素，并对所述因素进行聚合分析；
所述不足，包括：静态仿真程度上的不足、动态上的不足及物理硬件的不足。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310477009.0A CN116527536B (zh) | 2023-04-28 | 2023-04-28 | 一种基于平行仿真的测试评估方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310477009.0A CN116527536B (zh) | 2023-04-28 | 2023-04-28 | 一种基于平行仿真的测试评估方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116527536A CN116527536A (zh) | 2023-08-01 |
| CN116527536B true CN116527536B (zh) | 2024-04-09 |
Family
ID=87405944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310477009.0A Active CN116527536B (zh) | 2023-04-28 | 2023-04-28 | 一种基于平行仿真的测试评估方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116527536B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455228A (zh) * | 2023-09-28 | 2024-01-26 | 永信至诚科技集团股份有限公司 | 一种网络风险识别能力的测评方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163259A (zh) * | 2011-03-29 | 2011-08-24 | 交通运输部公路科学研究所 | 行人微观交通流仿真模型的系统评估方法 |
| CN111159833A (zh) * | 2018-10-22 | 2020-05-15 | 百度在线网络技术（北京）有限公司 | 无人驾驶车辆算法的评估的方法和装置 |
| CN111737127A (zh) * | 2020-06-19 | 2020-10-02 | 北京百度网讯科技有限公司 | 用于测试地图服务的方法和装置 |
| CN112448857A (zh) * | 2021-02-01 | 2021-03-05 | 博智安全科技股份有限公司 | 靶场的构建方法、装置、设备及存储介质 |
| CN113901730A (zh) * | 2021-12-10 | 2022-01-07 | 北京永信至诚科技股份有限公司 | 一种基于平行仿真的网络靶场构建方法和系统 |
| DE102020212921A1 (de) * | 2020-10-13 | 2022-04-14 | Volkswagen Aktiengesellschaft | Verfahren, Computerprogramm und Vorrichtung zum Bewerten einer Verwendbarkeit von Simulationsdaten |
| CN115758782A (zh) * | 2022-11-29 | 2023-03-07 | 重庆长安汽车股份有限公司 | 云仿真测试系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220078210A1 (en) * | 2015-10-28 | 2022-03-10 | Qomplx, Inc. | System and method for collaborative cybersecurity defensive strategy analysis utilizing virtual network spaces |
-
2023
- 2023-04-28 CN CN202310477009.0A patent/CN116527536B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163259A (zh) * | 2011-03-29 | 2011-08-24 | 交通运输部公路科学研究所 | 行人微观交通流仿真模型的系统评估方法 |
| CN111159833A (zh) * | 2018-10-22 | 2020-05-15 | 百度在线网络技术（北京）有限公司 | 无人驾驶车辆算法的评估的方法和装置 |
| CN111737127A (zh) * | 2020-06-19 | 2020-10-02 | 北京百度网讯科技有限公司 | 用于测试地图服务的方法和装置 |
| DE102020212921A1 (de) * | 2020-10-13 | 2022-04-14 | Volkswagen Aktiengesellschaft | Verfahren, Computerprogramm und Vorrichtung zum Bewerten einer Verwendbarkeit von Simulationsdaten |
| CN112448857A (zh) * | 2021-02-01 | 2021-03-05 | 博智安全科技股份有限公司 | 靶场的构建方法、装置、设备及存储介质 |
| CN113901730A (zh) * | 2021-12-10 | 2022-01-07 | 北京永信至诚科技股份有限公司 | 一种基于平行仿真的网络靶场构建方法和系统 |
| CN115758782A (zh) * | 2022-11-29 | 2023-03-07 | 重庆长安汽车股份有限公司 | 云仿真测试系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 情报驱动的平行仿真实体动态生成方法;周芳;楚威;丁冉;;系统工程与电子技术(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116527536A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8056046B2 (en) | Integrated system-of-systems modeling environment and related methods | |
| CN111124850A (zh) | Mqtt服务器性能测试方法、系统、计算机设备及存储介质 | |
| DE102019003851A1 (de) | Systeme und Verfahren zum automatischen Realisieren von Modellen zu Co-Simulation | |
| CN113010393A (zh) | 基于混沌工程的故障演练方法及装置 | |
| CN114503108A (zh) | 向经过训练的机器学习模型添加对抗鲁棒性 | |
| CN116527536B (zh) | 一种基于平行仿真的测试评估方法、装置及系统 | |
| US11790239B2 (en) | Deep learning testing | |
| DE102021123135A1 (de) | Leistungs- und upgrade-verwaltung für anlagegüter mit hilfe von digitalen zwillingen | |
| Tertilt et al. | Generic performance prediction for ERP and SOA applications | |
| US11303517B2 (en) | Software patch optimization | |
| Smetanin et al. | Modeling of distributed ledgers: Challenges and future perspectives | |
| CN114490375B (zh) | 应用程序的性能测试方法、装置、设备及存储介质 | |
| CN115048254A (zh) | 数据分配策略的仿真测试方法、系统、设备和可读介质 | |
| US20200387760A1 (en) | Decision boundary enhancement for learning models | |
| Melo et al. | Models for hyper-converged cloud computing infrastructures planning | |
| US20180060452A1 (en) | System and Method for Generating System Testing Data | |
| CN114338423A (zh) | 一种持续迭代的自动化网络靶标构建技术 | |
| US10459834B2 (en) | Run time and historical workload report scores for customer profiling visualization | |
| US11205092B2 (en) | Clustering simulation failures for triage and debugging | |
| CN116009889A (zh) | 深度学习模型的部署方法、装置、电子设备及存储介质 | |
| KR101335657B1 (ko) | 실시간 시뮬레이터와 시스템 스위칭을 이용한 대규모 ｄｃｓ 검증 장치 및 그 검증방법 | |
| US20180004629A1 (en) | Run time smf/rmf statistical formula methodology for generating enhanced workload data points for customer profiling visualization | |
| US20220067450A1 (en) | Determining system performance without ground truth | |
| Jones et al. | Evaluating emulation-based models of distributed computing systems | |
| CN114143235A (zh) | Nfv自动测试方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |