CN115292720A - 一种漏洞扫描引擎评估方法、装置、设备及介质 - Google Patents

一种漏洞扫描引擎评估方法、装置、设备及介质 Download PDF

Info

Publication number
CN115292720A
CN115292720A CN202211187920.XA CN202211187920A CN115292720A CN 115292720 A CN115292720 A CN 115292720A CN 202211187920 A CN202211187920 A CN 202211187920A CN 115292720 A CN115292720 A CN 115292720A
Authority
CN
China
Prior art keywords
engine
target
performance data
vulnerability scanning
vulnerability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211187920.XA
Other languages
English (en)
Inventor
高学玲
赵博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN202211187920.XA priority Critical patent/CN115292720A/zh
Publication of CN115292720A publication Critical patent/CN115292720A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/566—Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Virology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种漏洞扫描引擎评估方法、装置、设备及介质，涉及系统安全防护领域，该方法包括：监测目标漏洞扫描引擎对目标系统的漏洞扫描过程，并按照预设资源收集频率收集目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数；基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵；基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果。本发明在系统漏洞扫描引擎性能测试过程中聚焦至系统漏洞扫描引擎的各个子过程，对其性能状态进行多方面评估，为性能改进与运行过程调整提供具有指导意义的结论。

Description

一种漏洞扫描引擎评估方法、装置、设备及介质
技术领域
本发明涉及系统安全防护，特别涉及一种漏洞扫描引擎评估方法、装置、设备及介质。
背景技术
现有系统漏洞扫描引擎性能评估方法局限于系统漏洞扫描引擎整体，依赖于测试场景，但测试环境无法覆盖实际用户场景，性能测试指标粒度粗，因此性能评估大多局限于性能摸底。并且现有系统漏洞扫描引擎性能测试时，大多关注系统性能指标，无法通过性能指标数据分析对性能进行有效评估。
由上可见，在系统漏洞扫描引擎性能评估过程中，如何进行更合理的引擎评估是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种漏洞扫描引擎评估方法、装置、设备及介质，能够在系统漏洞扫描引擎性能测试过程中聚焦至系统漏洞扫描引擎的各个子过程，对其性能状态进行多方面评估，为性能改进与运行过程调整提供具有指导意义的结论。其具体方案如下：
第一方面，本申请公开了一种漏洞扫描引擎评估方法，包括：
监测目标漏洞扫描引擎对目标系统的漏洞扫描过程，并按照预设资源收集频率收集所述目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数；
基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵；
基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果。
可选的，所述按照预设资源收集频率收集所述目标系统中的系统性能表现数据，包括：
按照预设资源收集频率收集所述目标系统的CPU使用率、LOAD数据、内存使用率、磁盘使用率、IO速率以及发包率；
基于所述CPU使用率、LOAD数据、内存使用率确定所述目标系统在预设时间段内对应的CPU使用率趋势、LOAD运行趋势、内存使用率趋势，并将所述CPU使用率趋势、LOAD运行趋势、内存使用率趋势、磁盘使用率、IO速率以及所述发包率作为所述目标系统中的系统性能表现数据。
可选的，按照预设资源收集频率收集所述目标漏洞扫描引擎的引擎流程表现数据，包括：
按照预设资源收集频率收集所述目标漏洞扫描引擎预设单位时间内资产探测输出的目标数、预设单位时间完成扫描的目标数、正在执行扫描的目标数、正在扫描的插件数、漏洞规则扫描耗时以及消息延迟数据。
可选的，所述基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵，包括：
基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数确定因素集，并生成从所述因素集到所述预设评估集的模糊矩阵；所述预设评估集中包含评估所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数的性能衡量级别。
可选的，所述基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数确定因素集，并生成从所述因素集到所述预设评估集的模糊矩阵，包括：
对各所述系统性能表现数据进行评估，以确定各所述系统性能表现数据对应的性能衡量级别，并基于所述系统性能表现数据对应的各性能衡量级别的数量占比确定所述系统性能表现数据对应的第一评判向量；
分别对所述引擎流程表现数据中所述单位时间内资产探测输出的目标数和预设单位时间完成扫描的目标数、所述正在执行扫描的目标数和所述正在扫描的插件数、所述漏洞规则扫描耗时和所述消息延迟数据进行评估，以确定所述引擎流程表现数据对应的第二评判向量；
基于所述当前已扫描漏洞数与预设基准漏洞数的平均值的偏差确定所述当前已扫描漏洞数对应的第三评判向量；
基于所述第一评判向量、所述第二评判向量以及所述第三评判向量生成模糊矩阵。
可选的，所述分别对所述引擎流程表现数据中所述单位时间内资产探测输出的目标数和预设单位时间完成扫描的目标数、所述正在执行扫描的目标数和所述正在扫描的插件数、所述漏洞规则扫描耗时和所述消息延迟数据进行评估，以确定所述引擎流程表现数据对应的第二评判向量，包括：
确定所述引擎流程表现数据中所述单位时间内资产探测输出的目标数和预设单位时间完成扫描的目标数之间的第一差值，并基于所述第一差值与预设的第一差值衡量规则确定所述引擎流程表现数据对应的第一衡量结果；
确定所述引擎流程表现数据中所述正在执行扫描的目标数和所述正在扫描的插件数与预设引擎扫描并发值之间的第二差值，并基于第二差值与预设的第二差值衡量规则确定所述引擎流程表现数据对应的第二衡量结果；
基于预设的消息总数量与延迟之间的相对数量关系，确定所述引擎流程表现数据中所述漏洞规则扫描耗时和所述消息延迟数据满足的第三衡量结果；
基于所述引擎流程表现数据的第一衡量结果、第二衡量结果以及第三衡量结果中各性能衡量级别的占比确定所述引擎流程表现数据对应的第二评判向量。
可选的，所述基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果，包括：
利用所述系统性能表现数据、所述引擎流程表现数据和所述当前已扫描漏洞数各自对应的预设权重生成权重向量；
利用所述权重向量与所述模糊矩阵进行合成运算，以确定综合评判向量；
对所述综合评判向量进行归一化，以生成归一化后向量；
基于最大隶属度原则，从所述归一化向量中确定隶属结果；
利用预设质量等级评价规则确定所述隶属结果对应的质量等级，并将所述质量等级确定为所述目标漏洞扫描引擎的质量等级评价结果。
第二方面，本申请公开了一种漏洞扫描引擎评估装置，包括：
数据收集模块，用于监测目标漏洞扫描引擎对目标系统的漏洞扫描过程，并按照预设资源收集频率收集所述目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数；
模糊矩阵生成模块，用于基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵；
性能评价模块，用于基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的漏洞扫描引擎评估方法。
第四方面，本申请公开了一种计算机存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的漏洞扫描引擎评估方法的步骤。
本申请通过监测目标漏洞扫描引擎对目标系统的漏洞扫描过程，并按照预设资源收集频率收集所述目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数；基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵；基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果。这样一来，本发明在对系统漏洞扫描引擎进行性能评估时，除了关注基础系统层面性能指标外，更聚焦系统漏洞扫描引擎流程，结合系统漏洞扫描结果，提供全面的评估指标，并结合模糊矩阵完成评估使得系统漏洞扫描性能评估结果更加客观，保证在正确结果的基础上加权评估，评估结果可信度更高，还可以实现性能测试过程中的实时评估，对及时精确发现引擎性能缺陷及为引擎优化向使引擎处于高效运行具有指导意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种漏洞扫描引擎评估方法流程图；
图2为本申请提供的一种性能评估过程示意图；
图3为本申请提供的一种系统漏洞扫描引擎扫描过程流程图；
图4为本申请提供的一种具体的漏洞扫描引擎评估方法流程图；
图5为本申请提供的一种漏洞扫描引擎评估装置结构示意图；
图6为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，系统漏洞扫描引擎性能测试时，大多关注系统性能指标，无法通过性能指标数据分析对性能进行有效评估。在本申请中，能够在系统漏洞扫描引擎性能测试过程中聚焦至系统漏洞扫描引擎的各个子过程，对其性能状态进行多方面评估，为性能改进与运行过程调整提供具有指导意义的结论。
本发明实施例公开了一种漏洞扫描引擎评估方法，参见图1所述，该方法包括：
步骤S11：监测目标漏洞扫描引擎对目标系统的漏洞扫描过程，并按照预设资源收集频率收集所述目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数。
本实施例中，为实现系统漏洞扫描引擎客观的性能评估，需要结合系统当前运行状态、引擎当前运行状态以及扫描结果的可靠性程度进行系统漏洞扫描引擎的全面评估。本实施例中采用目标系统中的系统性能表现数据作为系统当前运行状态的评估指标，反映系统漏洞扫描运行过程中对系统消耗的程度；采用目标漏洞扫描引擎的引擎流程表现数据作为引擎当前运行状态的评估指标，反映引擎在扫描过程中总体过程的顺畅程度；采用目标漏洞扫描引擎的当前已扫描漏洞数作为扫描结果的可靠性程度的评估指标，反映漏洞扫描引擎的可靠性。
本实施例中在，在对所述目标漏洞扫描引擎进行性能测试前，会先设置性能测试参数，包括并发设置（同时调度的目标数、同时调度的任务数）、扫描参数（端口探测参数、漏洞参数等），以此来控制性能测试场景。如图2所示为本发明提出的一种性能评估过程，即在进行性能测试配置后，进行性能指标收集，对指标进行分析后，对性能状态进行评估。
本实施例中会以预设资源收集频率收集所述目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数。在具体的实施过程中，所述预设资源收集频率可以记作n，单位为秒，优选为每五秒收集一次数据。
本实施例中，所述按照预设资源收集频率收集所述目标系统中的系统性能表现数据，可以包括：按照预设资源收集频率收集所述目标系统的CPU使用率、LOAD数据、内存使用率、磁盘使用率、IO(即Input/Output，输入/输出)速率以及发包率；基于所述CPU使用率、LOAD数据、内存使用率确定所述目标系统在预设时间段内对应的CPU使用率趋势、LOAD运行趋势、内存使用率趋势，并将所述CPU使用率趋势、LOAD运行趋势、内存使用率趋势、磁盘使用率、IO速率以及所述发包率作为所述目标系统中的系统性能表现数据。也即，本实施例中所述系统性能表现数据会基于目标系统的CPU使用率、LOAD数据、内存使用率、磁盘使用率、IO速率以及发包率确定。在具体的实施方式中，所述预设时间段可以记作m，用于规定固定时间范围内计算各资源消耗总体趋势，在具体实施时，m优选为最近1小时。可以理解的是，在所述预设时间段内资源消耗趋势波动越大，扫描过程出现问题概率越大，资源消耗趋势波动越小，那么出现问题的概率较低。除此之外，还会关注资源消耗上升的上限。
如图3所示，对于系统漏洞扫描引擎，通常扫描过程包括5个子过程，分别为资产探测（识别存活的目标及获取目标的端口、服务、操作系统信息）、扫描任务调度（负责对存活的目标进行扫描调度）、插件扫描（根据资产信息与漏洞库，组织要扫描的插件并执行插件扫描）、漏洞匹配（根据扫描结果信息对版本扫描类漏洞进行版本匹配）、漏洞上报（将插件直接检测到的漏洞信息与版本匹配的漏洞信信息进行上报）。
本实施例中，按照预设资源收集频率收集所述目标漏洞扫描引擎的引擎流程表现数据，可以包括：按照预设资源收集频率收集所述目标漏洞扫描引擎预设单位时间内资产探测输出的目标数、预设单位时间完成扫描的目标数、正在执行扫描的目标数、正在扫描的插件数、漏洞规则扫描耗时以及消息延迟数据。也即，本实施例中，所述引擎流程表现数据会基于目标漏洞扫描引擎预设单位时间内资产探测输出的目标数
Figure 567318DEST_PATH_IMAGE001
、预设单位时间完成扫描的目标数
Figure 750038DEST_PATH_IMAGE002
、正在执行扫描的目标数
Figure 467458DEST_PATH_IMAGE003
、正在扫描的插件数
Figure 269192DEST_PATH_IMAGE004
、漏洞规则扫描耗时
Figure 880302DEST_PATH_IMAGE005
以及消息延迟数据
Figure 109289DEST_PATH_IMAGE006
确定，其中，所述漏洞规则扫描耗时为每个目标资产探测完成至漏洞规则插件执行完成所需的耗时，所述消息延迟数据为上述各个子过程之间消息传递的延时，在执行过程中通过收集消息日志来分析延迟情况。具体实施过程中，在资产探测完成后发送一条消息，开始漏洞规则扫描时会记录收到消息，统计两条消息的时间差作为消息延迟。
由上述数据作为引擎流程表现数据可以评估系统漏洞扫描引擎在执行过程中，各个子过程的输出于下一子过程的处理能力是否匹配。通过这些数据可以反映出引擎流程的顺畅程度。
本实施例中，所述当前已扫描漏洞数也可以理解为目标漏洞扫描引擎在漏洞数据上报流程中当前已扫描结束并成功上报的漏洞总数，可以记作
Figure 907481DEST_PATH_IMAGE007
。系统漏洞扫描引擎的最终目的是进行漏洞扫描，所以评估的前提是扫描结果正常，当扫描结果出现较大波动时，扫描的过程可以定性为不可靠，其他指标数据的表现意义会降低。
步骤S12：基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵。
在对系统漏洞扫描引擎进行性能评估时，需要从多个方面做出客观全面的评价，但是实际性能评估过程中同时具有定性和定量的评估指标数据，模糊分析可以将定性分析和定量分析结合起来，因此本发明使用模糊评判矩阵的方法进行系统漏洞扫描引擎性能状态评估。
步骤S13：基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果。
本实施例中，目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数三种数据所起作用不同，综合评估依赖于与各因素所起作用，因此本实施例中需要确定各因素的权重，结合权重与模糊矩阵对目标漏洞扫描引擎进行加权评估，并最终确定目标漏洞扫描引擎的质量等级评价结果。
本实施例中通过监测目标漏洞扫描引擎对目标系统的漏洞扫描过程，并按照预设资源收集频率收集所述目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数；基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵；基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果。这样一来，本发明在对系统漏洞扫描引擎进行性能评估时，除了关注基础系统层面性能指标外，更聚焦系统漏洞扫描引擎流程，结合系统漏洞扫描结果，提供全面的评估指标，并结合模糊矩阵完成评估使得系统漏洞扫描性能评估结果更加客观，保证在正确结果的基础上加权评估，评估结果可信度更高，还可以实现性能测试过程中的实时评估，对及时精确发现引擎性能缺陷及为引擎优化向使引擎处于高效运行具有指导意义。
图4为本申请实施例提供的一种具体的漏洞扫描引擎评估方法流程图。参见图4所示，该方法包括：
步骤S21：监测目标漏洞扫描引擎对目标系统的漏洞扫描过程，并按照预设资源收集频率收集所述目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数。
其中，关于步骤S21的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S22：基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数确定因素集，并生成从所述因素集到所述预设评估集的模糊矩阵；所述预设评估集中包含评估所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数的性能衡量级别。
在具体的实施方式中，所述因素集可以记为
Figure 512906DEST_PATH_IMAGE008
，其中，
Figure 712943DEST_PATH_IMAGE009
分别为所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数；所述预设评估集可以记为
Figure 112831DEST_PATH_IMAGE010
，在优选的实施方式中，可以根据评价结果分为A(好)、B(良好)、C(差)3个性能衡量级别。
本实施例中，所述基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数确定因素集，并生成从所述因素集到所述预设评估集的模糊矩阵，可以包括：对各所述系统性能表现数据进行评估，以确定各所述系统性能表现数据对应的性能衡量级别，并基于所述系统性能表现数据对应的各性能衡量级别的数量占比确定所述系统性能表现数据对应的第一评判向量；分别对所述引擎流程表现数据中所述单位时间内资产探测输出的目标数和预设单位时间完成扫描的目标数、所述正在执行扫描的目标数和所述正在扫描的插件数、所述漏洞规则扫描耗时和所述消息延迟数据进行评估，以确定所述引擎流程表现数据对应的第二评判向量；基于所述当前已扫描漏洞数与预设基准漏洞数的平均值的偏差确定所述当前已扫描漏洞数对应的第三评判向量；基于所述第一评判向量、所述第二评判向量以及所述第三评判向量生成模糊矩阵。
在具体的实施方式中，第一评判向量
Figure 601581DEST_PATH_IMAGE011
由系统性能表现数据确定，系统资源消耗 趋势的可以从整体上反映当前基础系统的运行状态，根据系统资源消耗，可以对系统漏洞 扫描引擎对资源消耗进行评估，理想情况为资源消耗充分但不过度，整个过程平稳持续运 行。若每5s收集一次CPU使用率、LOAD、内存、磁盘使用率、发包速率、IO速率，观察指定时间 段内各个参数的趋势，当趋势在可控范围内（不超过80%）时，整体趋势比较平稳或者处于适 当范围内的波动时，为表现良好；当出现持续增长、或者超过80%时，任务表现不理想；根据 各个指标的良好状态总体评估，比如CPU表现好、内存表现好、LOAD良好、IO速率好、磁盘较 差，发包率表现较差，那么表现良好的有3/6=50%，表现良好的为1/6=17%，表现较差的为2/6 =33%，评分
Figure DEST_PATH_IMAGE013A
= [0.5,0.17, 0.33]。
在具体的实施方式中，第二评判向量
Figure 720017DEST_PATH_IMAGE014
由引擎流程表现数据确定，具体地，本实施例中，所述分别对所述引擎流程表现数据中所述单位时间内资产探测输出的目标数和预设单位时间完成扫描的目标数、所述正在执行扫描的目标数和所述正在扫描的插件数、所述漏洞规则扫描耗时和所述消息延迟数据进行评估，以确定所述引擎流程表现数据对应的第二评判向量，可以包括：确定所述引擎流程表现数据中所述单位时间内资产探测输出的目标数和预设单位时间完成扫描的目标数之间的第一差值，并基于所述第一差值与预设的第一差值衡量规则确定所述引擎流程表现数据对应的第一衡量结果；确定所述引擎流程表现数据中所述正在执行扫描的目标数和所述正在扫描的插件数与预设引擎扫描并发值之间的第二差值，并基于第二差值与预设的第二差值衡量规则确定所述引擎流程表现数据对应的第二衡量结果；基于预设的消息总数量与延迟之间的相对数量关系，确定所述引擎流程表现数据中所述漏洞规则扫描耗时和所述消息延迟数据满足的第三衡量结果；基于所述引擎流程表现数据的第一衡量结果、第二衡量结果以及第三衡量结果中各性能衡量级别的占比确定所述引擎流程表现数据对应的第二评判向量。
具体地，因素集中
Figure 774561DEST_PATH_IMAGE015
的评价分根据
Figure 814192DEST_PATH_IMAGE016
、
Figure 259080DEST_PATH_IMAGE002
、
Figure 268624DEST_PATH_IMAGE003
、
Figure 318620DEST_PATH_IMAGE004
、
Figure 184945DEST_PATH_IMAGE005
以及
Figure 320391DEST_PATH_IMAGE017
来确定，
Figure 195943DEST_PATH_IMAGE016
和
Figure 100445DEST_PATH_IMAGE002
反映当前流程的输出效率，对引擎扫描流程来讲二者值更接近，表明总体流程更顺畅，否则相对降低的值对应的子过程存在堆积可能，
Figure 403251DEST_PATH_IMAGE003
和
Figure 760414DEST_PATH_IMAGE018
反映当前流程正在运行的状态，实际值与引擎调度控制的最大并发值越接近，表明流程运行状态较优，
Figure 174078DEST_PATH_IMAGE005
根据漏洞规则扫描耗时的统计，可以发现漏洞规则原因对性能影响的程度，在性能优化时，可针对性进行优化，
Figure 260982DEST_PATH_IMAGE017
根据各个子过程之间的消息记录，分析目前消息通道的顺畅程度，可以发现消息通道之间的问题对性能的影响。即所述
Figure 610055DEST_PATH_IMAGE019
具体分为三个层面：
a.资产输出趋势与完成扫描目标数。当资产输出趋势于完成目标数（指定时间段，比如每5min）趋势一致，差值越小，表明当前资产探测阶段与漏洞扫描阶段的速度相当，流程越顺畅，性能表现就越好；
b.正在扫描目标数与正在扫描插件数，体现的是引擎的并发扫描能力，当正在扫描目标数和正在扫描插件数接近于引擎设置的并发值时表明当前并发控制合理，当偏离设置的并发控制值较大时，表明当前并发控制不合理，性能表现不好；
c.漏洞规则耗时与消息延迟，从消息消费的角度分析当前是否存在消息同步的问题，通常情况了下每1W条消息，消息延迟不得大与5s，否则存在延迟问题，需要调整各个过程消费消息的机制，比如增加并发。
评分时，从以上三个维度评估，根据各个维度的表现进行打分，根据各个评估，分别进行当前的评估，比如在一种可能的实施方式中，资产输出趋势与完成目标数完全一致，那么评估评估为好；当资产输出趋势远慢于完成目标数趋势或完成目标数趋势远慢于资产输出趋势时，评估为差；当资产输出趋势与完成目标数趋势不完全一致，在一定的范围内时，评估为良好。最终根据三个维度的评分为好、良好、差的比例确定最终评分取值。若评分结果为三者均为好，那么
Figure 579148DEST_PATH_IMAGE019
为[1,0,0]；如果三者均为良好，
Figure 203027DEST_PATH_IMAGE019
为[0,1,0]，如果评分结果为好、良好、差，那么
Figure 82122DEST_PATH_IMAGE019
为[0.33,0.33,0.33]。
在具体的实施方式中，第三评判向量
Figure 726730DEST_PATH_IMAGE020
由当前已扫描漏洞数确定根据扫描结果与基准扫描数据的平均值的偏差进行打分确定，因素集中
Figure 58485DEST_PATH_IMAGE021
的评价分根据目标平均漏洞数与多次扫描后扫描结果确认后的基准数据进行对比，偏差在阈值范围内，可信度高，偏差在阈值范围内可信度低。
在本实施例中的具体实施方式中，对于第1个评价指标
Figure 813951DEST_PATH_IMAGE022
，比如系统性能表现，它有m个评语(好，良好，差)，把对它的评判向量记为
Figure 281973DEST_PATH_IMAGE023
，依次类推，对于各个指标的评语分别为R2，R3，那么
Figure 97482DEST_PATH_IMAGE024
即为U到V的模糊关系矩阵，代表从因素到评语的关系。
由此可以得出各指标的模糊综合评判矩阵为
Figure 916534DEST_PATH_IMAGE025
步骤S23：利用所述系统性能表现数据、所述引擎流程表现数据和所述当前已扫描漏洞数各自对应的预设权重生成权重向量，并利用所述权重向量与所述模糊矩阵进行合成运算，以确定综合评判向量。
对于系统漏洞扫描引擎性能测试而言，系统性能表现数据、引擎流程表现数据，直接反映当前引擎运行的状态，因此影响性能的程度更大。扫描结果表现数据（也即上述当前已扫描漏洞数）为结果统计数据，具有对评估结果的可信度的评估，对实际性能影响程度较小。所以在实际实施过程中可以将权重优选为
Figure 475691DEST_PATH_IMAGE026
。
本实施例中，对权重以及模糊综合评判矩阵进行合成运算，得出综合评判结果为：
Figure 798219DEST_PATH_IMAGE027
。
步骤S24：对所述综合评判向量进行归一化，以生成归一化后向量，并基于最大隶属度原则，从所述归一化向量中确定隶属结果。
本实施例中，在最后的评判结果中几个评语的和可能不为1，即B中
Figure 519050DEST_PATH_IMAGE028
的和不为1，所以本实施例中先对评判结果进行归一化处理，最后根据最大隶属度原则，取数值最大的
Figure 356556DEST_PATH_IMAGE029
作为综合评判的隶属结果b。
步骤S25：利用预设质量等级评价规则确定所述隶属结果对应的质量等级，并将所述质量等级确定为所述目标漏洞扫描引擎的质量等级评价结果。
在具体的实施方式中，为了使结果基于满分10为标准，更直观地得出各模块的情况，如下表为本实施例中按分数值与等级的对应规则，在具体的实施过程中可参考下表确定所述目标漏洞扫描引擎的质量等级。
表1
等级 分值 分值确定
A 7<score<=10
Figure 125929DEST_PATH_IMAGE030
B 4<score<=7
Figure 834122DEST_PATH_IMAGE030
C 0<score<=4
Figure 725855DEST_PATH_IMAGE030
本实施例中，通过构建模糊矩阵并结合加权评估的方式完成对目标漏洞扫描引擎的评估使得系统漏洞扫描性能评估结果更加客观，保证在正确结果的基础上评估，评估结果可信度更高。另外，结合预设质量等级评价规则可直观确定当前目标漏洞扫描引擎的质量状态等级，最终可以实现性能测试过程中的实时评估，对及时精确发现引擎性能缺陷及为引擎优化向使引擎处于高效运行具有指导意义。
本发明的具体实施方式中，若在基于系统性能表现数据确定第一评判向量时，根 据CPU使用率趋势、LOAD运行趋势、内存使用率趋势、磁盘占用率、发包率、IO速率数据中，综 合评估后50%的性能指标处于良好的运行状态，40%的性能指标运行较好，10%的性能指标运 行状态较不理想时，则得到
Figure DEST_PATH_IMAGE031A
=[0.5,0.4,0.1]；根据引擎流程表现数据进行打分确定
Figure DEST_PATH_IMAGE033A
= [0.6,0.3,0.1]；根据当前已扫描漏洞数确定本次目标平均漏洞数的偏差小于10%，
Figure DEST_PATH_IMAGE035A
= [0.1,0.3,0.6]，则构建的模糊矩阵
Figure 863706DEST_PATH_IMAGE036
，然后根据权重结合模糊矩阵，得到综 合评判结果，即
Figure DEST_PATH_IMAGE037
，对[0.46,0.34,0.2]进行 归一化处理得到B=[0.46/(0.46+0.34+0.2), 0.34/(0.46+0.34+0.2),0.2/(0.46+0.2+ 0.34)]=[0.46,0.34,0.2]，取隶属度最大的值0.46作为综合评判结果，并根据表1提出的规 则确定分值为(7+10+4*8.5)/6-0.46=8.04，属于A级，评判结果为好。
参见图5所示，本申请实施例公开了一种漏洞扫描引擎评估装置，具体可以包括：
数据收集模块11，用于监测目标漏洞扫描引擎对目标系统的漏洞扫描过程，并按照预设资源收集频率收集所述目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数；
模糊矩阵生成模块12，用于基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵；
性能评价模块13，用于基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果。
本发明通过监测目标漏洞扫描引擎对目标系统的漏洞扫描过程，并按照预设资源收集频率收集所述目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数；基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵；基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果。这样一来，本发明在对系统漏洞扫描引擎进行性能评估时，除了关注基础系统层面性能指标外，更聚焦系统漏洞扫描引擎流程，结合系统漏洞扫描结果，提供全面的评估指标，并结合模糊矩阵完成评估使得系统漏洞扫描性能评估结果更加客观，保证在正确结果的基础上加权评估，评估结果可信度更高，还可以实现性能测试过程中的实时评估，对及时精确发现引擎性能缺陷及为引擎优化向使引擎处于高效运行具有指导意义。
进一步的，本申请实施例还公开了一种电子设备，图6是根据示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、显示屏24、输入输出接口25、通信接口26和通信总线27。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的漏洞扫描引擎评估方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口26能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及虚拟机数据223等，虚拟机数据223可以包括各种各样的数据。存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的漏洞扫描引擎评估方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，这里所说的计算机可读存储介质包括随机存取存储器(Random Access Memory，RAM)、内存、只读存储器(Read-OnlyMemory，ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、磁碟或者光盘或技术领域内所公知的任意其他形式的存储介质。其中，所述计算机程序被处理器执行时实现前述公开的漏洞扫描引擎评估方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的漏洞扫描引擎评估方法、装置、设备、存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种漏洞扫描引擎评估方法，其特征在于，包括：
监测目标漏洞扫描引擎对目标系统的漏洞扫描过程，并按照预设资源收集频率收集所述目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数；
基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵；
基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果。
2.根据权利要求1所述的漏洞扫描引擎评估方法，其特征在于，所述按照预设资源收集频率收集所述目标系统中的系统性能表现数据，包括：
按照预设资源收集频率收集所述目标系统的CPU使用率、LOAD数据、内存使用率、磁盘使用率、IO速率以及发包率；
基于所述CPU使用率、LOAD数据、内存使用率确定所述目标系统在预设时间段内对应的CPU使用率趋势、LOAD运行趋势、内存使用率趋势，并将所述CPU使用率趋势、LOAD运行趋势、内存使用率趋势、磁盘使用率、IO速率以及所述发包率作为所述目标系统中的系统性能表现数据。
3.根据权利要求1所述的漏洞扫描引擎评估方法，其特征在于，按照预设资源收集频率收集所述目标漏洞扫描引擎的引擎流程表现数据，包括：
按照预设资源收集频率收集所述目标漏洞扫描引擎预设单位时间内资产探测输出的目标数、预设单位时间完成扫描的目标数、正在执行扫描的目标数、正在扫描的插件数、漏洞规则扫描耗时以及消息延迟数据。
4.根据权利要求3所述的漏洞扫描引擎评估方法，其特征在于，所述基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵，包括：
基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数确定因素集，并生成从所述因素集到所述预设评估集的模糊矩阵；所述预设评估集中包含评估所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数的性能衡量级别。
5.根据权利要求4所述的漏洞扫描引擎评估方法，其特征在于，所述基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数确定因素集，并生成从所述因素集到所述预设评估集的模糊矩阵，包括：
对各所述系统性能表现数据进行评估，以确定各所述系统性能表现数据对应的性能衡量级别，并基于所述系统性能表现数据对应的各性能衡量级别的数量占比确定所述系统性能表现数据对应的第一评判向量；
分别对所述引擎流程表现数据中所述单位时间内资产探测输出的目标数和预设单位时间完成扫描的目标数、所述正在执行扫描的目标数和所述正在扫描的插件数、所述漏洞规则扫描耗时和所述消息延迟数据进行评估，以确定所述引擎流程表现数据对应的第二评判向量；
基于所述当前已扫描漏洞数与预设基准漏洞数的平均值的偏差确定所述当前已扫描漏洞数对应的第三评判向量；
基于所述第一评判向量、所述第二评判向量以及所述第三评判向量生成模糊矩阵。
6.根据权利要求5所述的漏洞扫描引擎评估方法，其特征在于，所述分别对所述引擎流程表现数据中所述单位时间内资产探测输出的目标数和预设单位时间完成扫描的目标数、所述正在执行扫描的目标数和所述正在扫描的插件数、所述漏洞规则扫描耗时和所述消息延迟数据进行评估，以确定所述引擎流程表现数据对应的第二评判向量，包括：
确定所述引擎流程表现数据中所述单位时间内资产探测输出的目标数和预设单位时间完成扫描的目标数之间的第一差值，并基于所述第一差值与预设的第一差值衡量规则确定所述引擎流程表现数据对应的第一衡量结果；
确定所述引擎流程表现数据中所述正在执行扫描的目标数和所述正在扫描的插件数与预设引擎扫描并发值之间的第二差值，并基于第二差值与预设的第二差值衡量规则确定所述引擎流程表现数据对应的第二衡量结果；
基于预设的消息总数量与延迟之间的相对数量关系，确定所述引擎流程表现数据中所述漏洞规则扫描耗时和所述消息延迟数据满足的第三衡量结果；
基于所述引擎流程表现数据的第一衡量结果、第二衡量结果以及第三衡量结果中各性能衡量级别的占比确定所述引擎流程表现数据对应的第二评判向量。
7.根据权利要求1至6任一项所述的漏洞扫描引擎评估方法，其特征在于，所述基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果，包括：
利用所述系统性能表现数据、所述引擎流程表现数据和所述当前已扫描漏洞数各自对应的预设权重生成权重向量；
利用所述权重向量与所述模糊矩阵进行合成运算，以确定综合评判向量；
对所述综合评判向量进行归一化，以生成归一化后向量；
基于最大隶属度原则，从所述归一化向量中确定隶属结果；
利用预设质量等级评价规则确定所述隶属结果对应的质量等级，并将所述质量等级确定为所述目标漏洞扫描引擎的质量等级评价结果。
8.一种漏洞扫描引擎评估装置，其特征在于，包括：
数据收集模块，用于监测目标漏洞扫描引擎对目标系统的漏洞扫描过程，并按照预设资源收集频率收集所述目标系统中的系统性能表现数据、所述目标漏洞扫描引擎的引擎流程表现数据和当前已扫描漏洞数；
模糊矩阵生成模块，用于基于所述系统性能表现数据、所述引擎流程表现数据以及所述当前已扫描漏洞数生成模糊矩阵；
性能评价模块，用于基于所述模糊矩阵对所述目标漏洞扫描引擎的漏洞扫描过程进行加权评估，以确定所述目标漏洞扫描引擎的质量等级评价结果。
9.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的漏洞扫描引擎评估方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的漏洞扫描引擎评估方法。
CN202211187920.XA 2022-09-28 2022-09-28 一种漏洞扫描引擎评估方法、装置、设备及介质 Pending CN115292720A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211187920.XA CN115292720A (zh) 2022-09-28 2022-09-28 一种漏洞扫描引擎评估方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211187920.XA CN115292720A (zh) 2022-09-28 2022-09-28 一种漏洞扫描引擎评估方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115292720A true CN115292720A (zh) 2022-11-04

Family

ID=83833796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211187920.XA Pending CN115292720A (zh) 2022-09-28 2022-09-28 一种漏洞扫描引擎评估方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115292720A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106209829A (zh) * 2016-07-05 2016-12-07 杨林 一种基于告警策略的网络安全管理系统
US20210218765A1 (en) * 2020-01-09 2021-07-15 International Business Machines Corporation Advanced risk evaluation for servers
CN113221108A (zh) * 2021-05-28 2021-08-06 西安热工研究院有限公司 一种工控系统漏洞扫描工具综合评价方法
US20210312058A1 (en) * 2020-04-07 2021-10-07 Allstate Insurance Company Machine learning system for determining a security vulnerability in computer software

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106209829A (zh) * 2016-07-05 2016-12-07 杨林 一种基于告警策略的网络安全管理系统
US20210218765A1 (en) * 2020-01-09 2021-07-15 International Business Machines Corporation Advanced risk evaluation for servers
US20210312058A1 (en) * 2020-04-07 2021-10-07 Allstate Insurance Company Machine learning system for determining a security vulnerability in computer software
CN113221108A (zh) * 2021-05-28 2021-08-06 西安热工研究院有限公司 一种工控系统漏洞扫描工具综合评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QICONG WU ET AL.: "Research on Scoring Method of WEB Application Vulnerability Scanning Product Performance Test", 《2020 4TH ANNUAL INTERNATIONAL CONFERENCE ON DATA SCIENCE AND BUSINESS ANALYTICS》 *
顾韵华等: "基于熵权的Web应用安全模糊综合评估模型", 《南京信息工程大学学报(自然科学版)》 *

Similar Documents

Publication Publication Date Title
US7933878B2 (en) Assessing and managing operational risk in organizational operations
US20070174111A1 (en) Evaluating a performance of a customer support resource in the context of a peer group
US7925638B2 (en) Quality management in a data-processing environment
KR20180041174A (ko) 위험 평가 방법 및 시스템
US9235463B2 (en) Device and method for fault management of smart device
CN110322143A (zh) 模型实体化管理方法、装置、设备及计算机存储介质
CN117132391A (zh) 一种基于人机交互的授信审批方法与系统
CN110262955A (zh) 基于pinpoint的应用性能监控工具
CN113486118A (zh) 共识节点选取方法及装置
CN117675938A (zh) 电力人工智能模型线上调用方法及系统
CN115292720A (zh) 一种漏洞扫描引擎评估方法、装置、设备及介质
WO2011149608A1 (en) Identifying and using critical fields in quality management
CN117196630A (zh) 交易风险预测方法、装置、终端设备以及存储介质
CN116208516A (zh) 企业互联网专线感知评估方法、装置、设备及介质
CN115278563A (zh) 一种基于影响因子的短信通道智能选择方法和系统
WO2021073258A1 (zh) 基于情绪分析的任务跟催方法、装置、设备及存储介质
CN112988504A (zh) 一种报警策略的设定方法、装置、电子设备及存储介质
CN111127043A (zh) 信用评分方法、装置、计算机设备及存储介质
CN112488743A (zh) 一种满意度预测方法、网络设备及存储介质
CN109995618A (zh) 网络存活监控方法、装置、设备与计算机可读存储介质
CN117077149B (zh) 一种基于插件的自定义安全基线检查方法以及装置
CN113570333B (zh) 一种适用于集成的流程设计方法
CN116702121B (zh) 一种云桌面场景下增强访问控制安全性的方法
WO2024066331A1 (zh) 网络异常检测方法、装置、电子设备及存储介质
CN112929292A (zh) 基于机房对照的流量调度方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221104

RJ01 Rejection of invention patent application after publication