CN117170995B - 基于性能指标的干扰异常检测方法、装置、设备及介质 - Google Patents
基于性能指标的干扰异常检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117170995B CN117170995B CN202311443882.4A CN202311443882A CN117170995B CN 117170995 B CN117170995 B CN 117170995B CN 202311443882 A CN202311443882 A CN 202311443882A CN 117170995 B CN117170995 B CN 117170995B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- interval
- histogram
- probability density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000011156 evaluation Methods 0.000 claims abstract description 167
- 230000002159 abnormal effect Effects 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Complex Calculations (AREA)
Abstract
本申请涉及异常检测技术领域，揭示了一种基于性能指标的干扰异常检测方法、装置、设备及介质，所述方法包括：获取当前的性能指标以及历史直方图数据；根据HBOS算法和所述性能指标，生成目标直方图数据；根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据；基于所述目标评价数据确定所述性能指标是否异常。由于历史直方图数据是过去时间正常的性能指标生成的直方图数据，能很好体现目标直方图数据是否出现异常，故而通过历史直方图数据和目标直方图数据，得到能够正确反映目标直方图数据状态的目标评价数据，从而高效准确地根据目标评价数据确定性能指标是否异常。
Description
技术领域
本发明涉及异常检测技术领域，尤其涉及一种基于性能指标的干扰异常检测方法、装置、设备及介质。
背景技术
随着云计算技术的迅猛发展，企业和组织越来越倾向于将其应用部署在云平台上，以获得更大的灵活性、可扩展性和效率。然而，随着应用数量的增加和规模的扩大，云原生应用的部署和维护成本也逐渐成为一个挑战。为了应对这一挑战，应用混部技术逐渐崭露头角，为云原生应用的成本优化提供了新的解决方案。
然而,底层容器对系统各项资源的隔离相较于传统虚拟机来说偏弱，而同一台物理主机上部署多个应用多个容器，容器间的干扰无法避免。因此一旦高优先级别容器受到干扰而无法对服务质量做到保证，那混部场景下带来的灵活性和成本节省也失去了意义。由于不同应用容器间的相互影响以及差异化的特点，在混部场景下，如何高效准确的对性能指标进行异常检测成为亟待解决的问题。
发明内容
基于此，有必要针对现有技术中对性能指标进行异常检测不够高效准确的技术问题，提出了一种基于性能指标的干扰异常检测方法、装置、设备及介质。
第一方面，提供了一种基于性能指标的干扰异常检测方法，所述方法包括：
获取当前的性能指标以及历史直方图数据；
根据HBOS算法和所述性能指标，生成目标直方图数据；
根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据；
基于所述目标评价数据确定所述性能指标是否异常。
第二方面，提供了一种基于性能指标的干扰异常检测装置，所述装置包括：
获取模块，用于获取当前的性能指标以及历史直方图数据；
生成模块，用于根据HBOS算法和所述性能指标，生成目标直方图数据。
所述装置还包括：
评价模块，用于根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据；
异常模块，用于基于所述目标评价数据确定所述性能指标是否异常。
第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于性能指标的干扰异常检测方法的步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于性能指标的干扰异常检测方法的步骤。
本实施例提出的基于性能指标的干扰异常检测方法，通过获取当前的性能指标以及历史直方图数据，接着根据HBOS算法和所述性能指标，生成目标直方图数据，而后根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据，从而基于所述目标评价数据确定所述性能指标是否异常。由于历史直方图数据是过去时间正常的性能指标生成的直方图数据，能很好体现目标直方图数据是否出现异常，故而通过历史直方图数据和目标直方图数据，得到能够正确反映目标直方图数据状态的目标评价数据，从而高效准确地根据目标评价数据确定性能指标是否异常。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中基于性能指标的干扰异常检测方法的应用环境图；
图2为一个实施例中基于性能指标的干扰异常检测方法的流程图；
图3为一个实施例中基于性能指标的干扰异常检测装置的结构框图；
图4为一个实施例中计算机设备的结构框图；
图5为另一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于性能指标的干扰异常检测方法，可应用在如图1的应用环境中，其中，客户端110通过网络与服务端120进行通信。服务端120可以通过客户端110接收当前的性能指标以及历史直方图数据，接着根据HBOS算法和所述性能指标，生成目标直方图数据，而后根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据，从而基于所述目标评价数据确定所述性能指标是否异常。由于历史直方图数据是过去时间正常的性能指标生成的直方图数据，能很好体现目标直方图数据是否出现异常，故而通过历史直方图数据和目标直方图数据，得到能够正确反映目标直方图数据状态的目标评价数据，从而高效准确地根据目标评价数据确定性能指标是否异常。其中，客户端110可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。下面通过具体的实施例对本发明进行详细的描述。
请参阅图2所示，图2为本发明一实施例提供的基于性能指标的干扰异常检测方法的一个流程示意图，包括如下步骤：
步骤S101：获取当前的性能指标以及历史直方图数据；
其中，当前的性能指标可以是当前的CPU 利用率、CPI（Clock cycle PerInstruction）、缓存缺失，CPI是指CPI表示每条计算机指令执行所需的时钟周期。CPI通常用于衡量计算机性能，CPI取决于计算机组成和指令系统的结构。当前的性能指标还可以是内存指标，内存指标包括内存利用率等，当前的性能指标还可以是输入输出指标，输入输出指标可以是IOPS(Input/Output Operations Per Second)、系统平均吞吐量等。历史直方图数据是指采用HBOS算法，根据过去时间正常的性能指标生成的直方图数据。
步骤S102：根据HBOS算法和所述性能指标，生成目标直方图数据；
在本实施例中，目标直方图数据是指采用HBOS算法，根据当前的性能指标生成的直方图数据。目标直方图数据包括多个区间，在HBOS算法中，该区间也被称为桶。
在一种实现方式中，所述性能指标包括CPU指标、内存指标以及输入输出指标，所述目标直方图数据包括第一直方图数据、第二直方图数据和第三直方图数据，所述根据HBOS算法和所述性能指标，生成目标直方图数据的步骤，包括：
步骤S1021：根据HBOS算法，对所述CPU指标构建直方图，得到所述CPU指标对应的第一直方图数据；
步骤S1022：根据HBOS算法，对所述内存指标构建直方图，得到所述内存指标对应的第二直方图；
步骤S1023：根据HBOS算法，对所述输入输出指标构建直方图，得到所述输入输出指标对应的第三直方图。
步骤S103：根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据；
其中，历史直方图数据的区间与目标直方图数据的区间一一对应，作为一示例，目标直方图数据的区间有区间1、区间2以及区间3，历史直方图数据的区间有区间4、区间5以及区间6，区间1与区间4的区间宽度相同，例如区间1与区间4的区间宽度均是0-1，区间2与区间5的区间宽度相同，例如区间2与区间5的区间宽度均是1-2，区间3与区间6的区间宽度相同，例如区间3与区间6的区间宽度均是2-3。
比如，将目标直方图数据中的区间作为第一目标区间，根据第一目标区间的区间宽度、第一目标区间内数据点的数量以及各个第一目标区间内数据点的数量总和，确定各个概率密度，并确定历史直方图数据中第一目标区间对应的区间作为第二目标区间，再根据概率密度以及所述第二目标区间对应的历史密度概率，确定第四评价数据，最后将各个第四评价数据进行加权求和得到综合评价数据，该综合评价数据可以作为目标评价数据，其中，历史直方图数据中每个区间对应的历史密度概率可以根据历史直方图数据进行概率密度计算得到。
概率密度如下所示：
其中，w为第一目标区间的区间宽度、n为各个第一目标区间内数据点的数量总和、为第一目标区间内数据点的数量，/>是指第一目标区间，/>是指概率密度。
第四评价数据如下所示：
score=/>
其中，β是平滑因子，用于防止score过大，/>是指概率密度，Q/>是指第二目标区间对应的历史密度概率，score/>是指第四评价数据。
进一步地，一实施例中，所述第一直方图数据包括多个第一区间，所述第二直方图数据包括多个第二区间，所述第三直方图数据包括多个第三区间，所述根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据的步骤，包括：
步骤S1031：根据所述第一区间的区间宽度、所述第一区间内数据点的数量以及第一数据点总数量，确定第一概率密度，其中，所述第一数据点总数量为各个所述第一区间内数据点的数量之和；
具体地，将第一数据点总数量与第一区间的区间宽度进行乘法运算，得到第一乘法运算结果，并将第一区间内数据点的数量除以第一乘法运算结果，得到第一概率密度。
步骤S1032：根据所述第二区间的区间宽度、所述第二区间内数据点的数量以及第二数据点总数量，确定第二概率密度，其中，所述第二数据点总数量为各个所述第二区间内数据点的数量之和；
具体地，将第二数据点总数量与第二区间的区间宽度进行乘法运算，得到第二乘法运算结果，并将第二区间内数据点的数量除以第二乘法运算结果，得到第二概率密度。
步骤S1033：根据所述第三区间的区间宽度、所述第三区间内数据点的数量以及第三数据点总数量，确定第三概率密度，其中，所述第三数据点总数量为各个所述第三区间内数据点的数量之和；
具体地，将第三数据点总数量与第三区间的区间宽度进行乘法运算，得到第三乘法运算结果，并将第三区间内数据点的数量除以第三乘法运算结果，得到第三概率密度。
步骤S1034：基于所述第一概率密度、所述第二概率密度、所述第三概率密度以及所述历史直方图数据，确定所述目标评价数据。
进一步地，一实施例中，所述历史直方图数据包括第四直方图数据、第五直方图数据以及第六直方图数据，所述第四直方图数据是基于历史CPU指标构建的直方图数据，所述第四直方图数据的各个第四区间与各个所述第一区间一一对应,所述第五直方图数据是基于历史内存指标构建的直方图数据，所述第五直方图数据的各个第五区间与各个所述第二区间一一对应,所述第六直方图数据是基于历史输入输出指标构建的直方图数据，所述第六直方图数据的各个第六区间与各个所述第三区间一一对应,
所述基于所述第一概率密度、所述第二概率密度、所述第三概率密度以及所述历史直方图数据，确定所述目标评价数据的步骤，包括：
步骤S10341：根据所述第一概率密度以及第一历史概率密度，得到第一评价数据，其中，所述第一历史概率密度是所述第四直方图数据中所述第一区间对应的概率密度；
其中，所述第一历史概率密度是所述第四直方图数据中所述第一区间对应的概率密度，作为一示例，根据第一区间的区间宽度，在第四直方图数据中的各个第四区间中确定与第一区间的区间宽度相同的第四区间，作为第三目标区间，第三目标区间对应的概率密度即为第一历史概率密度。还需要说明的是，第四直方图数据中的各个第四区间对应的概率密度，可以根据第四直方图数据进行概率密度计算得到。第二历史概率密度、第三历史概率密度与第一历史概率密度类似，在此不在赘述说明。
比如，确定平滑因子与第一历史概率密度的和，作为第一数值，并确定平滑因子与第一概率密度的和，作为第二数值，将所述第二数值除以所述第一数值，得到第一评价数据。
步骤S10342：根据所述第二概率密度以及第二历史概率密度，得到第二评价数据，其中，所述第二历史概率密度是所述第五直方图数据中所述第二区间对应的概率密度；
比如，确定平滑因子与第二历史概率密度的和，作为第三数值，并确定平滑因子与第二概率密度的和，作为第四数值，将所述第四数值除以所述第三数值，得到第二评价数据。
步骤S10343：根据所述第三概率密度以及第三历史概率密度，得到第三评价数据，其中，所述第三历史概率密度是所述第六直方图数据中所述第三区间对应的概率密度；
比如，确定平滑因子与第三历史概率密度的和，作为第五数值，并确定平滑因子与第三概率密度的和，作为第六数值，将所述第六数值除以所述第五数值，得到第三评价数据。
步骤S10344：根据各个所述第一评价数据、各个所述第二评价数据以及各个所述第三评价数据，确定所述目标评价数据。
进一步地，一实施例中，所述根据各个所述第一评价数据、各个所述第二评价数据以及各个所述第三评价数据，确定所述目标评价数据的步骤包括：
步骤A,将各个所述第一评价数据进行加权求和，得到第一综合评价数据；
步骤B,将各个所述第二评价数据进行加权求和，得到第二综合评价数据；
步骤C,将各个所述第三评价数据进行加权求和，得到第三综合评价数据；
步骤D,根据所述第一综合评价数据、所述第二综合评价数据以及所述第三综合评价数据，确定所述目标评价数据。
进一步地，一实施例中，所述根据所述第一综合评价数据、所述第二综合评价数据以及所述第三综合评价数据，确定所述目标评价数据的步骤，包括：将所述第一综合评价数据、所述第二综合评价数据以及所述第三综合评价数据进行乘法运算，得到所述目标评价数据。
步骤S104：基于所述目标评价数据确定所述性能指标是否异常。
在本实施例中，可以通过目标评价数据与预设的阈值进行大小比较。作为一示例，若目标评价数据过小或者过大，均可确定性能指标出现异常。作为又一示例，若目标评价数据小于预设的最小阈值时，确定性能指标出现异常。
需要说明的是，在确定性能指标出现异常后，可以根据第一综合评价数据，第二综合评价数据、第三综合评价数据以及实时采集到的常规指标进行分析，定位异常或者干扰的源头。例如第二综合评价数据较低和内存利用率上也出现了异常，表明节点内存出现了干扰问题。根据干扰原因的定位，采取相应的措施，如资源重分配、容器压制迁移等，以减轻干扰并优化系统性能。
本实施例提出的基于性能指标的干扰异常检测方法，通过获取当前的性能指标以及历史直方图数据，接着根据HBOS算法和所述性能指标，生成目标直方图数据，而后根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据，从而基于所述目标评价数据确定所述性能指标是否异常。由于历史直方图数据是过去时间正常的性能指标生成的直方图数据，能很好体现目标直方图数据是否出现异常，故而通过历史直方图数据和目标直方图数据，得到能够正确反映目标直方图数据状态的目标评价数据，从而高效准确地根据目标评价数据确定性能指标是否异常。
请参阅图3所示，在一实施例中，提供一种基于性能指标的干扰异常检测装置，所述装置包括：
获取模块，用于获取当前的性能指标以及历史直方图数据；
生成模块，用于根据HBOS算法和所述性能指标，生成目标直方图数据；
评价模块，用于根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据；
异常模块，用于基于所述目标评价数据确定所述性能指标是否异常。
本实施例提出的基于性能指标的干扰异常检测方法，通过获取当前的性能指标以及历史直方图数据，接着根据HBOS算法和所述性能指标，生成目标直方图数据，而后根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据，从而基于所述目标评价数据确定所述性能指标是否异常。由于历史直方图数据是过去时间正常的性能指标生成的直方图数据，能很好体现目标直方图数据是否出现异常，故而通过历史直方图数据和目标直方图数据，得到能够正确反映目标直方图数据状态的目标评价数据，从而高效准确地根据目标评价数据确定性能指标是否异常。
一实施例中，生成模块，还用于
根据HBOS算法，对所述CPU指标构建直方图，得到所述CPU指标对应的第一直方图数据；
根据HBOS算法，对所述内存指标构建直方图，得到所述内存指标对应的第二直方图；
根据HBOS算法，对所述输入输出指标构建直方图，得到所述输入输出指标对应的第三直方图。
一实施例中，评价模块，用于：
根据所述第一区间的区间宽度、所述第一区间内数据点的数量以及第一数据点总数量，确定第一概率密度，其中，所述第一数据点总数量为各个所述第一区间内数据点的数量之和；
根据所述第二区间的区间宽度、所述第二区间内数据点的数量以及第二数据点总数量，确定第二概率密度，其中，所述第二数据点总数量为各个所述第二区间内数据点的数量之和；
根据所述第三区间的区间宽度、所述第三区间内数据点的数量以及第三数据点总数量，确定第三概率密度，其中，所述第三数据点总数量为各个所述第三区间内数据点的数量之和；
基于所述第一概率密度、所述第二概率密度、所述第三概率密度以及所述历史直方图数据，确定所述目标评价数据。
一实施例中，评价模块，用于：
根据所述第一概率密度以及第一历史概率密度，得到第一评价数据，其中，所述第一历史概率密度是所述第四直方图数据中所述第一区间对应的概率密度；
根据所述第二概率密度以及第二历史概率密度，得到第二评价数据，其中，所述第二历史概率密度是所述第五直方图数据中所述第二区间对应的概率密度；
根据所述第三概率密度以及第三历史概率密度，得到第三评价数据，其中，所述第三历史概率密度是所述第六直方图数据中所述第三区间对应的概率密度；
根据各个所述第一评价数据、各个所述第二评价数据以及各个所述第三评价数据，确定所述目标评价数据。
一实施例中，评价模块，用于：
将各个所述第一评价数据进行加权求和，得到第一综合评价数据；
将各个所述第二评价数据进行加权求和，得到第二综合评价数据；
将各个所述第三评价数据进行加权求和，得到第三综合评价数据；
根据所述第一综合评价数据、所述第二综合评价数据以及所述第三综合评价数据，确定所述目标评价数据。
一实施例中，评价模块，用于：
将所述第一综合评价数据、所述第二综合评价数据以及所述第三综合评价数据进行乘法运算，得到所述目标评价数据。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性和/或易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于性能指标的干扰异常检测方法服务端侧的功能或步骤。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是客户端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种基于性能指标的干扰异常检测方法客户端侧的功能或步骤。
在一个实施例中，提出了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取当前的性能指标以及历史直方图数据；
根据HBOS算法和所述性能指标，生成目标直方图数据；
根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据；
基于所述目标评价数据确定所述性能指标是否异常。
本实施例提出的基于性能指标的干扰异常检测方法，通过获取当前的性能指标以及历史直方图数据，接着根据HBOS算法和所述性能指标，生成目标直方图数据，而后根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据，从而基于所述目标评价数据确定所述性能指标是否异常。由于历史直方图数据是过去时间正常的性能指标生成的直方图数据，能很好体现目标直方图数据是否出现异常，故而通过历史直方图数据和目标直方图数据，得到能够正确反映目标直方图数据状态的目标评价数据，从而高效准确地根据目标评价数据确定性能指标是否异常。
在一个实施例中，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取当前的性能指标以及历史直方图数据；
根据HBOS算法和所述性能指标，生成目标直方图数据；
根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据；
基于所述目标评价数据确定所述性能指标是否异常。
本实施例提出的基于性能指标的干扰异常检测方法，通过获取当前的性能指标以及历史直方图数据，接着根据HBOS算法和所述性能指标，生成目标直方图数据，而后根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据，从而基于所述目标评价数据确定所述性能指标是否异常。由于历史直方图数据是过去时间正常的性能指标生成的直方图数据，能很好体现目标直方图数据是否出现异常，故而通过历史直方图数据和目标直方图数据，得到能够正确反映目标直方图数据状态的目标评价数据，从而高效准确地根据目标评价数据确定性能指标是否异常。
需要说明的是，上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤，可对应参阅前述方法实施例中，服务端侧以及客户端侧的相关描述，为避免重复，这里不再一一描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于性能指标的干扰异常检测方法，所述基于性能指标的干扰异常检测方法包括：
获取当前的性能指标以及历史直方图数据，其中，所述历史直方图数据是指采用HBOS算法，根据过去时间正常的性能指标生成的直方图数据；
根据HBOS算法和所述性能指标，生成目标直方图数据；
根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据，其中，历史直方图数据的区间与目标直方图数据的区间一一对应；
所述根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据的步骤包括：
将目标直方图数据中的区间作为第一目标区间，根据第一目标区间的区间宽度、第一目标区间内数据点的数量以及各个第一目标区间内数据点的数量总和，确定各个概率密度，并确定历史直方图数据中第一目标区间对应的区间作为第二目标区间，根据概率密度以及所述第二目标区间对应的历史密度概率，确定第四评价数据，将各个第四评价数据进行加权求和得到综合评价数据，所述综合评价数据作为所述目标评价数据，其中，第四评价数据如下所示：
score= />
其中，β是平滑因子，用于防止score过大，/>是指概率密度，Q/>是指第二目标区间对应的历史密度概率，score/>是指第四评价数据；
基于所述目标评价数据确定所述性能指标是否异常。
2.根据权利要求1所述的基于性能指标的干扰异常检测方法，其特征在于，所述性能指标包括CPU指标、内存指标以及输入输出指标，所述目标直方图数据包括第一直方图数据、第二直方图数据和第三直方图数据，所述根据HBOS算法和所述性能指标，生成目标直方图数据的步骤，包括：
根据HBOS算法，对所述CPU指标构建直方图，得到所述CPU指标对应的第一直方图数据；
根据HBOS算法，对所述内存指标构建直方图，得到所述内存指标对应的第二直方图；
根据HBOS算法，对所述输入输出指标构建直方图，得到所述输入输出指标对应的第三直方图。
3.根据权利要求2所述的基于性能指标的干扰异常检测方法，其特征在于，所述第一直方图数据包括多个第一区间，所述第二直方图数据包括多个第二区间，所述第三直方图数据包括多个第三区间，所述根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据的步骤，包括：
根据所述第一区间的区间宽度、所述第一区间内数据点的数量以及第一数据点总数量，确定第一概率密度，其中，所述第一数据点总数量为各个所述第一区间内数据点的数量之和；
根据所述第二区间的区间宽度、所述第二区间内数据点的数量以及第二数据点总数量，确定第二概率密度，其中，所述第二数据点总数量为各个所述第二区间内数据点的数量之和；
根据所述第三区间的区间宽度、所述第三区间内数据点的数量以及第三数据点总数量，确定第三概率密度，其中，所述第三数据点总数量为各个所述第三区间内数据点的数量之和；
基于所述第一概率密度、所述第二概率密度、所述第三概率密度以及所述历史直方图数据，确定所述目标评价数据。
4.根据权利要求3所述的基于性能指标的干扰异常检测方法，其特征在于，所述历史直方图数据包括第四直方图数据、第五直方图数据以及第六直方图数据，所述第四直方图数据是基于历史CPU指标构建的直方图数据，所述第四直方图数据的各个第四区间与各个所述第一区间一一对应,所述第五直方图数据是基于历史内存指标构建的直方图数据，所述第五直方图数据的各个第五区间与各个所述第二区间一一对应,所述第六直方图数据是基于历史输入输出指标构建的直方图数据，所述第六直方图数据的各个第六区间与各个所述第三区间一一对应,
所述基于所述第一概率密度、所述第二概率密度、所述第三概率密度以及所述历史直方图数据，确定所述目标评价数据的步骤，包括：
根据所述第一概率密度以及第一历史概率密度，得到第一评价数据，其中，所述第一历史概率密度是所述第四直方图数据中所述第一区间对应的概率密度；
根据所述第二概率密度以及第二历史概率密度，得到第二评价数据，其中，所述第二历史概率密度是所述第五直方图数据中所述第二区间对应的概率密度；
根据所述第三概率密度以及第三历史概率密度，得到第三评价数据，其中，所述第三历史概率密度是所述第六直方图数据中所述第三区间对应的概率密度；
根据各个所述第一评价数据、各个所述第二评价数据以及各个所述第三评价数据，确定所述目标评价数据。
5.根据权利要求4所述的基于性能指标的干扰异常检测方法，其特征在于，所述根据各个所述第一评价数据、各个所述第二评价数据以及各个所述第三评价数据，确定所述目标评价数据的步骤包括：
将各个所述第一评价数据进行加权求和，得到第一综合评价数据；
将各个所述第二评价数据进行加权求和，得到第二综合评价数据；
将各个所述第三评价数据进行加权求和，得到第三综合评价数据；
根据所述第一综合评价数据、所述第二综合评价数据以及所述第三综合评价数据，确定所述目标评价数据。
6.根据权利要求5所述的基于性能指标的干扰异常检测方法，其特征在于，所述根据所述第一综合评价数据、所述第二综合评价数据以及所述第三综合评价数据，确定所述目标评价数据的步骤，包括：
将所述第一综合评价数据、所述第二综合评价数据以及所述第三综合评价数据进行乘法运算，得到所述目标评价数据。
7.一种基于性能指标的干扰异常检测装置，其特征在于，所述基于性能指标的干扰异常检测装置包括：
获取模块，用于获取当前的性能指标以及历史直方图数据，其中，所述历史直方图数据是指采用HBOS算法，根据过去时间正常的性能指标生成的直方图数据；
生成模块，用于根据HBOS算法和所述性能指标，生成目标直方图数据；
评价模块，用于根据所述目标直方图数据中的各个区间各自对应的概率密度和所述历史直方图数据中的各个区间各自对应的历史概率密度，确定目标评价数据，其中，历史直方图数据的区间与目标直方图数据的区间一一对应；
所述评价模块，用于将目标直方图数据中的区间作为第一目标区间，根据第一目标区间的区间宽度、第一目标区间内数据点的数量以及各个第一目标区间内数据点的数量总和，确定各个概率密度，并确定历史直方图数据中第一目标区间对应的区间作为第二目标区间，根据概率密度以及所述第二目标区间对应的历史密度概率，确定第四评价数据，将各个第四评价数据进行加权求和得到综合评价数据，所述综合评价数据作为所述目标评价数据，其中，第四评价数据如下所示：
score= />
其中，β是平滑因子，用于防止score过大，/>是指概率密度，Q/>是指第二目标区间对应的历史密度概率，score/>是指第四评价数据；
异常模块，用于基于所述目标评价数据确定所述性能指标是否异常。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于性能指标的干扰异常检测方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于性能指标的干扰异常检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311443882.4A CN117170995B (zh) | 2023-11-02 | 2023-11-02 | 基于性能指标的干扰异常检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311443882.4A CN117170995B (zh) | 2023-11-02 | 2023-11-02 | 基于性能指标的干扰异常检测方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117170995A CN117170995A (zh) | 2023-12-05 |
| CN117170995B true CN117170995B (zh) | 2024-05-17 |
Family
ID=88947141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311443882.4A Active CN117170995B (zh) | 2023-11-02 | 2023-11-02 | 基于性能指标的干扰异常检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117170995B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111061620A (zh) * | 2019-12-27 | 2020-04-24 | 福州林科斯拉信息技术有限公司 | 一种混合策略的服务器异常智能检测方法及检测系统 |
| CN111506637A (zh) * | 2020-06-17 | 2020-08-07 | 北京必示科技有限公司 | 一种基于kpi指标的多维异常检测方法、装置及存储介质 |
| CN112565378A (zh) * | 2020-11-30 | 2021-03-26 | 中国科学院深圳先进技术研究院 | 云原生资源动态预测方法、装置、计算机设备及存储介质 |
| CN113094249A (zh) * | 2021-04-30 | 2021-07-09 | 杭州安恒信息技术股份有限公司 | 一种节点异常检测方法、装置及介质 |
| CN113377568A (zh) * | 2021-06-29 | 2021-09-10 | 北京同创永益科技发展有限公司 | 一种异常检测方法、装置、电子设备及存储介质 |
| WO2022026022A1 (en) * | 2020-07-31 | 2022-02-03 | Microsoft Technology Licensing, Llc | Model selection and parameter estimation for anomaly detection |
| CN116149846A (zh) * | 2022-12-05 | 2023-05-23 | 中国科学院深圳先进技术研究院 | 一种应用性能优化方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220101069A1 (en) * | 2020-09-30 | 2022-03-31 | Microsoft Technology Licensing, Llc | Machine learning outlier detection using weighted histogram-based outlier scoring (w-hbos) |
| US20230325632A1 (en) * | 2022-03-28 | 2023-10-12 | Workday, Inc. | Automated anomaly detection using a hybrid machine learning system |
-
2023
- 2023-11-02 CN CN202311443882.4A patent/CN117170995B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111061620A (zh) * | 2019-12-27 | 2020-04-24 | 福州林科斯拉信息技术有限公司 | 一种混合策略的服务器异常智能检测方法及检测系统 |
| CN111506637A (zh) * | 2020-06-17 | 2020-08-07 | 北京必示科技有限公司 | 一种基于kpi指标的多维异常检测方法、装置及存储介质 |
| WO2022026022A1 (en) * | 2020-07-31 | 2022-02-03 | Microsoft Technology Licensing, Llc | Model selection and parameter estimation for anomaly detection |
| CN112565378A (zh) * | 2020-11-30 | 2021-03-26 | 中国科学院深圳先进技术研究院 | 云原生资源动态预测方法、装置、计算机设备及存储介质 |
| CN113094249A (zh) * | 2021-04-30 | 2021-07-09 | 杭州安恒信息技术股份有限公司 | 一种节点异常检测方法、装置及介质 |
| CN113377568A (zh) * | 2021-06-29 | 2021-09-10 | 北京同创永益科技发展有限公司 | 一种异常检测方法、装置、电子设备及存储介质 |
| CN116149846A (zh) * | 2022-12-05 | 2023-05-23 | 中国科学院深圳先进技术研究院 | 一种应用性能优化方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于时空相关性的传感器网络离群点检测算法;林锋;张红;;计算机应用与软件;20130615(06);120-121 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117170995A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108959934B (zh) | 安全风险评估方法、装置、计算机设备和存储介质 | |
| US11954568B2 (en) | Root cause discovery engine | |
| CN109542428B (zh) | 业务处理方法、装置、计算机设备和存储介质 | |
| CN112380044B (zh) | 数据异常检测方法、装置、计算机设备和存储介质 | |
| US9292650B2 (en) | Identifying layout pattern candidates | |
| Madireddy et al. | Machine learning based parallel I/O predictive modeling: A case study on Lustre file systems | |
| US20160011908A1 (en) | Task allocation in a computing environment | |
| Lee et al. | DC-Prophet: Predicting Catastrophic Machine Failures in D ata C enters | |
| CN110084476B (zh) | 案件调整方法、装置、计算机设备和存储介质 | |
| CN113419950A (zh) | Ui自动化脚本的生成方法、装置、计算机设备及存储介质 | |
| CN107357649B (zh) | 系统资源部署策略的确定方法、装置及电子设备 | |
| US20180129963A1 (en) | Apparatus and method of behavior forecasting in a computer infrastructure | |
| CN117170995B (zh) | 基于性能指标的干扰异常检测方法、装置、设备及介质 | |
| CN115168509A (zh) | 风控数据的处理方法及装置、存储介质、计算机设备 | |
| US20230035666A1 (en) | Anomaly detection in storage systems | |
| US20190138931A1 (en) | Apparatus and method of introducing probability and uncertainty via order statistics to unsupervised data classification via clustering | |
| CN113094052A (zh) | 应用构建方法、装置、计算机设备和存储介质 | |
| EP2915059B1 (en) | Analyzing data with computer vision | |
| US20160164714A1 (en) | Alert management system for enterprises | |
| CN113689020A (zh) | 业务信息预测方法、装置、计算机设备和存储介质 | |
| CN117971547B (zh) | 内存故障预测方法、装置、设备、存储介质及程序产品 | |
| CN117370473B (zh) | 基于完整性攻击的数据处理方法、装置、设备及存储介质 | |
| EP4303730A1 (en) | Computer-implemented method for automatically detecting anomalies in a cloud infrastructure comprising microservices | |
| CN112631869B (zh) | 页面加载数据监控方法、装置、计算机设备及存储介质 | |
| CN113094899B (zh) | 一种随机潮流计算方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |