CN114595086A - 一种异常检测方法、装置、设备及存储介质 - Google Patents

一种异常检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114595086A
CN114595086A CN202210120894.2A CN202210120894A CN114595086A CN 114595086 A CN114595086 A CN 114595086A CN 202210120894 A CN202210120894 A CN 202210120894A CN 114595086 A CN114595086 A CN 114595086A
Authority
CN
China
Prior art keywords
version
configuration
configuration information
similarity
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210120894.2A
Other languages
English (en)
Inventor
陆明
王友焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202210120894.2A priority Critical patent/CN114595086A/zh
Publication of CN114595086A publication Critical patent/CN114595086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/194Calculation of difference between files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/71Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例公开了一种异常检测方法、装置、设备及存储介质,其中,所述方法包括:获取目标版本的第一配置信息;将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果;获取所述目标版本的第一相似度阈值;在所述第一比对结果不满足第一相似度阈值的情况下,确定所述目标版本的第一配置信息异常。

Description

一种异常检测方法、装置、设备及存储介质
技术领域
本申请实施例涉及电子信息领域,涉及但不限于一种异常检测方法、装置、设备及存储介质。
背景技术
在应用变更过程中,配置文件的配置项变更数量是较少的,且同一版本、同一集群下配置项是大致相同,即高度相似的。但是也会存在一些场景下,不同节点的配置项有所不同。
这样,在发布过程中,如果因为配置文件因素产生的风险通常是比较难识别的。通常是首先发现应用功能或性能异常,逐步排查到配置文件问题,且因为排查配置文件特别是集群环境配置文件的工作量很大,也造成问题定位周期长,问题解决速度慢的情况。
发明内容
有鉴于此,本申请实施例提供一种异常检测方法、装置、设备及存储介质。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种异常检测方法,所述方法包括:获取目标版本的第一配置信息;将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果;获取所述目标版本的第一相似度阈值;在所述第一比对结果不满足第一相似度阈值的情况下,确定所述目标版本的第一配置信息异常。
第二方面,本申请实施例提供一种异常检测装置,所述装置包括:第一获取模块,用于获取目标版本的第一配置信息;第一比对模块,用于将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果;第二获取模块,用于获取所述目标版本的第一相似度阈值;第一确定模块,用于在所述第一比对结果不满足第一相似度阈值的情况下,确定所述目标版本的第一配置信息异常。
第三方面,本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
第四方面,本申请实施例提供一种存储介质,存储有可执行指令,用于引起处理器执行时,实现上述方法。
本申请实施例中,首先获取目标版本的第一配置信息;然后将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果;获取所述目标版本的第一相似度阈值;最后在所述第一比对结果不满足第一相似度阈值的情况下,确定所述目标版本的第一配置信息异常。这样,可以有效确定目标版本的第一配置信息异常,缩短定位问题的周期,有效提升问题解决的速度,满足用户的实际需求。
附图说明
图1为本申请实施例提供的一种异常检测方法的实现流程示意图;
图2为本申请实施例提供的一种异常检测方法的实现流程示意图;
图3为本申请实施例提供的一种异常检测方法的实现流程示意图;
图4A为本申请实施例提供的一种基于历史版本数据的异常检测方法的流程示意图;
图4B为本申请实施例提供的一种集群环境下节点配置参数分析和异常检测方法的流程示意图;
图5为本申请实施例提供的一种异常检测装置的组成结构示意图;
图6为本申请实施例提供的电子设备的一种硬件实体示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对申请实施例的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
DevOps,Development和Operations的组合词,是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。DevOps是IT服务管理的一种模式,以持续交付等自动化工具实现“价值的快速交付”。
自动化持续集成(Continuous Integration,CI)/持续交付(ContinuousDelivery,CD)工具,持续集成是在源代码变更后自动检测、拉取、构建和(在大多数情况下)进行单元测试的过程;持续交付是一种软件工程的手段,让软件在短周期内产出,确保软件随时可以被可靠地发布。其目的在于更快、更频繁地构建、测试以及发布软件。
OpenStack是一个开源的云计算管理平台项目,是一系列软件开源项目的组合。一个云平台管理的项目,不是一个软件。这个项目由几个主要的组件组合起来完成一些具体的工作。
Ceph,一种自由软件分布式文件系统。
Hadoop,一种分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
SimHash算法,通过降维将高维的特征向量映射成低维的特征向量,通过两个向量的汉明距离来确定文章是否重复或者高度近似。
本申请实施例提供一种异常检测方法,如图1所示,该方法包括:
步骤S110、获取目标版本的第一配置信息;
这里,目标版本可以是版本库中的任意程序包,举例来说,可以将版本库中新增的程序包确定为目标版本。在实施过程中,在应用升级或者变更过程中,会需要更新的程序包以支撑应用的升级或者变更。
不同的应用对应不同的配置信息,举例来说,配置信息可以包括应用的IP地址、应用名称、应用的设置路径、应用的版本号等。
在确定需要检测的目标版本后,可以先获取目标版本的第一配置信息,即,获取目标版本对应的应用IP地址、应用名称、应用的设置路径、应用的版本号。
步骤S120、将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果;
在一些实施例中,预设配置信息可以是用户根据需求设置的,即固定的预设配置信息。
在一些实施例中,预设配置信息也可以是系统根据存储在版本库中的历史版本的配置信息动态确定的,即动态的预设配置信息,举例来说,用户可以在版本库中选择任意一个版本的配置信息作为预设配置信息。
在一些实施例中,可以利用文本相似度算法进行异常检测,完成对第一配置信息与预设配置信息进行相似度对比,得第一到比对结果。这里,文本相似度算法至少包括如下两种方法:一是将文本映射到向量空间,再利用余弦相似度等方法,其中,余弦相似度算法通过测量两个向量之间的角的余弦值来度量相似度;二是SimHash算法,通过降维将高维的特征向量映射成低维的特征向量,通过两个向量的汉明距离来确定文章是否重复或者高度近。在实施过程中,可以选用以上任一文本相似度算法,也可以结合使用两种算法,当然也可以使用其它文本相似度算法。
步骤S130、获取所述目标版本的第一相似度阈值;
在一些实施例,第一相似度阈值可以是用户根据需求设置的,即固定的相似度阈值,举例来说,用户可以设置第一相似度阈值为大于90%的相似度。
在一些实施例中,第一相似度阈值可以是基于系统根据存储在版本库中的历史版本的配置信息动态确定的,即动态的第一相似度阈值。在实施过程中,该相似度阈值可以通过统计历史版本的配置动态获得,也可以根据历史版本的分布情况等方法进行动态阈值设定。
步骤S140、在所述第一比对结果不满足第一相似度阈值的情况下,确定所述目标版本的第一配置信息异常。
这里,由于在多数应用更新或者变更过程中,配置文件的配置项变更数量是较少的,且同一版本(包括小版本和小版本)下配置项是大致相同,即高度相似的,所以在确定第一比对结果不满足第一相似度阈值的情况下,可以确定目标版本的第一配置信息异常。
在确定目标版本的第一配置信息异常的情况下,可以通过触发风险告警的形式上报,以使得用户可以及时发现版本问题,解决版本问题,有效缩短问题的定位周期,提升解决问题的速度。
在实施过程中,可以设置适用版本范围,以及不适用版本范围,以减少误报发生。
本申请实施例中,首先获取目标版本的第一配置信息;然后将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果;获取所述目标版本的第一相似度阈值;最后在所述第一比对结果不满足第一相似度阈值的情况下,确定所述目标版本的第一配置信息异常。这样,可以有效确定目标版本的第一配置信息异常,缩短定位问题的周期,有效提升问题解决的速度,满足用户的实际需求。
在一些实施例中,上述步骤S130“获取所述目标版本的第一相似度阈值”可以通过以下步骤实现:
在预设周期内确定历史版本的数量达到数量阈值的情况下,基于至少两个所述历史版本动态获取所述第一相似度阈值。
在一些实施例中,用户可以根据需求设置预设周期和历史版本的数量阈值,在预设周期内确定历史版本的数量达到数量阈值的情况下,再动态获取第一相似度阈值。举例来说,在版本更新速度快的情况下可以设置3天为预设周期,在版本更新速度慢的情况下可以设置一周为预设周期。
在一些实施例中,还可以仅设置历史版本的数量阈值,即,在历史版本的数量达到数量阈值的情况下,动态获取第一相似度阈值。
在实施过程中,可以利用文本相似度算法进行异常检测,基于至少两个所述历史版本动态获取所述第一相似度阈值。这里文本相似度算法至少包括如下二种方法:一是将文本映射到向量空间,再利用余弦相似度等方法;二是SimHash算法。在实施过程中,可以选用以上任一文本相似度算法,也可以结合使用两种算法,当然也可以使用其它文本相似度算法。
本申请实施例中,在预设周期内确定历史版本的数量达到数量阈值的情况下,基于至少两个所述历史版本动态获取所述第一相似度阈值。这样,动态获取的第一相似度阈值是根据历史版本的配置信息做有效调整的,可以有效提升确定目标版本异常的准确性。
在一些实施例中,所述第一配置信息至少包括:第一配置参数数量和/或第一配置参数范围;所述预设配置信息至少包括:第二配置参数数量和/或第二配置参数范围;上述步骤S120“将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果”可以通过以下步骤实现:
步骤121、将所述第一配置参数数量与所述第二配置参数数量进行相似度对比,得到所述配置参数的数量相似度;和/或,
步骤122、将所述第一配置参数范围与所述第二配置参数范围进行相似度对比,得到所述配置参数的范围相似度。
对目标版本的配置文件进行解析得到第一配置信息,可以基于第一配置信息确定与历史版本的第二配置信息的配置项差异特征。这里,差异的比对内容可以包括:配置参数数量和配置参数范围。以确定不发生变化的配置参数数量、变化的配置参数数量、不发生变化配置参数范围和发生变化配置参数范围。
在实施过程中,可以将第一配置参数数量与第二配置参数数量进行相似度对比,得到所述配置参数的数量相似度,举例来说,当第一配置参数数量与第二配置参数数量没有发生变化的情况下,数量相似度为100%;如果第一配置参数数量与第二配置参数数量有差别的情况下,可以根据实际情况计算数量相似度。
在实施过程中,还可以将第一配置参数范围与第二配置参数范围进行相似度对比,得到所述配置参数的范围相似度,举例来说,第一配置参数范围与第二配置参数范围一样的情况下,范围相似度为100%;如果第一配置参数范围与第二配置参数范围有差别的情况下,可以根据实际情况计算范围相似度。
本申请实施例中,将所述第一配置参数数量与所述第二配置参数数量进行相似度对比,得到所述配置参数的数量相似度;和/或,将所述第一配置参数范围与所述第二配置参数范围进行相似度对比,得到所述配置参数的范围相似度。扎样,基于参数数量和参数范围两个维度进行相似度的计算,可以有效确定版本配置信息之间的相似度。
在一些实施例中,所述预设配置信息包括历史版本的第二配置信息;所述第一相似度阈值包括第一版本相似度阈值和第二版本相似度阈值,其中,所述第一版本相似度阈值小于所述第二版本相似度阈值;上述步骤S130“获取所述目标版本的第一相似度阈值”,可以通过以下步骤实现:
步骤131、在基于所述目标版本的标识和所述历史版本的标识确定所述目标版本与所述历史版本的关系为第一关系的情况下,基于至少两个关系为所述第一关系的历史版本的第二配置信息获取第一版本相似度阈值;
这里,目标版本的标识是可以区分目标版本和其他版本的标识,举例来说,该标识可以是目标版本的版本号,也可以是目标版本上传至版本库的时间。
在实施过程中,为了区分差异较大的版本和差异较小的版本,可以设置大版本关系和小版本关系,即,满足大版本关系的版本之间差异较大,满足小版本关系的版本之间差异较小。
在目标版本的第一配置信息与其他历史版本的第二配置信息进行比对的情况下,可以根据实际需要设置多个相似度阈值,每一相似度阈值的取值是不同的。
这里,第一关系可以为大版本关系,即目标版本与历史版本的关系为大版本关系的情况下,可以基于至少两个关系为大版本关系的历史版本的第二配置信息确定大版本相似度阈值。
步骤132、在基于所述目标版本的标识和所述历史版本的标识确定所述目标版本与所述历史版本的关系为第二关系的情况下,基于至少两个关系为所述第二关系的历史版本的第二配置信息获取第二版本相似度阈值。
这里,第二关系可以为小版本关系,即目标版本与历史版本的关系为小版本关系的情况下,可以基于至少两个关系为小版本关系的历史版本的第二配置信息确定小版本相似度阈值。由于满足大版本关系的版本之间差异较大,满足小版本关系的版本之间差异较小,所以大版本相似度阈值较小版本相似度阈值小。即,第一版本相似度阈值小于第二版本相似度阈值。
在实际使用中,用户可以自定义相似度阈值的个数,对个数不做限定。
本申请实施例中,第一相似度阈值包括第一版本相似度阈值和第二版本相似度阈值,用户可以根据实际情况设置目标版本的比对对象,基于目标版本与比对对象之间的版本关系选择合适的第一相似度阈值,可以有效提升异常检测的准确性。
本申请实施例提供一种异常检测方法,如图2所示,包括以下步骤:
步骤S210、获取目标版本的第一配置信息;
步骤S220、将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果;
步骤S230、获取所述目标版本的第一相似度阈值;
步骤S240、在所述第一比对结果不满足第一相似度阈值的情况下,确定所述目标版本的第一配置信息异常;
步骤S250、在所述第一比对结果满足相似度阈值的情况下,将所述目标版本部署于包括至少两个节点的集群;
这里,在第一比对结果满足相似度阈值的情况下,即,确定目标版本的第一配置信息正常。这样,可以正常部署目标版本,即将目标版本部署于包括至少两个节点的集群。
步骤S260、获取所述目标版本部署于每一所述节点的配置参数集合,其中,所述配置参数集合包括第一参数和第二参数;
步骤S270、比对任意两个所述节点的配置参数集合,以确定在每一所述节点上配置一致的至少一个所述第一参数,和在任意两个所述节点之间存在配置差异的至少一个所述第二参数;
在实施过程中,首先需要获取每一节点的配置参数集合,然后比对任意两个所述节点的配置参数集合,可以得到两类参数:第一参数为在每一所述节点上配置一致的参数;第二参数为在任意两个所述节点之间存在配置差异的参数。举例来说,目标版本的第一配置信息中应用的设置路径、应用的版本号在每个节点上都是一样的,可以确定为第一参数;目标版本的第一配置信息中应用IP地址在每个节点上都是不同的,可以确定为第二参数。
步骤S280、在确定所述第二参数在所述集群中部分节点相同,且在所述集群中其余节点不同的情况下,确定所述第二参数配置异常。
在实施过程中,第二参数如果是在每一节点都存在差异的参数,那么该第二参数在集群中部分节点相同,且在集群中其余节点不同的情况下,可以确定第二参数配置异常。
在确定目标版本的第二参数配置异常的情况下,可以通过触发风险告警的形式上报,以使得用户可以及时发现目标版本的配置问题,解决配置问题,有效缩短问题的定位周期,提升解决问题的速度。
在实施过程中,可以设置适用版本范围,以及不适用版本范围,以减少误报发生。
本申请实施例中,在第一比对结果满足相似度阈值的情况下,将所述目标版本部署于包括至少两个节点的集群;获取所述目标版本部署于每一所述节点的配置参数集合;比对任意两个所述节点的配置参数集合,以确定在每一所述节点上配置一致的至少一个所述第一参数,和在任意两个所述节点之间存在配置差异的至少一个所述第二参数;在确定所述第二参数在所述集群中部分节点相同,且在所述集群中其余节点不同的情况下,确定所述第二参数配置异常。这样,可以在目标版本部署在包括至少两个节点的集群的情况下,有效确定出目标版本部署过程中参数配置的异常,以使得用户可以及时发现目标版本的配置问题,解决配置问题,有效缩短问题的定位周期,提升解决问题的速度。
在一些实施例中,如图3所示,该异常检测方法还包括以下步骤:
步骤S310、在确定所述集群中任一节点对应的第二参数都不相同的情况下,获取所述第二参数的第二相似度阈值;
这里,第二相似度阈值可以是用户根据实际需要设置的,举例来说,在第二参数为第一配置信息中应用IP地址的情况下,由于每个节点的IP地址相对固定,所以该第二相似度阈值可以根据IP地址的差异进行设置。在实施过程中,可以利用文本相似度算法进行异常检测,获取所述第二参数的第二相似度阈值。这里,文本相似度算法至少包括如下两种方法:一是将文本映射到向量空间,再利用余弦相似度等方法;二是SimHash算法。在实施过程中,可以选用以上任一文本相似度算法,也可以结合使用两种算法,当然也可以使用其它文本相似度算法。
步骤S320、对所述任意两个节点之间的所述第二参数进行相似度对比,得到第二比对结果;
在一些实施例中,可以文本相似度算法进行异常检测,对任意两个节点之间的第二参数进行相似度对比,得到第二比对结果。这里,文本相似度算法至少包括如下两种方法:一是将文本映射到向量空间,再利用余弦相似度等方法;二是SimHash算法。在实施过程中,可以选用以上任一文本相似度算法,也可以结合使用两种算法,当然也可以使用其它文本相似度算法。
步骤S330、在所述第二比对结果不满足第二相似度阈值的情况下,确定所述第二参数异常。
在实施过程中,如果基于第二比对结果确定第二参数在任意两个节点上的差异较大,即不满足第二相似度阈值的情况下,可以确定第二参数异常。
本申请实施例中,在确定集群中任一节点对应的第二参数都不相同的情况下,获取所述第二参数的第二相似度阈值;对所述任意两个节点之间的所述第二参数进行相似度对比,得到第二比对结果;在所述第二比对结果不满足第二相似度阈值的情况下,确定所述第二参数异常。这样,可以基于第二比对结果和第二相似度阈值有效确定第二参数异常。
在一些实施例中,上述步骤S310“在确定所述集群中任一节点对应的第二参数都不相同的情况下,获取所述第二参数的第二相似度阈值”可以通过以下步骤实现:
在确定所述集群中任一节点对应的第二参数都不相同的情况下,基于至少一个所述历史版本部署于所述集群的第二参数,动态确定所述第二相似度阈值。
这里,由于集群中的节点在未升级到目标版本的情况下,可以部署历史版本,在实施过程中,可以基于正常部署的历史版本,动态确定第二相似度阈值,实现第二相似度阈值的实时更新,并有效提升确定第二参数异常的正确率。
本申请实施例中,基于至少一个所述历史版本部署于所述集群的第二参数,动态确定所述第二相似度阈值,实现第二相似度阈值的实时更新,并有效提升确定第二参数异常的正确率。
现有方案很多应用环境部署和更新不能完全DevOps、自动化CI/CD工具等实现自动化部署。例如,OpenStack、Ceph、Hadoop等集群部署以及更新。而不同工具的检查项目是差异很大的,单独开发不同版本的工具成本很高。本申请实施例提供的方法可以实现灵活性和风险识别能力之间的平衡。
图4A为本申请实施例提供的一种基于历史版本数据的异常检测方法的流程示意图,如图4A所示,包括以下步骤:
步骤S401、识别应用各个版本配置信息;
在一些实施例中,识别的是版本库中程序包的配置信息,即可以是在不同时间点生成的程序包的配置信息。
这里,识别的是配置信息中的参数指标。识别参数指标将包含配置参数数量、变化配置参数数量、不发生变化配置参数范围和发生变化配置参数范围。
步骤S402、在不同发布版本下进行参数间比较;
基于版本的标识,例如版本号,可以确定待识别的版本是小版本关系还是大版本关系,以首先利用监控得到动态阈值,然后利用动态阈值分析配置信息。
在一些实施例中,在不同发布版本下进行参数间比较包括:相邻版本更新配置文件文本相似度(含小版本与大版本)等。
步骤S403、对于不同发布版本的配置参数执行识别和检验,得到分析结果;
生成参数文本相似度阈值的方法,不仅可以通过人工设定,也可以通过历史数据统计先获得该参数的数据分布情况,再基于该参数的数据分布情况确定该参数对应的动态阈值。
在确定动态阈值的情况下,可以基于动态阈值进行版本的异常检测和风险报警。
步骤S404、基于分析结果识别配置参数异常变更,并触发风险消息。
作为一种实现过程减少误报的方法,管理员可以设置基于此方法的集群范围,集群内节点范围,适用历史版本范围,以及不适用的历史版本范围,以减少误报发生。
本申请实施例的实现思想为:识别不同历史版本下,不同指标的差异,全部参数内容或变化参数部分的文本相似度。如果其内容超过阈值则会触发风险消息。这样,可以在发布目标版本的情况下,有效确定目标版本的配置信息异常。
图4B为本申请实施例提供的一种集群环境下节点配置参数分析和异常检测方法的流程示意图,如图4B所示,包括以下步骤:
步骤S410、获取集群中每一节点的配置文件;
步骤S412、解析每一节点的配置文件,得到每一节点的配置文件参数对应的参数值;
在实施过程中,可以先识别集群各个节点配置信息,然后解析配置文件参数,最后提取配置文件参数对应的参数值。
步骤S413、对参数值变化执行相似度分析,得到分析结果;
在实施过程中,在集群配置文件之间进行参数值间比较,可以确定各个节点配置一致的配置参数范围,和/或存在节点间差异的配置参数范围。
步骤S414、基于分析结果识别配置参数异常变更,并触发风险消息。
对于不同节点之间存在配置参数不同的情况,识别两种场景:
场景一、参数值在一部分节点内是一致的,而在另外一些节点是不同的。当识别此类情况,则直接触发风险消息。
场景二、参数值在各个节点都是不同的,此种情况将进行参数数值的相似性比较。典型的文本相似性比较算法,例如,SimHash或余弦相似度等。通过对集群中相同参数在不同节点之间的文本相似度进行比较,如果参数值小于某个预定阈值,则触发风险消息。
在一些实施例中,上述文本相似度比较过程也可基于历史版本变更记录获得。例如,历史版本记录呈现参数之间的文本相似度位于阈值x1到x2之间。如果新的变更中,存在某两个节点的参数之间余弦相似度位于x1到x2阈值之外,则标记异常,触发风险消息。
在一些实施例中,作为一种实现过程减少误报的方法,管理员可以设置基于此方法的集群范围,集群内节点范围。
本申请实施例的实现思想为:集群环境下,各个集群参数应该是相同或者相似的。如果存在某个相同功能的集群节点配置参数与其他节点差异过大,则可能存在部署异常。这样,可以在将目标版本发布于集群环境的情况下,有效确定目标版本的配置信息异常。
基于前述的实施例,本申请实施例提供一种异常检测装置,该装置包括所包括的各模块,各模块包括各子模块,可以通过电子设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图5为本申请实施例提供的异常检测装置的组成结构示意图,如图5所示,所述装置500包括:
第一获取模块510,用于获取目标版本的第一配置信息;
第一比对模块520,用于将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果;
第二获取模块530,用于获取所述目标版本的第一相似度阈值;
第一确定模块540,用于在所述第一比对结果不满足第一相似度阈值的情况下,确定所述目标版本的第一配置信息异常。
在一些实施例中,所述第二获取模块530还用于在预设周期内确定历史版本的数量达到数量阈值的情况下,基于至少两个所述历史版本动态获取所述第一相似度阈值。
在一些实施例中,所述第一配置信息至少包括:第一配置参数数量和/或第一配置参数范围;所述预设配置信息至少包括:第二配置参数数量和/或第二配置参数范围;所述第一比对模块520包括第一比对子模块和/或第二比对子模块,其中,所述第一比对子模块,用于将所述第一配置参数数量与所述第二配置参数数量进行相似度对比,得到所述配置参数的数量相似度;所述第二比对子模块,用于将所述第一配置参数范围与所述第二配置参数范围进行相似度对比,得到所述配置参数的范围相似度。
在一些实施例中,所述预设配置信息包括历史版本的第二配置信息;所述第一相似度阈值包括第一版本相似度阈值和第二版本相似度阈值,其中,所述第一版本相似度阈值小于所述第二版本相似度阈值;所述第二获取模块530包括第一获取子模块和第二获取子模块,其中,所述第一获取子模块,用于在基于所述目标版本的标识和所述历史版本的标识确定所述目标版本与所述历史版本的关系为第一关系的情况下,基于至少两个关系为所述第一关系的历史版本的第二配置信息获取第一版本相似度阈值;所述第二获取子模块,用于在基于所述目标版本的标识和所述历史版本的标识确定所述目标版本与所述历史版本的关系为第二关系的情况下,基于至少两个关系为所述第二关系的历史版本的第二配置信息获取第二版本相似度阈值。
在一些实施例中,所述装置还包括部署模块、第三获取模块、第二比对模块和第二确定模块,其中,所述部署模块,用于在所述第一比对结果满足相似度阈值的情况下,将所述目标版本部署于包括至少两个节点的集群;所述第三获取模块,用于获取所述目标版本部署于每一所述节点的配置参数集合,其中,所述配置参数集合包括第一参数和第二参数;所述第二比对模块,用于比对任意两个所述节点的配置参数集合,以确定在每一所述节点上配置一致的至少一个所述第一参数,和在任意两个所述节点之间存在配置差异的至少一个所述第二参数;所述第二确定模块,用于在确定所述第二参数在所述集群中部分节点相同,且在所述集群中其余节点不同的情况下,确定所述第二参数配置异常。
在一些实施例中,所述装置还包括第四获取模块,第三比对模块和第三确定模块,其中,所述第四获取模块,用于在确定所述集群中任一节点对应的第二参数都不相同的情况下,获取所述第二参数的第二相似度阈值;所述第三比对模块,用于对所述任意两个节点之间的所述第二参数进行相似度对比,得到第二比对结果;所述第三确定模块,用于在所述第二比对结果不满足第二相似度阈值的情况下,确定所述第二参数异常。
在一些实施例中,所述第四获取模块还用于在确定所述集群中任一节点对应的第二参数都不相同的情况下,基于至少一个所述历史版本部署于所述集群的第二参数,动态确定所述第二相似度阈值。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例提供一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中提供的异常检测方法中的步骤。
对应地,本申请实施例提供一种电子设备,图6为本申请实施例提供的电子设备的一种硬件实体示意图,如图6所示,该设备600的硬件实体包括:包括存储器601和处理器602,所述存储器601存储有可在处理器602上运行的计算机程序,所述处理器602执行所述程序时实现上述实施例中提供的异常检测方法中的步骤。
存储器601配置为存储由处理器602可执行的指令和应用,还可以缓存待处理器602以及电子设备600中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种异常检测方法,所述方法包括:
获取目标版本的第一配置信息;
将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果;
获取所述目标版本的第一相似度阈值;
在所述第一比对结果不满足第一相似度阈值的情况下,确定所述目标版本的第一配置信息异常。
2.如权利要求1所述的方法,所述获取所述目标版本的第一相似度阈值,包括:
在预设周期内确定历史版本的数量达到数量阈值的情况下,基于至少两个所述历史版本动态获取所述第一相似度阈值。
3.如权利要求1所述的方法,所述第一配置信息至少包括:第一配置参数数量和/或第一配置参数范围;所述预设配置信息至少包括:第二配置参数数量和/或第二配置参数范围;
所述将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果,包括:
将所述第一配置参数数量与所述第二配置参数数量进行相似度对比,得到所述配置参数的数量相似度;和/或,
将所述第一配置参数范围与所述第二配置参数范围进行相似度对比,得到所述配置参数的范围相似度。
4.如权利要求1所述的方法,所述预设配置信息包括历史版本的第二配置信息;所述第一相似度阈值包括第一版本相似度阈值和第二版本相似度阈值,其中,所述第一版本相似度阈值小于所述第二版本相似度阈值;
所述获取所述目标版本的第一相似度阈值,包括:
在基于所述目标版本的标识和所述历史版本的标识确定所述目标版本与所述历史版本的关系为第一关系的情况下,基于至少两个关系为所述第一关系的历史版本的第二配置信息获取第一版本相似度阈值;
在基于所述目标版本的标识和所述历史版本的标识确定所述目标版本与所述历史版本的关系为第二关系的情况下,基于至少两个关系为所述第二关系的历史版本的第二配置信息获取第二版本相似度阈值。
5.如权利要求1至4任一项所述的方法,所述方法还包括:
在所述第一比对结果满足相似度阈值的情况下,将所述目标版本部署于包括至少两个节点的集群;
获取所述目标版本部署于每一所述节点的配置参数集合,其中,所述配置参数集合包括第一参数和第二参数;
比对任意两个所述节点的配置参数集合,以确定在每一所述节点上配置一致的至少一个所述第一参数,和在任意两个所述节点之间存在配置差异的至少一个所述第二参数;
在确定所述第二参数在所述集群中部分节点相同,且在所述集群中其余节点不同的情况下,确定所述第二参数配置异常。
6.如权利要求5所述的方法,所述方法还包括:
在确定所述集群中任一节点对应的第二参数都不相同的情况下,获取所述第二参数的第二相似度阈值;
对所述任意两个节点之间的所述第二参数进行相似度对比,得到第二比对结果;
在所述第二比对结果不满足第二相似度阈值的情况下,确定所述第二参数异常。
7.如权利要求6所述的方法,所述在确定所述集群中任一节点对应的第二参数都不相同的情况下,获取所述第二参数的第二相似度阈值,包括:
在确定所述集群中任一节点对应的第二参数都不相同的情况下,基于至少一个所述历史版本部署于所述集群的第二参数,动态确定所述第二相似度阈值。
8.一种异常检测装置,所述装置包括:
第一获取模块,用于获取目标版本的第一配置信息;
第一比对模块,用于将所述第一配置信息与预设配置信息进行相似度对比,得第一到比对结果;
第二获取模块,用于获取所述目标版本的第一相似度阈值;
第一确定模块,用于在所述第一比对结果不满足第一相似度阈值的情况下,确定所述目标版本的第一配置信息异常。
9.一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至7任一项所述方法中的步骤。
10.一种存储介质,存储有可执行指令,用于引起处理器执行时,实现权利要求1至7任一项所述的方法中的步骤。
CN202210120894.2A 2022-02-08 2022-02-08 一种异常检测方法、装置、设备及存储介质 Pending CN114595086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210120894.2A CN114595086A (zh) 2022-02-08 2022-02-08 一种异常检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210120894.2A CN114595086A (zh) 2022-02-08 2022-02-08 一种异常检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114595086A true CN114595086A (zh) 2022-06-07

Family

ID=81806247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210120894.2A Pending CN114595086A (zh) 2022-02-08 2022-02-08 一种异常检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114595086A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115795322A (zh) * 2023-01-31 2023-03-14 北京全路通信信号研究设计院集团有限公司 铁路配置数据比对方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140189086A1 (en) * 2013-01-03 2014-07-03 Microsoft Corporation Comparing node states to detect anomalies
CN112231174A (zh) * 2020-09-30 2021-01-15 中国银联股份有限公司 异常告警方法、装置、设备及存储介质
CN113448862A (zh) * 2021-07-12 2021-09-28 上海哔哩哔哩科技有限公司 软件版本测试方法、装置及计算机设备
CN113760726A (zh) * 2021-01-18 2021-12-07 北京沃东天骏信息技术有限公司 测试配置文件的方法、装置、电子设备和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140189086A1 (en) * 2013-01-03 2014-07-03 Microsoft Corporation Comparing node states to detect anomalies
CN112231174A (zh) * 2020-09-30 2021-01-15 中国银联股份有限公司 异常告警方法、装置、设备及存储介质
CN113760726A (zh) * 2021-01-18 2021-12-07 北京沃东天骏信息技术有限公司 测试配置文件的方法、装置、电子设备和介质
CN113448862A (zh) * 2021-07-12 2021-09-28 上海哔哩哔哩科技有限公司 软件版本测试方法、装置及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115795322A (zh) * 2023-01-31 2023-03-14 北京全路通信信号研究设计院集团有限公司 铁路配置数据比对方法、装置、电子设备及存储介质
CN115795322B (zh) * 2023-01-31 2023-09-26 北京全路通信信号研究设计院集团有限公司 铁路配置数据比对方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10884891B2 (en) Interactive detection of system anomalies
CN109214421B (zh) 一种模型训练方法、装置、及计算机设备
JP2018045403A (ja) 異常検知システム及び異常検知方法
US10241847B2 (en) Anomaly detection using sequences of system calls
CN107766467B (zh) 一种信息检测方法、装置、电子设备及存储介质
CN110046179A (zh) 一种报警维度的挖掘方法、装置及设备
CN115904860A (zh) 微服务检测方法、装置、设备以及存储介质
CN114595086A (zh) 一种异常检测方法、装置、设备及存储介质
US9460393B2 (en) Inference of anomalous behavior of members of cohorts and associate actors related to the anomalous behavior based on divergent movement from the cohort context centroid
CN115223076A (zh) 行为告警方法、装置、设备及存储介质
AU2021251463B2 (en) Generating performance predictions with uncertainty intervals
CN113420777A (zh) 异常日志检测方法、装置存储介质及设备
CN117234859B (zh) 一种性能事件监控方法、装置、设备和存储介质
CN113282751B (zh) 日志分类方法及装置
US20220398132A1 (en) Server Classification Using Machine Learning Techniques
CN113296990B (zh) 时序数据的异常识别方法及装置
CN115438989A (zh) 应用于智能产线的数据分析方法、服务器及存储介质
CN114996080A (zh) 数据处理方法、装置、设备及存储介质
CN111258899A (zh) 用例生成方法、装置、电子设备和计算机可读存储介质
WO2020193331A1 (en) Feature detection with neural network classification of images representations of temporal graphs
CN111143203A (zh) 机器学习、隐私代码确定方法、装置及电子设备
CN112749034A (zh) 一种数据异常处理方法、装置、存储介质及电子设备
US10728118B2 (en) Service tickets early warning system
CN118175063A (zh) 基于场景化标签库的网络健康检查的方法及装置
CN109753405B (zh) 应用资源消耗的检测方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination