CN115599657A - 软件设施异常判断方法 - Google Patents
软件设施异常判断方法 Download PDFInfo
- Publication number
- CN115599657A CN115599657A CN202211609513.3A CN202211609513A CN115599657A CN 115599657 A CN115599657 A CN 115599657A CN 202211609513 A CN202211609513 A CN 202211609513A CN 115599657 A CN115599657 A CN 115599657A
- Authority
- CN
- China
- Prior art keywords
- metadata
- changed
- data
- network
- software facility
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000002159 abnormal effect Effects 0.000 claims abstract description 110
- 230000008859 change Effects 0.000 claims description 56
- 230000005856 abnormality Effects 0.000 claims description 22
- 230000000737 periodic effect Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241000533950 Leucojum Species 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及计算机领域,提供一种软件设施异常判断方法。所述方法包括:实时采集软件设施数据,根据软件设施数据自动生成对应元数据;根据元数据生成元数据网络;根据已变更元数据识别出已变更特值数据和已变更异值数据;根据已变更特值数据生成已变更特值网络,根据已变更异值数据生成已变更异值网络;根据已变更特值网络和已变更异值网络生成已变更特异值时间序列网络;根据已变更特异值时间序列网络判断软件设施是否出现异常。本申请实施例提供的软件设施异常判断方法可以实现在非标准和非规范状态下,软件设施产生数据的可知可控,从而快速准确地判断软件设施是否发生异常,提高软件设施的可用性。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种软件设施异常判断方法。
背景技术
当前各类网络层出不穷,包括通信网络、算力网络、工业互联网、政务服务网等,各网络体系从规划到运营运维,在国际、国内均出台了相应的业务标准与规范,因此各网络的运营运维均按照标准与规范实施。
随着云计算的不断渗透,以及软件定义一切、开发运维一体的广泛接受与应用,各类用于定义网络、平台和服务的软件设施发生了极大的变化,这些变化是由多类设备、多个厂商、多个版本甚至是多个程序开发者的随时升级与变更产生,导致对于各类软件设施数据的变更无法通过标准与规范实现可知可控,也就无法快速准确地判断软件设施是否发生异常,难以保证软件设施的可用性。
发明内容
本申请实施例提供一种软件设施异常判断方法,用以解决各类软件设施数据的变更无法通过标准与规范实现可知可控,也就无法快速准确地判断软件设施是否发生异常,难以保证软件设施的可用性的技术问题。
本申请实施例提供一种软件设施异常判断方法,包括:
实时采集软件设施数据,根据所述软件设施数据自动生成对应元数据;
根据所述元数据生成元数据网络;
若当前时刻元数据网络相对于上一时刻元数据网络发生变更,则根据已变更元数据识别出已变更特值数据和已变更异值数据;
根据所述已变更特值数据生成已变更特值网络,根据所述已变更异值数据生成已变更异值网络;
根据所述已变更特值网络和所述已变更异值网络生成已变更特异值时间序列网络;
根据所述已变更特异值时间序列网络判断所述软件设施是否出现异常。
在一个实施例中,所述根据所述软件设施数据自动生成对应元数据,包括:
若所述软件设施数据为结构化数据,则将所有软件设施数据中的字段按照字段长度进行聚类;
在每个字段长度类别中进行抽样,根据抽样字段的数据结构模式之间的离散程度生成每条软件设施数据中各字段的信息熵和长度标签;
若所述软件设施数据为周期数据,且所述软件设施数据中各字段只存在一个信息熵最大值,则根据所述信息熵最大值对应的字段生成所述软件设施数据的唯一标识;
若所述软件设施数据为周期数据,且所述软件设施数据中各字段存在两个及以上相等的信息熵最大值,则根据所述信息熵最大值对应的多个字段生成所述软件设施数据的多个标识;
将所述软件设施数据的关键信息和非关键信息的组合确定为所述软件设施数据对应的元数据;其中,所述关键信息包括所述唯一标识、所述信息熵和所述长度标签,或所述关键信息包括所述多个标识、所述信息熵和所述长度标签,当所述关键信息包括所述多个标识时,将所述多个标识设定为所述软件设施数据的核心元数据。
在一个实施例中,所述根据所述元数据生成元数据网络,包括:
生成所述元数据的业务编码和变更判定编码;
若任意两条元数据均存在唯一标识,且所述任意两条元数据的两个唯一标识均为名称标识或均为ID标识,则根据所述任意两条元数据中各字段的信息熵和长度标签,将所述任意两条元数据进行关联;
将相互关联的两条元数据中任一元数据设置为另一元数据的并行元数据,并将两条所述并行元数据的业务编码进行关联,生成元数据网络;
若任意两条元数据均存在多个标识,且所述任意两条元数据中的每条元数据的多个标识均包含名称标识和ID标识,则定位所述核心元数据,根据所述核心元数据进行关联转译,将所述任意两条元数据进行关联;
将所述核心元数据设置为所述任意两条元数据的父元数据,并将所述父元数据对应的所述任意两条元数据的业务编码进行关联,生成元数据网络。
在一个实施例中,所述根据已变更元数据识别出已变更特值数据和已变更异值数据之前,包括:
若当前时刻元数据网络中任一元数据的变更判定编码与上一时刻元数据网络中各元数据的变更判定编码均不一致,则确定所述任一元数据为已变更元数据,且当前时刻元数据网络相对于上一时刻元数据网络发生变更。
在一个实施例中,所述根据已变更元数据识别出已变更特值数据和已变更异值数据,包括:
对各已变更元数据按照权重由大到小进行排序,选取排序靠前的多条已变更元数据对应的软件设施数据作为特值数据;所述权重是根据已变更元数据关联其他元数据的数量和关联的其他元数据中各字段的信息熵设定的;
若所述特值数据对应的已变更元数据相比上一时刻元数据网络属于新增元数据,或所述特值数据对应的已变更元数据相比上一时刻元数据网络属于被删除元数据,或所述特值数据对应的已变更元数据相比上一时刻元数据网络属于被修改元数据,则确定所述特值数据为已变更特值数据。
在一个实施例中,所述根据已变更元数据识别出已变更特值数据和已变更异值数据,还包括:
若所述已变更元数据不存在父元数据,且所述已变更元数据的唯一标识与上一时刻元数据网络中各元数据的唯一标识均不一致,则确定所述已变更元数据对应的软件设施数据为异值数据;
若所述异值数据对应的已变更元数据相比上一时刻元数据网络中各元数据属于新字典值且发生了数值范围变化,则确定所述异值数据为已变更异值数据;
若所述已变更元数据存在父元数据,且所述父元数据与上一时刻元数据网络中各元数据的父元数据均不一致,则确定所述父元数据对应的软件设施数据为异值数据;
若所述异值数据对应的父元数据相比上一时刻元数据网络中各父元数据属于新字典值且发生了数值范围变化,则确定所述异值数据为已变更异值数据;
若所述已变更元数据存在父元数据,且所述父元数据对应的多条元数据中存在特定元数据,所述特定元数据与上一时刻元数据网络中各元数据均不一致,则确定所述特定元数据对应的软件设施数据为异值数据;
若所述异值数据对应的特定元数据相比上一时刻元数据网络中各元数据属于新字典值且发生了数值范围变化,则确定所述异值数据为已变更异值数据。
在一个实施例中,所述根据所述已变更特值数据生成已变更特值网络,根据所述已变更异值数据生成已变更异值网络,包括:
将所述已变更特值数据和所述已变更特值数据对应的元数据进行组合,得到已变更特值网络;
将所述已变更异值数据和所述已变更异值数据对应的元数据进行组合,得到已变更异值网络。
在一个实施例中,所述根据所述已变更特值网络和所述已变更异值网络生成已变更特异值时间序列网络,包括:
若所述已变更特值数据对应的元数据不存在父元数据和并行元数据,且所述已变更异值数据对应的元数据不存在父元数据和并行元数据,则根据所述已变更特值数据在历史时刻的变更情况和所述已变更异值数据在历史时刻的变更情况,将所述已变更特值网络和所述已变更异值网络在时间范围内延伸并合并,生成已变更特异值时间序列网络;
若所述已变更特值数据对应的元数据存在父元数据或并行元数据,或所述已变更异值数据对应的元数据存在父元数据或并行元数据,则根据所述父元数据或所述并行元数据对应的软件设施数据在历史时刻的变更情况、所述已变更特值数据在历史时刻的变更情况、所述已变更异值数据在历史时刻的变更情况,将所述已变更特值网络和所述已变更异值网络在时间范围内延伸并合并,按照特定时间周期进行分段,得到时间切片数据;
根据所述时间切片数据生成已变更特异值时间序列网络。
在一个实施例中,所述将所述多个标识设定为所述软件设施数据的核心元数据之后,包括:
若所述核心元数据中只存在名称标识和ID标识,则将所述核心元数据直接进行缓存;
若所述核心元数据中存在三个及以上的标识,则至多选取其中三个标识进行缓存。
在一个实施例中,所述确定所述任一元数据为已变更元数据之后,包括:
若所述已变更元数据的业务编码与上一时刻元数据网络中某条元数据的业务编码一致,则确定所述已变更元数据的变更类型为细节变更;
若所述已变更元数据的业务编码与上一时刻元数据网络中各元数据的业务编码均不一致,则确定所述已变更元数据的变更类型为整体新增。
本申请提供的软件设施异常判断方法,实时采集软件设施数据,根据软件设施数据自动生成对应元数据;根据元数据生成元数据网络,若当前时刻元数据网络相对于上一时刻元数据网络发生变更,则根据已变更元数据识别出已变更特值数据和已变更异值数据,根据已变更特值数据生成已变更特值网络,根据已变更异值数据生成已变更异值网络,根据已变更特值网络和已变更异值网络生成已变更特异值时间序列网络,根据已变更特异值时间序列网络判断软件设施是否出现异常。本申请通过底层软件设施数据生成元数据,并逐步生成元数据网络、已变更特值网络和已变更异值网络,最后生成已变更特异值时间序列网络,能够通过已变更特异值时间序列网络找到软件设施数据在时间维度变化的特值数据和异值数据,再根据特值数据和异值数据变化对软件设施的影响判断软件设施是否出现异常,实现在非标准和非规范状态下,软件设施数据的可知可控,从而快速准确地判断软件设施是否发生异常,提高软件设施的可用性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的软件设施异常判断方法的流程示意图之一;
图2是本申请实施例提供的软件设施异常判断方法的流程示意图之二;
图3是本申请实施例提供的软件设施异常判断方法的流程示意图之三;
图4是本申请实施例提供的软件设施异常判断方法的流程示意图之四;
图5是本申请实施例提供的软件设施异常判断方法的流程示意图之五。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1是本申请实施例提供的软件设施异常判断方法的流程示意图之一。参照图1,本申请实施例提供一种软件设施异常判断方法,可以包括:
101、实时采集软件设施数据,根据软件设施数据自动生成对应元数据;
102、根据元数据生成元数据网络;
103、若当前时刻元数据网络相对于上一时刻元数据网络发生变更,则根据已变更元数据识别出已变更特值数据和已变更异值数据;
104、根据已变更特值数据生成已变更特值网络,根据已变更异值数据生成已变更异值网络;
105、根据已变更特值网络和已变更异值网络生成已变更特异值时间序列网络;
106、根据已变更特异值时间序列网络判断软件设施是否出现异常。
步骤101中,采集的软件设施数据可以包括基础信息数据、质量感知数据、日志文件数据以及其他所需要的数据。
本实施例提供的软件设施异常判断方法,实时采集软件设施数据,根据软件设施数据自动生成对应元数据,根据元数据生成元数据网络,若当前时刻元数据网络相对于上一时刻元数据网络发生变更,则根据已变更元数据识别出已变更特值数据和已变更异值数据,根据已变更特值数据生成已变更特值网络,根据已变更异值数据生成已变更异值网络,根据已变更特值网络和已变更异值网络生成已变更特异值时间序列网络,根据已变更特异值时间序列网络判断软件设施是否出现异常。本实施例通过底层软件设施数据生成元数据,并逐步生成元数据网络、已变更特值网络和已变更异值网络,最后生成已变更特异值时间序列网络,能够通过已变更特异值时间序列网络找到软件设施数据在时间维度变化的特值数据和异值数据,再根据特值数据和异值数据变化对软件设施的影响判断软件设施是否出现异常,实现在非标准和非规范状态下,软件设施数据的可知可控,从而快速准确地判断软件设施是否发生异常,提高软件设施的可用性。
图2是本申请实施例提供的软件设施异常判断方法的流程示意图之二。参照图2,在一个实施例中,根据软件设施数据自动生成对应元数据,可以包括:
201、若软件设施数据为结构化数据,则将所有软件设施数据中的字段按照字段长度进行聚类;
202、在每个字段长度类别中进行抽样,根据抽样字段的数据结构模式之间的离散程度生成每条软件设施数据中各字段的信息熵和长度标签;
203、若软件设施数据为周期数据,且软件设施数据中各字段只存在一个信息熵最大值,则根据信息熵最大值对应的字段生成软件设施数据的唯一标识;
204、若软件设施数据为周期数据,且软件设施数据中各字段存在两个及以上相等的信息熵最大值,则根据信息熵最大值对应的多个字段生成软件设施数据的多个标识;
205、将软件设施数据的关键信息和非关键信息的组合确定为软件设施数据对应的元数据。
其中,关键信息包括唯一标识、信息熵和长度标签,或关键信息包括多个标识、信息熵和长度标签,当关键信息包括多个标识时,将多个标识设定为软件设施数据的核心元数据。
步骤201中,可以先通过数据结构模式判别流图按照顺序或同时判定软件设施数据的数据结构模式,一般来说,软件设施数据的数据结构模式可以包括数据类型、数据量级、数据产生规律性、数据变更规律性、数据分割标识,结构化与非结构化、数据数量级与占用空间范围、数据随机与周期规律、数据新增与更新规律、横向结构数据与纵向结构数据、数据分隔符等,可以对软件设施数据进行整体分析与抽样分析相结合的方式,生成数据结构模式信息,再根据设定判定模式的阈值,将生成的数据结构模式信息与阈值比较,从而确定对应软件设施数据的数据结构模式,其中,判定模式的阈值可以根据软件定义网络或平台的规模进行设定。
需要说明的是,同一条软件设施数据可以同时具有多种数据结构模式。
通过确定软件设施数据的数据结构模式,即可确定该软件设施数据是结构化数据还是非结构化数据。
若软件设施数据为结构化数据,可以使用数据分隔符将多条软件设施数据分隔为单条软件设施数据,再将单条软件设施数据内的多个字段分隔为单个字段,最后将所有软件设施数据的所有字段按照字段长度进行聚类。
步骤202中,可以在每个字段长度类别中按照各自类别所包含的字段的量级进行抽样,再比较抽样字段之间的数据结构模式,实现快速、轻量的离散程度识别。
步骤203中,可以通过数据结构模式中的数据随机与周期规律、数据新增与更新规律判定元数据是周期数据还是非周期数据。
在步骤203和步骤204生成软件设施数据的标识之后,还可以根据可扩展的确定模式识别软件设施数据的字段类型、字段长度、是否为空、是否固定值、是否字典值并生成对应字典、包含最大值和最小值的数值范围、周期时间等,并支持对接语义分析模块判断语义有效性。
需要说明的是,若软件设施数据为非周期数据,则可以根据软件设施数据中各字段的长度标签最大值生成软件设施数据的唯一标识,且还可以同样根据可扩展的确定模式识别软件设施数据的字段类型、字段长度、是否为空、是否固定值、是否字典值并生成对应字典、包含最大值和最小值的数值范围、周期时间等,并支持对接语义分析模块判断语义有效性。
另外,在实际应用中,步骤203和步骤204之间没有严格的时序关系;即,可同时执行,或任一步骤先执行,具体根据实际需求而定,此处不做限定。
本实施例先识别软件设施数据的数据结构模式,然后根据数据结构模式确定软件设施数据的信息熵和长度标签,再根据信息熵和长度标签生成标识,最后根据标识、信息熵和长度标签得到 软件设施数据对应的元数据,将非标准的软件设施数据标准化为对应的元数据,使得后续能够利用这些元数据的变更表征软件设施数据的变化,从而达到判断软件设施是否异常的目的。
图3是本申请实施例提供的软件设施异常判断方法的流程示意图之三。参照图3,在一个实施例中,根据元数据生成元数据网络,可以包括:
301、生成该元数据的业务编码和变更判定编码;
302、若任意两条元数据均存在唯一标识,且该任意两条元数据的两个唯一标识均为名称标识或均为ID标识,则根据该任意两条元数据中各字段的信息熵和长度标签,将该任意两条元数据进行关联;
303、将相互关联的两条元数据中任一元数据设置为另一元数据的并行元数据,并将两条并行元数据的业务编码进行关联,生成元数据网络;
304、若任意两条元数据均存在多个标识,且该任意两条元数据中的每条元数据的多个标识均包含名称标识和ID标识,则定位核心元数据,根据核心元数据进行关联转译,将该任意两条元数据进行关联;
305、将该核心元数据设置为该任意两条元数据的父元数据,并将该父元数据对应的任意两条元数据的业务编码进行关联,生成元数据网络。
步骤301中,该元数据的业务编码用于元数据的寻址和关联,可以为包括数据源标识、采集分类标识、整体数据类型、规律标识和周期标识在内的字符串,其中,每个标识之间采用“-”等各种分隔符进行分隔。
该元数据的变更判定编码用于判定元数据是否发生变更,可以通过MD5信息摘要算法(MD5 Message-Digest Algorithm)和雪花算法生成,即该元数据中所有字段信息生成MD5信息摘要,同时由雪花算法生成时间值,用来标识该元数据的时间特性。
MD5信息摘要算法是一种被广泛使用的密码散列函数,可以产生出一个128位(16字节)的散列值,用于确保信息传输完整一致。
雪花算法是一种应用于分布式系统环境的算法,能够产生大量ID,以满足高并发分布式系统环境下ID不重复的需,且能够基于时间戳保证ID数量有序递增,即按照时间趋势递增。
步骤304中,可以通过拓扑图搜索的方式定位核心元数据。
步骤305中,由于父元数据、核心元数据和多个标识之间存在一一对应关系,因此父元数据对应的任意两条元数据,即为以父元数据为标识的两条元数据。
在实际应用中,步骤302和步骤304之间没有严格的时序关系;即,可同时执行,或任一步骤先执行,具体根据实际需求而定,此处不做限定,但步骤303必须在步骤302之后执行,步骤305必须在步骤304之后执行。
本实施例通过元数据的信息熵和长度标签进行元数据关联,或通过核心数据元进行元数据关联,再将各元数据的业务编码进行关联,形成元数据网络,能够适用于当前绝大多数的应用场景,大大简化元数据的关联、运维和治理工作。
在一个实施例中,根据已变更元数据识别出已变更特值数据和已变更异值数据之前,可以包括:
若当前时刻元数据网络中任一元数据的变更判定编码与上一时刻元数据网络中各元数据的变更判定编码均不一致,则确定该任一元数据为已变更元数据,且当前时刻元数据网络相对于上一时刻元数据网络发生变更。
本实施例通过变更判定编码确定元数据是否发生变更,能够实现快速一致性判定和快速去重,筛选出变更的元数据,准确表征当前时刻元数据网络相对于上一时刻元数据网络发生的变更。
图4是本申请实施例提供的软件设施异常判断方法的流程示意图之四。参照图4,在一个实施例中,根据已变更元数据识别出已变更特值数据和已变更异值数据,可以包括:
401、对各已变更元数据按照权重由大到小进行排序,选取排序靠前的多条已变更元数据对应的软件设施数据作为特值数据;
权重是根据已变更元数据关联其他元数据的数量和关联的其他元数据中各字段的信息熵设定的;
402、若特值数据对应的已变更元数据相比上一时刻元数据网络属于新增元数据,或特值数据对应的已变更元数据相比上一时刻元数据网络属于被删除元数据,或特值数据对应的已变更元数据相比上一时刻元数据网络属于被修改元数据,则确定该特值数据为已变更特值数据。
步骤401中,元数据关联其他元数据的数量越多,关联的其他元数据中各字段的信息熵加总值越大,该元数据的权重越大,或,元数据关联其他元数据的数量越多,与其他元数据相关联的字段的信息熵加总值越大,该元数据的权重越大。
在每次生成元数据网络后,对网络中的每条元数据加权,若有元数据被确认为已变更元数据,则按照事先确定的权重对这些已变更元数据进行排序,排序靠前的已变更元数据为对元数据网络影响较大的元数据,这些已变更元数据的变化会引起多条关联元数据的变化,需要特别关注,与此同时,这些已变更元数据对应的特值数据也为对软件设施影响较大的数据,需要特别关注。
步骤402中,确定该特值数据为已变更特值数据之后,还可以将已变更特值数据进行分类存储。
本实施例根据已变更元数据的权重得到对软件设施影响较大的特值数据,再根据该特值数据对应元数据是否发生变更得到已变更特值数据,实现已变更特值数据的快速识别。
图5是本申请实施例提供的软件设施异常判断方法的流程示意图之五。参照图5,在一个实施例中,根据已变更元数据识别出已变更特值数据和已变更异值数据,还可以包括:
501、判断已变更元数据是否存在父元数据;
502、若已变更元数据不存在父元数据,且已变更元数据的唯一标识与上一时刻元数据网络中各元数据的唯一标识均不一致,则确定该已变更元数据对应的软件设施数据为异值数据;
503、若该异值数据对应的已变更元数据相比上一时刻元数据网络中各元数据属于新字典值且发生了数值范围变化,则确定该异值数据为已变更异值数据;
504、若已变更元数据存在父元数据,且该父元数据与上一时刻元数据网络中各元数据的父元数据均不一致,则确定该父元数据对应的软件设施数据为异值数据;
505、若该异值数据对应的父元数据相比上一时刻元数据网络中各父元数据属于新字典值且发生了数值范围变化,则确定该异值数据为已变更异值数据;
506、若已变更元数据存在父元数据,且该父元数据对应的多条元数据中存在特定元数据,该特定元数据与上一时刻元数据网络中各元数据均不一致,则确定该特定元数据对应的软件设施数据为异值数据;
507、若该异值数据对应的特定元数据相比上一时刻元数据网络中各元数据属于新字典值且发生了数值范围变化,则确定该异值数据为已变更异值数据。
异值数据可以表征底层软件设施的未知数据,反映软件设施的未知变化,可以通过流式处理得到异值数据和已变更异值数据。
步骤502中,可以将异值数据作为次要特值数据进行保存,供上层查看。
步骤503中,是否字典值和取值范围属于软件设施数据的非关键信息,可根据前述可扩展的确定模式进行识别提取后,作为软件设施数据对应元数据的一部分。当元数据不是字典值时,即为该元数据属于新字典值。
步骤504和步骤506中,由于存在父元数据,而父元数据及其对应的多条元数据关联元数据众多,因此,父元数据及其对应的多条元数据的变化对元数据网络的影响相对较大,因此,对应的异值数据对软件设施的影响也相对较大,可以将异值数据作为特值数据进行保存,供上层查看。
在实际应用中,步骤502、步骤504和步骤506之间没有严格的时序关系;即,可同时执行,或任一步骤先执行,具体根据实际需求而定,此处不做限定,但步骤503必须在步骤502之后执行,步骤505必须在步骤504之后执行,步骤507必须在步骤506之后执行。
本实施例根据已变更元数据和父元数据的不同情况确定异值数据,再根据异值数据对应的元数据是否发生变更得到已变更异值数据,实现已变更异值数据的快速识别。
需要说明的是,对于非周期性数据,特值数据和异值数据被掩藏在文本类的信息主体中,而此类数据会全量呈现给上层,无需特殊检测和处理,因此,对于已变更特值数据和已变更异值数据的识别,仅针对周期数据。
在一个实施例中,根据已变更特值数据生成已变更特值网络,根据已变更异值数据生成已变更异值网络,可以包括:
将已变更特值数据和已变更特值数据对应的元数据进行组合,得到已变更特值网络;
将已变更异值数据和已变更异值数据对应的元数据进行组合,得到已变更异值网络。
可以将已变更特值网络和已变更异值网络保存为XML格式。
需要说明的是,已变更异值网络中包括不存在父元数据的元数据对应的已变更异值数据、并行元数据对应的已变更异值数据、父元数据对应的已变更异值数据以及存在父元数据的元数据对应的已变更异值数据。
对于存在父元数据的元数据对应的已变更异值数据,需要先对父元数据对应的已变更异值数据进行编织,再根据数据路径图,对该存在父元数据的元数据对应的已变更异值数据进行编织,共同形成已变更异值网络。
本实施例通过已变更特值数据及其对应元数据的组合得到已变更特值网络,通过已变更异值数据及其对应元数据的组合得到已变更异值网络,能够通过已变更特值网络和已变更异值网络突出特值数据、异值数据以及与两者对应的元数据变化。
在一个实施例中,根据已变更特值网络和已变更异值网络生成已变更特异值时间序列网络,可以包括:
若已变更特值数据对应的元数据不存在父元数据和并行元数据,且已变更异值数据对应的元数据不存在父元数据和并行元数据,则根据已变更特值数据在历史时刻的变更情况和已变更异值数据在历史时刻的变更情况,将已变更特值网络和已变更异值网络在时间范围内延伸并合并,生成已变更特异值时间序列网络;
若已变更特值数据对应的元数据存在父元数据或并行元数据,或已变更异值数据对应的元数据存在父元数据或并行元数据,则根据父元数据或并行元数据对应的软件设施数据在历史时刻的变更情况、已变更特值数据在历史时刻的变更情况、已变更异值数据在历史时刻的变更情况,将已变更特值网络和已变更异值网络在时间范围内延伸并合并,按照特定时间周期进行分段,得到时间切片数据;
根据时间切片数据生成已变更特异值时间序列网络。
需要说明的是,还可以按照时间序列标识已变更特异值时间序列网络中已变更特异值对应的元数据及其版本信息,另外,也可以将已变更特异值时间序列网络保存为XML格式,提供给上层用于未知故障的分析和处理。
本实施例通过生成已变更特异值时间序列网络,能够实现已变更特值数据和已变更异值数据在特定时间周期内变化的可知可控,从而快速准确地判断软件设施是否发生异常,提高软件设施的可用性。
在一个实施例中,将多个标识设定为软件设施数据的核心元数据之后,包括:
若核心元数据中只存在名称标识和ID标识,则将该核心元数据直接进行缓存;
若核心元数据中存在三个及以上的标识,则至多选取其中三个标识进行缓存。
异值数据实际对应于周期性的软件设施感知数据,由于这部分数据量大,且此类感知数据通常需要根据核心元数据进行关联转译,因此,需要先对标识或核心元数据进行缓存,以保证流式处理的及时性。
本实施例通过对标识或核心元数据进行缓存,能够在已变更异值数据识别时保证流式处理的及时性。
在一个实施例中,确定确定任一元数据为已变更元数据之后,可以包括:
若已变更元数据的业务编码与上一时刻元数据网络中某条元数据的业务编码一致,则确定该已变更元数据的变更类型为细节变更;
若已变更元数据的业务编码与上一时刻元数据网络中各元数据的业务编码均不一致,则确定该已变更元数据的变更类型为整体新增。
另外,还可以根据长期无法匹配的元数据业务编码,实现对某一元数据整体失效的评估。
不论是细节变更还是整体新增,都可以提供两种方式进行变更确认,一是默认自动变更,提供变更配置通知并上报上层平台,供上层平台查看,二是提供变更配置通知并上报的同时,提供变更配置确认接口,由上层应用人为或自动确认变更。
本实施例通过业务编码比较,能够快速确定元数据变更的类型。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种软件设施异常判断方法,其特征在于,包括:
实时采集软件设施数据,根据所述软件设施数据自动生成对应元数据;
根据所述元数据生成元数据网络;
若当前时刻元数据网络相对于上一时刻元数据网络发生变更,则根据已变更元数据识别出已变更特值数据和已变更异值数据;
根据所述已变更特值数据生成已变更特值网络,根据所述已变更异值数据生成已变更异值网络;
根据所述已变更特值网络和所述已变更异值网络生成已变更特异值时间序列网络;
根据所述已变更特异值时间序列网络判断所述软件设施是否出现异常。
2.根据权利要求1所述的软件设施异常判断方法,其特征在于,所述根据所述软件设施数据自动生成对应元数据,包括:
若所述软件设施数据为结构化数据,则将所有软件设施数据中的字段按照字段长度进行聚类;
在每个字段长度类别中进行抽样,根据抽样字段的数据结构模式之间的离散程度生成每条软件设施数据中各字段的信息熵和长度标签;
若所述软件设施数据为周期数据,且所述软件设施数据中各字段只存在一个信息熵最大值,则根据所述信息熵最大值对应的字段生成所述软件设施数据的唯一标识;
若所述软件设施数据为周期数据,且所述软件设施数据中各字段存在两个及以上相等的信息熵最大值,则根据所述信息熵最大值对应的多个字段生成所述软件设施数据的多个标识;
将所述软件设施数据的关键信息和非关键信息的组合确定为所述软件设施数据对应的元数据;其中,所述关键信息包括所述唯一标识、所述信息熵和所述长度标签,或所述关键信息包括所述多个标识、所述信息熵和所述长度标签,当所述关键信息包括所述多个标识时,将所述多个标识设定为所述软件设施数据的核心元数据。
3.根据权利要求2所述的软件设施异常判断方法,其特征在于,所述根据所述元数据生成元数据网络,包括:
生成所述元数据的业务编码和变更判定编码;
若任意两条元数据均存在唯一标识,且所述任意两条元数据的两个唯一标识均为名称标识或均为ID标识,则根据所述任意两条元数据中各字段的信息熵和长度标签,将所述任意两条元数据进行关联;
将相互关联的两条元数据中任一元数据设置为另一元数据的并行元数据,并将两条所述并行元数据的业务编码进行关联,生成元数据网络;
若任意两条元数据均存在多个标识,且所述任意两条元数据中的每条元数据的多个标识均包含名称标识和ID标识,则定位所述核心元数据,根据所述核心元数据进行关联转译,将所述任意两条元数据进行关联;
将所述核心元数据设置为所述任意两条元数据的父元数据,并将所述父元数据对应的所述任意两条元数据的业务编码进行关联,生成元数据网络。
4.根据权利要求3所述的软件设施异常判断方法,其特征在于,所述根据已变更元数据识别出已变更特值数据和已变更异值数据之前,包括:
若当前时刻元数据网络中任一元数据的变更判定编码与上一时刻元数据网络中各元数据的变更判定编码均不一致,则确定所述任一元数据为已变更元数据,且当前时刻元数据网络相对于上一时刻元数据网络发生变更。
5.根据权利要求3所述的软件设施异常判断方法,其特征在于,所述根据已变更元数据识别出已变更特值数据和已变更异值数据,包括:
对各已变更元数据按照权重由大到小进行排序,选取排序靠前的多条已变更元数据对应的软件设施数据作为特值数据;所述权重是根据已变更元数据关联其他元数据的数量和关联的其他元数据中各字段的信息熵设定的;
若所述特值数据对应的已变更元数据相比上一时刻元数据网络属于新增元数据,或所述特值数据对应的已变更元数据相比上一时刻元数据网络属于被删除元数据,或所述特值数据对应的已变更元数据相比上一时刻元数据网络属于被修改元数据,则确定所述特值数据为已变更特值数据。
6.根据权利要求3所述的软件设施异常判断方法,其特征在于,所述根据已变更元数据识别出已变更特值数据和已变更异值数据,还包括:
若所述已变更元数据不存在父元数据,且所述已变更元数据的唯一标识与上一时刻元数据网络中各元数据的唯一标识均不一致,则确定所述已变更元数据对应的软件设施数据为异值数据;
若所述异值数据对应的已变更元数据相比上一时刻元数据网络中各元数据属于新字典值且发生了数值范围变化,则确定所述异值数据为已变更异值数据;
若所述已变更元数据存在父元数据,且所述父元数据与上一时刻元数据网络中各元数据的父元数据均不一致,则确定所述父元数据对应的软件设施数据为异值数据;
若所述异值数据对应的父元数据相比上一时刻元数据网络中各父元数据属于新字典值且发生了数值范围变化,则确定所述异值数据为已变更异值数据;
若所述已变更元数据存在父元数据,且所述父元数据对应的多条元数据中存在特定元数据,所述特定元数据与上一时刻元数据网络中各元数据均不一致,则确定所述特定元数据对应的软件设施数据为异值数据;
若所述异值数据对应的特定元数据相比上一时刻元数据网络中各元数据属于新字典值且发生了数值范围变化,则确定所述异值数据为已变更异值数据。
7.根据权利要求1所述的软件设施异常判断方法,其特征在于,所述根据所述已变更特值数据生成已变更特值网络,根据所述已变更异值数据生成已变更异值网络,包括:
将所述已变更特值数据和所述已变更特值数据对应的元数据进行组合,得到已变更特值网络;
将所述已变更异值数据和所述已变更异值数据对应的元数据进行组合,得到已变更异值网络。
8.根据权利要求3所述的软件设施异常判断方法,其特征在于,所述根据所述已变更特值网络和所述已变更异值网络生成已变更特异值时间序列网络,包括:
若所述已变更特值数据对应的元数据不存在父元数据和并行元数据,且所述已变更异值数据对应的元数据不存在父元数据和并行元数据,则根据所述已变更特值数据在历史时刻的变更情况和所述已变更异值数据在历史时刻的变更情况,将所述已变更特值网络和所述已变更异值网络在时间范围内延伸并合并,生成已变更特异值时间序列网络;
若所述已变更特值数据对应的元数据存在父元数据或并行元数据,或所述已变更异值数据对应的元数据存在父元数据或并行元数据,则根据所述父元数据或所述并行元数据对应的软件设施数据在历史时刻的变更情况、所述已变更特值数据在历史时刻的变更情况、所述已变更异值数据在历史时刻的变更情况,将所述已变更特值网络和所述已变更异值网络在时间范围内延伸并合并,按照特定时间周期进行分段,得到时间切片数据;
根据所述时间切片数据生成已变更特异值时间序列网络。
9.根据权利要求2所述的软件设施异常判断方法,其特征在于,所述将所述多个标识设定为所述软件设施数据的核心元数据之后,包括:
若所述核心元数据中只存在名称标识和ID标识,则将所述核心元数据直接进行缓存;
若所述核心元数据中存在三个及以上的标识,则至多选取其中三个标识进行缓存。
10.根据权利要求4所述的软件设施异常判断方法,其特征在于,所述确定所述任一元数据为已变更元数据之后,包括:
若所述已变更元数据的业务编码与上一时刻元数据网络中某条元数据的业务编码一致,则确定所述已变更元数据的变更类型为细节变更;
若所述已变更元数据的业务编码与上一时刻元数据网络中各元数据的业务编码均不一致,则确定所述已变更元数据的变更类型为整体新增。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211609513.3A CN115599657B (zh) | 2022-12-15 | 2022-12-15 | 软件设施异常判断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211609513.3A CN115599657B (zh) | 2022-12-15 | 2022-12-15 | 软件设施异常判断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115599657A true CN115599657A (zh) | 2023-01-13 |
CN115599657B CN115599657B (zh) | 2023-03-17 |
Family
ID=84854131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211609513.3A Active CN115599657B (zh) | 2022-12-15 | 2022-12-15 | 软件设施异常判断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115599657B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150007319A1 (en) * | 2013-06-28 | 2015-01-01 | Kaspersky Lab Zao | Flexible fingerprint for detection of malware |
CN105847283A (zh) * | 2016-05-13 | 2016-08-10 | 深圳市傲天科技股份有限公司 | 一种基于信息熵方差分析的异常流量检测方法 |
US9690938B1 (en) * | 2015-08-05 | 2017-06-27 | Invincea, Inc. | Methods and apparatus for machine learning based malware detection |
CN109450721A (zh) * | 2018-09-06 | 2019-03-08 | 南京聚铭网络科技有限公司 | 一种基于深度神经网络的网络异常行为识别方法 |
CN110059013A (zh) * | 2019-04-24 | 2019-07-26 | 北京百度网讯科技有限公司 | 软件升级后正常运行的确定方法及装置 |
CN112905371A (zh) * | 2021-01-28 | 2021-06-04 | 清华大学 | 基于异构多源数据异常检测的软件变更检查方法和装置 |
WO2021213247A1 (zh) * | 2020-04-24 | 2021-10-28 | 华为技术有限公司 | 一种异常检测方法及装置 |
CN113705714A (zh) * | 2021-09-03 | 2021-11-26 | 上海观安信息技术股份有限公司 | 基于行为序列的配电物联网设备异常行为检测方法及装置 |
CN114816901A (zh) * | 2022-02-28 | 2022-07-29 | 南开大学 | 通过ai的方式对软件变更后的健康状态进行评估的方法 |
CN115277464A (zh) * | 2022-05-13 | 2022-11-01 | 清华大学 | 基于多维时间序列分析的云网络变更流量异常检测方法 |
-
2022
- 2022-12-15 CN CN202211609513.3A patent/CN115599657B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150007319A1 (en) * | 2013-06-28 | 2015-01-01 | Kaspersky Lab Zao | Flexible fingerprint for detection of malware |
US9690938B1 (en) * | 2015-08-05 | 2017-06-27 | Invincea, Inc. | Methods and apparatus for machine learning based malware detection |
CN105847283A (zh) * | 2016-05-13 | 2016-08-10 | 深圳市傲天科技股份有限公司 | 一种基于信息熵方差分析的异常流量检测方法 |
CN109450721A (zh) * | 2018-09-06 | 2019-03-08 | 南京聚铭网络科技有限公司 | 一种基于深度神经网络的网络异常行为识别方法 |
CN110059013A (zh) * | 2019-04-24 | 2019-07-26 | 北京百度网讯科技有限公司 | 软件升级后正常运行的确定方法及装置 |
WO2021213247A1 (zh) * | 2020-04-24 | 2021-10-28 | 华为技术有限公司 | 一种异常检测方法及装置 |
CN112905371A (zh) * | 2021-01-28 | 2021-06-04 | 清华大学 | 基于异构多源数据异常检测的软件变更检查方法和装置 |
CN113705714A (zh) * | 2021-09-03 | 2021-11-26 | 上海观安信息技术股份有限公司 | 基于行为序列的配电物联网设备异常行为检测方法及装置 |
CN114816901A (zh) * | 2022-02-28 | 2022-07-29 | 南开大学 | 通过ai的方式对软件变更后的健康状态进行评估的方法 |
CN115277464A (zh) * | 2022-05-13 | 2022-11-01 | 清华大学 | 基于多维时间序列分析的云网络变更流量异常检测方法 |
Non-Patent Citations (2)
Title |
---|
杨柳;: "半结构化时间序列中异常数据挖掘算法仿真" * |
蔡亮等: "即时软件缺陷预测研究进展", 《软件学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN115599657B (zh) | 2023-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220092063A1 (en) | Method and system for implementing machine learning classifications | |
CN110609759B (zh) | 一种故障根因分析的方法及装置 | |
US10237295B2 (en) | Automated event ID field analysis on heterogeneous logs | |
US20180307576A1 (en) | Field content based pattern generation for heterogeneous logs | |
CN114153702A (zh) | 用于在日志分析系统中实现日志解析器的方法和系统 | |
CN108052408B (zh) | 基于告警信息内容的告警工单快速提交方法及系统 | |
US11727025B2 (en) | Method and system for implementing a log parser in a log analytics system | |
CN112769605B (zh) | 一种异构多云的运维管理方法及混合云平台 | |
CN116070206B (zh) | 一种异常行为检测方法、系统、电子设备及存储介质 | |
CN113239365B (zh) | 一种基于知识图谱的漏洞修复方法 | |
CN113495902A (zh) | 数据处理方法及数据标准管理系统 | |
CN111078512A (zh) | 告警记录生成方法、装置、告警设备及存储介质 | |
CN113608952B (zh) | 一种基于日志构建支持环境的系统故障处理方法及系统 | |
CN114443437A (zh) | 告警根因输出方法、装置、设备、介质和程序产品 | |
CN105426544A (zh) | 监控数据库状态的方法及装置 | |
CN113157904A (zh) | 基于dfa算法的敏感词过滤方法及系统 | |
CN115599657B (zh) | 软件设施异常判断方法 | |
CN112988780A (zh) | 数据校核方法和装置、存储介质及电子设备 | |
CN117201646A (zh) | 一种电力物联终端报文的深度解析方法 | |
CN115544202A (zh) | 告警处理方法、装置及存储介质 | |
Mijumbi et al. | MAYOR: machine learning and analytics for automated operations and recovery | |
CN114691700A (zh) | 一种基于kafaka集群的智慧园区的检索方法 | |
CN113824589B (zh) | 基于RESTful的切片能力开放接口映射方法 | |
CN111143318A (zh) | 一种信息处理方法、装置、电子设备及存储介质 | |
CN110471373B (zh) | 信息处理方法、程序和信息处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |