CN111338837B - 数据处理方法、装置、设备及介质 - Google Patents

数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN111338837B
CN111338837B CN202010135524.7A CN202010135524A CN111338837B CN 111338837 B CN111338837 B CN 111338837B CN 202010135524 A CN202010135524 A CN 202010135524A CN 111338837 B CN111338837 B CN 111338837B
Authority
CN
China
Prior art keywords
parameter
configuration
target
sub
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010135524.7A
Other languages
English (en)
Other versions
CN111338837A (zh
Inventor
黄晓光
郭飞
岳聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010135524.7A priority Critical patent/CN111338837B/zh
Publication of CN111338837A publication Critical patent/CN111338837A/zh
Application granted granted Critical
Publication of CN111338837B publication Critical patent/CN111338837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793Remedial or corrective actions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书一个或多个实施例提供了一种数据处理方法、装置、设备及介质。在一种实施例中,一种数据处理方法包括:首先获取待检测服务器的第一当前配置数据,然后,对第一当前配置数据中的第一配置参数进行数据解析,得到第一配置参数的第一参数解析结果,接着,将第一参数解析结果输入到预设基线模型,得到第一参数解析结果对应的破线识别结果,其中,预设基线模型根据目标配置参数的第二参数解析结果生成,目标配置参数为合法参数,最后,在破线识别结果为破线的情况下,确定第一配置参数为非法参数。

Description

数据处理方法、装置、设备及介质
技术领域
本说明书一个或多个实施例涉及数据处理技术领域,尤其涉及一种数据处理方法、装置、设备及介质。
背景技术
随着业务系统的更新和业务变化,业务系统的配置数据会不定期发生变化。目前,在配置数据发生变化的情况下,一般通过人工方式判断变化后的配置数据中的配置参数是否为合法参数。
但是,随着业务系统中的服务器数量的增加,对每个服务器的配置数据的合法性进行人工检测变得越来越复杂,可能出现配置数据的漏检或者误检,降低了配资数据合法性检测的准确率和可靠性。
发明内容
本说明书一个或多个实施例提供了一种数据处理方法、装置、设备及介质,能够提高对服务器的配置数据合法性检测的准确性和可靠性。
本说明书一个或多个实施例提供的技术方案如下:
第一方面,提供了一种数据处理方法,该方法包括:
获取待检测服务器的第一当前配置数据;
对第一当前配置数据中的第一配置参数进行数据解析,得到第一配置参数的第一参数解析结果;
将第一参数解析结果输入到预设基线模型,得到第一参数解析结果对应的破线识别结果;其中,预设基线模型根据目标配置参数的第二参数解析结果生成,目标配置参数为合法参数;
在破线识别结果为破线的情况下,确定第一配置参数为非法参数。
第二方面,提供了一种数据处理装置,该装置包括:
第一获取模块,用于获取待检测服务器的第一当前配置数据;
第一解析模块,用于对第一当前配置数据中的第一配置参数进行数据解析,得到第一配置参数的第一参数解析结果;
模型识别模块,用于将第一参数解析结果输入到预设基线模型,得到第一参数解析结果对应的破线识别结果;其中,预设基线模型根据目标配置参数的第二参数解析结果生成,目标配置参数为合法参数;
第一确定模块,用于在破线识别结果为破线的情况下,确定第一配置参数为非法参数。
第三方面,提供了一种数据处理设备,该设备包括:处理器以及存储有计算机程序指令的存储器;
处理器执行计算机程序指令时实现如第一方面所述的数据处理方法。
第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面所述的数据处理方法。
根据上述的本说明书一个或多个实施例,能够在获取到待检测服务器的第一当前配置数据之后,确定第一当前配置数据中的第一配置参数的第一参数解析结果,然后,将第一参数解析结果输入根据目标配置参数的第二参数解析结果生成的预设基线模型中,得到第一参数解析结果对应的破线识别结果,从而可以在破线识别结果为破线的情况下,确定第一配置参数为非法参数,从而可以准确、高效、可靠地对待检测服务器的第一当前配置数据中的非法参数进行识别。
附图说明
为了更清楚地说明本说明书一个或多个实施例的技术方案,下面将对本说明书一个或多个实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中一个示例的业务系统的结构示意图;
图2是本说明书一个实施例提供的数据处理方法的流程示意图;
图3是本说明书一个实施例提供的配置参数修正过程的流程示意图;
图4是本说明书一个实施例提供的数据处理装置的结构示意图;
图5是本说明书一个实施例提供的数据处理设备的硬件结构示意图。
具体实施方式
下面将详细描述本说明书的各个方面的特征和示例性实施例,为了使本说明书的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本说明书进行进一步详细描述。应理解,此处所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。对于本领域技术人员来说,本说明书可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本说明书的示例来提供对本说明书更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
图1示出了现有技术中一个示例的业务系统的结构示意图。如图1所示,该业务系统包括多个业务服务器110和监控服务器120,业务服务器110和监控服务器120均可以是一种高性能的电子计算器,用于存储和处理数据。
具体地,业务服务器110用于提供业务服务,在业务服务发生变化时,业务服务器110中的配置数据也随之发生变化。监控服务器120能够实时监控每个业务服务器110中的配置数据,并确定发生变化的配置数据,然后获取变化后的配置数据,以将变化后的配置数据展示给运维人员,使运维人员可以对变化后的配置数据的合法性进行人工检测,筛选出变化后的配置数据中的非法参数,并且根据经验修正非法参数,使每个业务服务器110能够正常运行。
但是,随着业务系统中的服务器和配置数据的数量越来越多,对每个服务器的配置数据的合法性进行人工检测变得越来越复杂,可能出现配置数据的漏检或者误检,降低了配置数据的合法性检测结果的准确率和可靠性。
因此,为了解决现有技术中的上述问题,本说明书一个或多个实施例提供了一种数据处理方法、装置、设备及介质。下面首先对本说明书所提供的数据处理方法进行介绍。
图2示出了本说明书一个实施例提供的数据处理方法的流程示意图。
在本说明书一些实施例中,图2所示的数据处理方法可以由服务器执行,例如,图1所示的监控服务器120。如图2所示,该数据处理方法可以包括:
S210、获取待检测服务器的第一当前配置数据;
S220、对第一当前配置数据中的第一配置参数进行数据解析,得到第一配置参数的第一参数解析结果;
S230、将第一参数解析结果输入到预设基线模型,得到第一参数解析结果对应的破线识别结果;其中,预设基线模型根据目标配置参数的第二参数解析结果生成,目标配置参数为合法参数;
S240、在破线识别结果为破线的情况下,确定第一配置参数为非法参数。
在本说明书实施例中,能够在获取到待检测服务器的第一当前配置数据之后,确定第一当前配置数据中的第一配置参数的第一参数解析结果,然后,将第一参数解析结果输入根据目标配置参数的第二参数解析结果生成的预设基线模型中,得到第一参数解析结果对应的破线识别结果,从而可以在破线识别结果为破线的情况下,确定第一配置参数为非法参数,从而可以准确、高效、可靠地对待检测服务器的第一当前配置数据中的非法参数进行识别。
在本说明书一些实施例的S210中,监控服务器可以实时获取待检测服务器的第一当前配置数据,以对其进行数据处理。其中,待检测服务器可以为图1所示的业务系统中的任意业务服务器110。
在一些实施例中,第一当前配置数据可以包括待检测服务器的当前分布式资源管理(Distributed Resource Manager,DRM)配置数据。在另一些实施例中,第一当前配置数据也可以包括待检测服务器的当前配置表数据。在又一些实施例中,第一当前配置数据还可以包括待检测服务器的当前DRM配置数据和当前配置表数据。
可选地,当前配置表数据可以包括当前实体配置表数据和/或当前虚拟配置表数据。即当前配置表数据可以包括当前实体配置表数据,也可以包括当前虚拟配置表数据,还可以包括当前实体配置表数据和当前虚拟配置表数据,在此不做限制。
在其它实施例中,第一当前配置数据还可以为其它来源的配置数据,只要是具有配置参数,并且配置参数可能在参数变化后变更为非法参数即可。
在本说明书一些实施例中,第一当前配置数据可以为监控服务器所获取的待检测服务器的全部当前数据,即第一当前配置数据可以为全部实时数据。在本说明书另一些实施例中,第一当前配置数据还可以为监控服务器所获取的待检测服务器的全部当前数据中,与上一数据获取时刻相比发生数据变化的数据,即第一当前配置数据可以为实时变更数据。
下面,将针对第一当前配置数据为实时变更数据的情况,对当前DRM配置数据、当前实体配置表数据和当前虚拟配置表数据进行分别说明。
一、当前DRM配置数据
在本说明书实施例中,当前DRM配置数据可以包括已知和未知的DRM配置数据,以进行全量兜底。其中,已知的DRM配置数据指的是用于生成预设基线模型的数据,未知的DRM配置数据指的是预设基线模型未覆盖的数据。
二、当前实体配置表数据
在本说明书实施例中,当前实体配置表数据可以为由CRMAN平台实时获取的最新变更后的当前实体配置表数据。
三、当前虚拟配置表数据
在本说明书实施例中,当前虚拟配置表数据可以为由CRMAN平台实时获取的最新变更后的可以为由CRMAN平台实时获取的最新变更后的当前虚拟配置表数据。
基于上述的各个种类的配置数据,可以提高进行非法参数识别的配置数据的覆盖范围,提高数据处理的可靠性。
在本说明书一些实施例中,每个第一当前配置数据中可能包含有一个或者多个第一配置参数,因此,在S220的对第一当前配置数据中的第一配置参数进行数据解析时,需要分别对每个第一配置参数进行解析,以得到每个第一配置参数对应的第一参数解析结果,以基于每个第一配置参数对应的第一参数解析结果识别该第一配置参数是否为非法参数。
在一些实施例中,第一配置参数可以仅包括一个第一子配置参数,即第一配置参数仅由一组键值(key value,kv)对构成,这样的第一配置参数即为全值段型第一配置参数。
由于第一配置参数仅由一组kv对构成,则可以对这一组kv对进行数据解析,得到该kv对的解析结果,即得到第一子配置参数的第一子参数解析结果,并将其作为第一配置参数的第一参数解析结果。
在另一些实施例中,第一配置参数可以包括多个第一子配置参数,即第一配置参数由多组键值kv对构成,且多组kv对依次嵌套,形成多层结构,这样的第一配置参数即为kv分层型第一配置参数,kv分层可以由单字段参数或多字段参数组合形成。
在这些实施例中,可选地,S220的具体方法可以包括:
对每个第一子配置参数分别进行数据解析,得到每个第一子配置参数的第一子参数解析结果;
其中,多个第一子参数解析结果构成第一配置参数的第一参数解析结果。
具体地,首先需要将第一配置参数中的多层kv对依次分离,得到多组kv对,再分别对每组kv对进行数据解析,得到每组kv对的解析结果,即得到每个第一子配置参数的第一子参数解析结果,并将全部的第一子配置参数的第一子参数解析结果作为第一配置参数的第一参数解析结果。
综上,本说明书实施例可以实现分层多kv对的精细化处理,以对每组kv对进行破线判断,从而提高数据处理的准确性。
在本发明一些实施例中,对第一配置参数进行数据解析的解析内容包括下列中的至少一种:
参数值解析、参数类型解析以及参数顺序解析。
其中,参数值解析可以包括参数值判断、参数值所属的目标参数范围判断、参数值的长度判断、参数值的生命周期判断和参数值的非空判断中的至少一种,参数类型解析可以包括JSON大字段判断和数字/字符串类型判断中的至少一种,参数顺序解析可以包括参数顺序识别、目标字段的字符串识别中的至少一种,目标字段可以为参数前缀或者参数后缀。
在数据解析的解析内容为多种的情况下,第一参数解析结果可以包括第一配置参数的多个第二子参数解析结果。其中,每个第二子参数解析结果对应一种解析内容。
可选地,多个第二子参数解析结果可以包括参数值、参数值所属的目标参数范围、参数值的生命周期和目标字段的字符串。
例如,第一参数解析结果可以具体包括四个第二子参数解析结果:参数值、参数值所属的目标参数范围、参数值的生命周期和参数前缀的字符串。
在这些实施例中,可选地,S230中所述的预设基线模型可以包括多个预设子基线模型,一个第二子参数解析结果与至少一个预设子基线模型相关联。
继续以第一参数解析结果包括参数值、参数值所属的目标参数范围、参数值的生命周期和参数前缀的字符串为例,此时,预设基线模型可以包括五个预设子基线模型:分母池基线模型、区间范围基线模型、前缀匹配基线模型、参数值生命周期基线模型以及服务器投票基线模型。
其中,参数值所属的目标参数范围与分母池基线模型和区间范围基线模型相关联,参数值的生命周期与参数值生命周期基线模型相关联,参数前缀的字符串与前缀匹配基线模型相关联,参数值与服务器投票基线模型相关联。
下面,对分母池基线模型、区间范围基线模型、前缀匹配基线模型、参数值生命周期基线模型和服务器投票基线模型进行分别说明:
分母池基线模型用于指示第一配置参数的参数值的合法参数范围;
区间范围基线模型用于指示第一配置参数的参数值的合法区间范围;其中,合法区间范围包括合法参数范围及其误差范围;
前缀匹配基线模型用于指示第一配置参数的合法前缀字符串;
参数值生命周期基线模型用于指示第一配置参数的合法生命周期;
服务器投票基线模型用于指示由待检测服务器所属的业务系统的全部业务服务器投票确定的第一配置参数的合法值。
在这些实施例中,可选地,S230的具体方法可以包括:
将每个第二子参数解析结果分别输入与其相关联的至少一个预设子基线模型,得到每个第二子参数解析结果对应的破线子识别结果;
根据多个破线子识别结果,确定第一参数解析结果对应的破线识别结果。
例如,可以将上述的参数值所属的目标参数范围分别输入分母池基线模型和区间范围基线模型,得到分母池基线模型和区间范围基线模型分别输出的破线子识别结果,可以将参数值的生命周期输入参数值生命周期基线模型,得到参数值生命周期基线模型输出的破线子识别结果。
在一些实施例中,根据多个破线子识别结果确定第一参数解析结果对应的破线识别结果的具体方法可以为:若任一个破线子识别结果为破线,则确定破线识别结果为破线。
在另一些实施例中,根据多个破线子识别结果确定第一参数解析结果对应的破线识别结果的具体方法也可以为:若至少两个破线子识别结果均为破线,则确定破线识别结果为破线。
例如,若分母池基线模型、区间范围基线模型和服务器投票基线模型输出的破线子识别结果均为破线,则确定破线识别结果为破线。
需要说明的是,可以设置任意两个预设子基线模型输出的破线子识别结果均为破线,则确定破线识别结果为破线,还可以设置模型组合,每个模型组合中包括指定的至少两个预设子基线模型,当任意模型组合中的全部预设子基线模型输出的破线子识别结果均为破线,则确定破线识别结果为破线。
在本发明一些实施例中,目标配置参数可以为待检测服务器的历史配置数据中的目标历史配置参数和/或至少一个目标服务器的第二当前配置数据中的目标第二配置参数;其中,目标服务器与待检测服务器属于相同的业务系统。
在目标配置参数为待检测服务器的历史配置数据中的目标历史配置参数的情况下,目标历史配置参数指的是与第一配置参数内容相同的合法参数。此时,基于待检测服务器本身的历史配置数据所形成的预设基线模型可以为分时模型。
在目标配置参数为至少一个目标服务器的第二当前配置数据中的目标第二配置参数,目标第二配置参数指的是与第一配置参数内容相同的合法参数。此时,基于目标服务器的第二当前配置数据所形成的预设基线模型可以为集群模型。
在目标配置参数可以为待检测服务器的历史配置数据中的目标历史配置参数和至少一个目标服务器的第二当前配置数据中的目标第二配置参数的情况下,所形成的预设基线模型可以为分时模型和集群模型。
在预设基线模型包括多个预设子基线模型的情况下,可以根据预设子基线模型的具体需要,将其设计为分时模型和/或集群模型。
以分母池基线模型为例,其可以包括分母池基线分时子模型和分母池基线集群子模型,其中,分母池基线分时子模型可以根据待检测服务器的历史配置数据中的全部第一配置参数的参数值的合法参数范围生成,分母池基线集群子模型可以根据业务系统中各个目标服务器的第二当前配置数据中的全部与第一配置参数内容相同的第二配置参数的参数值的合法参数范围生成。
分时模型为基线的时间视角,即待检测服务器的变更历史时序视角,可以构成时序算法特征因子库,分时模型可以为OCSVM单类支持向量机模型、高斯统计模型、融合模型等。
集群模型为基线的空间视角,即单时点全服务器集群视角,集群模型可以为聚分类模型,实现与全服务器集群的比对。单时点指的是单一时刻,即集群模型为实时构建的,监控服务器每次获取待检测服务器的第一当前配置数据的同时,会获取至少一个目标服务器的第二当前配置数据,并且基于所获取的第二当前配置数据构建该集群模型。
当预设子基线模型同时包括分时模型和集群模型时,若任一个模型输出的识别结果为破线时,则可以确定预设子基线模型输出的破线子识别结果为破线。
综上,本说明书实施例可以基于分时模型和集群模型实现全集群分时双兜底策略,对每个第一配置参数分别从全集群角度和分时角度进行破线判断,从而提高数据处理的准确性。
在本说明书一些实施例中,在S210之前,该数据处理方法还可以包括:
获取目标配置参数;
对目标配置参数进行与第一配置参数相同的数据解析,得到第二参数解析结果;
根据第二参数解析结果,生成预设基线模型。
具体地,在对第一当前配置数据进行数据处理前,还可以先对每个预定时间段获取目标配置参数,例如每小时获取目标配置参数,然后对目标配置参数进行与第一配置参数相同的数据解析得到第二参数解析结果,并基于第二参数解析结果进行模型训练,生成预设基线模型,从而保证预设基线模型适用于对第一参数解析结果进行破线识别的模型。
在本说明书一些实施例中,该数据处理方法还可以包括:
在破线识别结果为未破线的情况下,确定第一配置参数为合法参数;
根据第一参数解析结果,更新预设基线模型。
具体地,在第一配置参数的破线识别结果为未破线的情况下,可以根据第一参数解析结果更新预设基线模型。由此,在生成预设基线模型之后,无需在每次对第一当前配置数据进行数据处理前重新生成预设基线模型,仅需要利用为合法参数的第一配置参数实时对预设基线模型进行更新即可。
在本说明书一些实施例中,在S240之后,该数据处理方法还可以包括:
向目标设备发送第一请求信息,以使目标设备根据第一请求信息,确定是否存在人工预案;
在接收到人工预案的情况下,根据人工预案,修正第一配置参数,使第一配置参数变更为合法参数。
具体地,目标设备可以为监控终端,以图1所示的业务系统为例,该监控终端可以与监控服务器120通信,用于将变化后的配置数据展示给运维人员,也可以用于根据第一请求信息确定是否存在人工预案。
在一些实施例中,目标设备在接收到第一请求信息的情况下,可以获取第一配置参数,在数据库中查询与该第一配置参数匹配的人工预案,并在查询到人工预案的情况下,将人工预案发送给监控服务器。
在另一些实施例中,目标设备在接收到第一请求信息的情况下,可以向运维人员展示该第一请求信息,并接收运维人员输入的人工预案,在接受到人工预案的情况下,将人工预案发送给监控服务器。
监控服务器在接收到人工预案的情况下,即可以根据人工预案修正第一配置参数,使第一配置参数变更为合法参数。具体地,可以利用人工预案的合法参数替换该第一配置参数,得到变更后的第一配置参数。
在本说明书一些实施例中,在向目标设备发送第一请求信息之后,该数据处理方法还可以包括:
在未接收到人工预案的情况下,获取至少一个目标服务器的第二当前配置数据中的目标第二配置参数,其中,目标服务器与待检测服务器属于相同的业务系统;
根据目标第二配置参数,修正第一配置参数,使第一配置参数变更为合法参数。
其中,监控服务器在未接收到人工预案的情况下,可以获取至少一个目标服务器的第二当前配置数据中的目标第二配置参数,由于目标第二配置参数为与第一配置参数内容相同的合法参数,因此,可以利用目标第二配置参数修正第一配置参数,使第一配置参数变更为合法参数。具体地,可以利用目标第二配置参数替换该第一配置参数,得到变更后的第一配置参数。
在本说明书一些实施例中,在向目标设备发送第一请求信息之后,该数据处理方法还可以包括:
在未接收到人工预案且未获取到目标第二配置参数的情况下,获取待检测服务器的历史配置数据中的目标历史配置参数;
根据目标历史配置参数,修正第一配置参数,使第一配置参数变更为合法参数。
其中,监控服务器在未接收到人工预案且未获取到目标第二配置参数的情况下,可以获取待检测服务器的历史配置数据中的目标历史配置参数,由于目标历史配置参数为与第一配置参数内容相同的合法参数,因此,可以利用目标历史配置参数修正第一配置参数,使第一配置参数变更为合法参数。具体地,可以利用目标历史配置参数替换该第一配置参数,得到变更后的第一配置参数。
需要说明的是,监控服务器可以按照先获取人工预案,再获取目标第二配置参数,最后获取目标历史配置参数的顺序,对第一配置参数进行数据修正;也可以不向目标设备发送第一请求信息,直接按照先获取目标第二配置参数,再获取目标历史配置参数的顺序,对第一配置参数进行数据修正。
由此,本说明书实施例可以在基于预设基线模型进行异动感知并识别出第一配置参数为非法参数后,进行强实时自愈处理,最高可以达到秒级的自愈处理,从而实现具有高准确率的应急兜底能力。
在本说明书一些实施例中,在使第一配置参数变更为合法参数后,还可以向目标设备输出参数修正信息,该参数修正信息可以包括参数变更时间、参数对应的业务系统、参数对应的资源名称、参数对应的详细地址、参数对应的推送环境、当前参数值、推荐修正值、参数处理时长等。
图3示出了本说明书一个实施例提供的配置参数修正过程的流程示意图。
如图3所示,该配置参数修正过程可以具体包括如下步骤:
S301、获取待检测服务器的第一当前配置数据;
S302、解析第一当前配置数据中的第一配置参数,得到第一配置参数的第一参数解析结果;
S303、根据第一参数解析结果,获取检测第一配置参数所需的预设基线模型;
S304、利用预设基线模型判断第一参数解析结果对应的破线识别结果是否为破线,若是,则确定第一配置参数为非法参数,执行S305,若不是,则确定第一配置参数为合法参数,结束修正过程;
S305、判断是否存在人工预案,若存在,则执行S308,利用人工预案修正第一配置参数,若不存在,则执行S306;
S306、判断是否获取到目标第二配置参数,若获取到目标第二配置参数,则执行S308,利用目标第二配置参数修正第一配置参数,若不存在,则执行S307;
S307、获取目标历史配置参数,并执行S308,利用目标历史配置参数修正第一配置参数。
综上所述,本说明书实施例能够将统计分析建模方法应用于基线模型建立,利用待检测服务器的历史配置数据以及业务系统中的其他业务服务器的当前配置数据中的各环境变更数据构建了一系列基于异动检测和推荐算法融合的基线模型,并构建实时(秒级)异动感知,从而能够根据基线模型的识别结果,在确定待检测服务器的配置参数为非法参数的情况下,推荐自愈方案,从而构建得到闭环方案,实现基于智能基线的自愈执行。
并对,本说明书实施例可以将参数修正信息可视化透出,减少运维人员梳理遗漏问题,降低人工成本和工作量,降低人工经验主观判断的不严谨性,可应用于技术风险防范。经过攻防演练,确定本说明书实施例的数据处理方法具有如下优势:最快决策时效100ms,决策耗时平均秒级;查全率100%、召回率100%、查准率95%,参数修正可在5秒内完成。
图4示出了本说明书一个实施例提供的数据处理装置的结构示意图。
在本说明书一些实施例中,图4所示的数据处理装置可以设置于服务器内,例如,图1所示的监控服务器120。如图4所示,该数据处理装置400可以包括:
第一获取模块410,用于获取待检测服务器的第一当前配置数据;
第一解析模块420,用于对第一当前配置数据中的第一配置参数进行数据解析,得到第一配置参数的第一参数解析结果;
模型识别模块430,用于将第一参数解析结果输入到预设基线模型,得到第一参数解析结果对应的破线识别结果;其中,预设基线模型根据目标配置参数的第二参数解析结果生成,目标配置参数为合法参数;
第一确定模块440,用于在破线识别结果为破线的情况下,确定第一配置参数为非法参数。
在本说明书实施例中,能够在获取到待检测服务器的第一当前配置数据之后,确定第一当前配置数据中的第一配置参数的第一参数解析结果,然后,将第一参数解析结果输入根据目标配置参数的第二参数解析结果生成的预设基线模型中,得到第一参数解析结果对应的破线识别结果,从而可以在破线识别结果为破线的情况下,确定第一配置参数为非法参数,从而可以准确、高效、可靠地对待检测服务器的第一当前配置数据中的非法参数进行识别。
在本说明书一些实施例中,目标配置参数为待检测服务器的历史配置数据中的目标历史配置参数和/或至少一个目标服务器的第二当前配置数据中的目标第二配置参数;其中,目标服务器与待检测服务器属于相同的业务系统。
在本说明书一些实施例中,该数据处理装置400还可以包括:
第二获取模块,用于在获取待检测服务器的第一当前配置数据之前,获取目标配置参数;
第二解析模块,用于对目标配置参数进行与第一配置参数相同的数据解析,得到第二参数解析结果;
模型生成模块,用于根据第二参数解析结果,生成预设基线模型。
在本说明书一些实施例中,该数据处理装置400还可以包括:
第二确定模块,用于在破线识别结果为未破线的情况下,确定第一配置参数为合法参数;
模型更新模块,用于根据第一参数解析结果,更新预设基线模型。
在本说明书一些实施例中,第一配置参数可以包括多个第一子配置参数;
在这些实施例中,可选地,第一解析模块420可以具体用于:
对每个第一子配置参数分别进行数据解析,得到每个第一子配置参数的第一子参数解析结果;
其中,多个第一子参数解析结果构成第一配置参数的第一参数解析结果。
在本说明书一些实施例中,第一参数解析结果可以包括第一配置参数的多个第二子参数解析结果,预设基线模型可以包括多个预设子基线模型,一个第二子参数解析结果与至少一个预设子基线模型相关联;
在这些实施例中,可选地,模型识别模块430可以具体用于:
将每个第二子参数解析结果分别输入与其相关联的至少一个预设子基线模型,得到每个第二子参数解析结果对应的破线子识别结果;
根据多个破线子识别结果,确定第一参数解析结果对应的破线识别结果。
在本说明书一些实施例中,多个第二子参数解析结果可以包括参数值、参数值所属的目标参数范围、参数值的生命周期和目标字段的字符串。
在本说明书一些实施例中,该数据处理装置400还可以包括:
信息发送模块,用于在确定第一配置参数为非法参数之后,向目标设备发送第一请求信息,以使目标设备根据第一请求信息,确定是否存在人工预案;
第一修正模块,用于在接收到人工预案的情况下,根据人工预案,修正第一配置参数,使第一配置参数变更为合法参数。
在本说明书一些实施例中,该数据处理装置400还可以包括:
第三获取模块,用于在向目标设备发送第一请求信息之后,在未接收到人工预案的情况下,获取至少一个目标服务器的第二当前配置数据中的目标第二配置参数,其中,目标服务器与待检测服务器属于相同的业务系统;
第二修正模块,用于根据目标第二配置参数,修正第一配置参数,使第一配置参数变更为合法参数。
在本说明书一些实施例中,该数据处理装置400还可以包括:
第四获取模块,用于在向目标设备发送第一请求信息之后,在未接收到人工预案且未获取到目标第二配置参数的情况下,获取待检测服务器的历史配置数据中的目标历史配置参数;
第三修正模块,用于根据目标历史配置参数,修正第一配置参数,使第一配置参数变更为合法参数。
在本说明书一些实施例中,第一当前配置数据可以包括当前分布式资源管理DRM配置数据和/或当前配置表数据。
需要说明的是,图4所示的数据处理装置能够实现图2-3的方法实施例中监控服务器实现的各个过程和效果,为避免重复,这里不再赘述。
图5示出了本说明书一个实施例提供的数据处理设备的硬件结构示意图。本说明书实施例所述的数据处理设备可以为服务器或者终端设备。如图5所示,数据处理设备500包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505、以及输出设备506。其中,输入接口502、中央处理器503、存储器504、以及输出接口505通过总线510相互连接,输入设备501和输出设备506分别通过输入接口502和输出接口505与总线510连接,进而与数据处理设备500的其他组件连接。
具体地,输入设备501接收来自外部的输入信息,并通过输入接口502将输入信息传送到中央处理器503;中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器504中,然后通过输出接口505将输出信息传送到输出设备506;输出设备506将输出信息输出到数据处理设备500的外部供用户使用。
也就是说,图5所示的数据处理设备也可以被实现为包括:存储有计算机可执行指令的存储器;以及处理器,该处理器在执行计算机可执行指令时可以实现本说明书实施例描述的数据处理方法和装置。
本说明书实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现本说明书实施例提供的数据处理方法。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本说明书的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述,仅为本说明书的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本说明书的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本说明书的保护范围之内。

Claims (24)

1.一种数据处理方法,其中,所述方法包括:
获取待检测服务器的第一当前配置数据;
对所述第一当前配置数据中的第一配置参数进行数据解析,得到所述第一配置参数的第一参数解析结果;
将所述第一参数解析结果输入到预设基线模型,得到所述第一参数解析结果对应的破线识别结果;其中,所述预设基线模型根据目标配置参数的第二参数解析结果训练生成,所述目标配置参数为合法参数;
在所述破线识别结果为破线的情况下,确定所述第一配置参数为非法参数。
2.根据权利要求1所述的方法,其中,所述目标配置参数为所述待检测服务器的历史配置数据中的目标历史配置参数和/或至少一个目标服务器的第二当前配置数据中的目标第二配置参数;其中,所述目标服务器与所述待检测服务器属于相同的业务系统。
3.根据权利要求1所述的方法,其中,所述获取待检测服务器的第一当前配置数据之前,还包括:
获取所述目标配置参数;
对所述目标配置参数进行与所述第一配置参数相同的数据解析,得到所述第二参数解析结果;
根据所述第二参数解析结果,生成所述预设基线模型。
4.根据权利要求3所述的方法,其中,还包括:
在所述破线识别结果为未破线的情况下,确定所述第一配置参数为所述合法参数;
根据所述第一参数解析结果,更新所述预设基线模型。
5.根据权利要求1所述的方法,其中,第一配置参数包括多个第一子配置参数;
其中,所述对所述第一当前配置数据中的第一配置参数进行数据解析,得到所述第一配置参数的第一参数解析结果,包括:
对每个所述第一子配置参数分别进行数据解析,得到每个所述第一子配置参数的第一子参数解析结果;
其中,多个所述第一子参数解析结果构成所述第一配置参数的第一参数解析结果。
6.根据权利要求1所述的方法,其中,所述第一参数解析结果包括所述第一配置参数的多个第二子参数解析结果,所述预设基线模型包括多个预设子基线模型,一个所述第二子参数解析结果与至少一个所述预设子基线模型相关联;
其中,所述将所述第一参数解析结果输入到预设基线模型,得到所述第一参数解析结果对应的破线识别结果,包括:
将每个所述第二子参数解析结果分别输入与其相关联的至少一个所述预设子基线模型,得到每个所述第二子参数解析结果对应的破线子识别结果;
根据多个所述破线子识别结果,确定所述第一参数解析结果对应的破线识别结果。
7.根据权利要求6所述的方法,其中,所述多个第二子参数解析结果包括参数值、参数值所属的目标参数范围、所述参数值的生命周期和目标字段的字符串。
8.根据权利要求1所述的方法,其中,所述确定所述第一配置参数为非法参数之后,还包括:
向目标设备发送第一请求信息,以使目标设备根据所述第一请求信息,确定是否存在人工预案;
在接收到所述人工预案的情况下,根据所述人工预案,修正所述第一配置参数,使所述第一配置参数变更为所述合法参数。
9.根据权利要求8所述的方法,其中,所述向目标设备发送第一请求信息之后,还包括:
在未接收到所述人工预案的情况下,获取至少一个目标服务器的第二当前配置数据中的目标第二配置参数,其中,所述目标服务器与所述待检测服务器属于相同的业务系统;
根据所述目标第二配置参数,修正所述第一配置参数,使所述第一配置参数变更为所述合法参数。
10.根据权利要求9所述的方法,其中,所述向目标设备发送第一请求信息之后,还包括:
在未接收到所述人工预案且未获取到所述目标第二配置参数的情况下,获取所述待检测服务器的历史配置数据中的目标历史配置参数;
根据所述目标历史配置参数,修正所述第一配置参数,使所述第一配置参数变更为所述合法参数。
11.根据权利要求1所述的方法,其中,所述第一当前配置数据包括当前分布式资源管理DRM配置数据和/或当前配置表数据。
12.一种数据处理装置,其中,所述装置包括:
第一获取模块,用于获取待检测服务器的第一当前配置数据;
第一解析模块,用于对所述第一当前配置数据中的第一配置参数进行数据解析,得到所述第一配置参数的第一参数解析结果;
模型识别模块,用于将所述第一参数解析结果输入到预设基线模型,得到所述第一参数解析结果对应的破线识别结果;其中,所述预设基线模型根据目标配置参数的第二参数解析结果训练生成,所述目标配置参数为合法参数;
第一确定模块,用于在所述破线识别结果为破线的情况下,确定所述第一配置参数为非法参数。
13.根据权利要求12所述的装置,其中,所述目标配置参数为所述待检测服务器的历史配置数据中的目标历史配置参数和/或至少一个目标服务器的第二当前配置数据中的目标第二配置参数;其中,所述目标服务器与所述待检测服务器属于相同的业务系统。
14.根据权利要求12所述的装置,其中,还包括:
第二获取模块,用于在获取待检测服务器的第一当前配置数据之前,获取所述目标配置参数;
第二解析模块,用于对所述目标配置参数进行与所述第一配置参数相同的数据解析,得到所述第二参数解析结果;
模型生成模块,用于根据所述第二参数解析结果,生成所述预设基线模型。
15.根据权利要求14所述的装置,其中,还包括:
第二确定模块,用于在所述破线识别结果为未破线的情况下,确定所述第一配置参数为所述合法参数;
模型更新模块,用于根据所述第一参数解析结果,更新所述预设基线模型。
16.根据权利要求12所述的装置,其中,第一配置参数包括多个第一子配置参数;
其中,所述第一解析模块具体用于:
对每个所述第一子配置参数分别进行数据解析,得到每个所述第一子配置参数的第一子参数解析结果;
其中,多个所述第一子参数解析结果构成所述第一配置参数的第一参数解析结果。
17.根据权利要求12所述的装置,其中,所述第一参数解析结果包括所述第一配置参数的多个第二子参数解析结果,所述预设基线模型包括多个预设子基线模型,一个所述第二子参数解析结果与至少一个所述预设子基线模型相关联;
其中,所述模型识别模块具体用于:
将每个所述第二子参数解析结果分别输入与其相关联的至少一个所述预设子基线模型,得到每个所述第二子参数解析结果对应的破线子识别结果;
根据多个所述破线子识别结果,确定所述第一参数解析结果对应的破线识别结果。
18.根据权利要求17所述的装置,其中,所述多个第二子参数解析结果包括参数值、参数值所属的目标参数范围、所述参数值的生命周期和目标字段的字符串。
19.根据权利要求12所述的装置,其中,还包括:
信息发送模块,用于在确定所述第一配置参数为非法参数之后,向目标设备发送第一请求信息,以使目标设备根据所述第一请求信息,确定是否存在人工预案;
第一修正模块,用于在接收到所述人工预案的情况下,根据所述人工预案,修正所述第一配置参数,使所述第一配置参数变更为所述合法参数。
20.根据权利要求19所述的装置,其中,还包括:
第三获取模块,用于在向目标设备发送第一请求信息之后,在未接收到所述人工预案的情况下,获取至少一个目标服务器的第二当前配置数据中的目标第二配置参数,其中,所述目标服务器与所述待检测服务器属于相同的业务系统;
第二修正模块,用于根据所述目标第二配置参数,修正所述第一配置参数,使所述第一配置参数变更为所述合法参数。
21.根据权利要求20所述的装置,其中,还包括:
第四获取模块,用于在向目标设备发送第一请求信息之后,在未接收到所述人工预案且未获取到所述目标第二配置参数的情况下,获取所述待检测服务器的历史配置数据中的目标历史配置参数;
第三修正模块,用于根据所述目标历史配置参数,修正所述第一配置参数,使所述第一配置参数变更为所述合法参数。
22.根据权利要求12所述的装置,其中,所述第一当前配置数据包括当前分布式资源管理DRM配置数据和/或当前配置表数据。
23.一种数据处理设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-11任意一项所述的数据处理方法。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-11任意一项所述的数据处理方法。
CN202010135524.7A 2020-03-02 2020-03-02 数据处理方法、装置、设备及介质 Active CN111338837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010135524.7A CN111338837B (zh) 2020-03-02 2020-03-02 数据处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010135524.7A CN111338837B (zh) 2020-03-02 2020-03-02 数据处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111338837A CN111338837A (zh) 2020-06-26
CN111338837B true CN111338837B (zh) 2023-08-25

Family

ID=71184008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010135524.7A Active CN111338837B (zh) 2020-03-02 2020-03-02 数据处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111338837B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939334A (zh) * 2015-03-04 2016-09-14 费希尔-罗斯蒙特系统公司 工业通信网络中的异常检测
CN107705149A (zh) * 2017-09-22 2018-02-16 平安科技(深圳)有限公司 数据实时监控方法、装置、终端设备及存储介质
CN107918579A (zh) * 2016-10-09 2018-04-17 北京神州泰岳软件股份有限公司 一种批量生成基线数据的方法和装置
CN108418768A (zh) * 2018-02-13 2018-08-17 广东欧珀移动通信有限公司 业务数据的识别方法、装置、终端及存储介质
CN108446209A (zh) * 2018-02-02 2018-08-24 珠海金山网络游戏科技有限公司 一种实时智能预警客户端性能数据的方法及装置
CN108595300A (zh) * 2018-03-21 2018-09-28 北京奇艺世纪科技有限公司 一种可配置的监控和报警的方法及装置
CN109542740A (zh) * 2017-09-22 2019-03-29 阿里巴巴集团控股有限公司 异常检测方法及装置
CN109582485A (zh) * 2018-10-26 2019-04-05 阿里巴巴集团控股有限公司 一种配置变更异常检测方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939334A (zh) * 2015-03-04 2016-09-14 费希尔-罗斯蒙特系统公司 工业通信网络中的异常检测
CN107918579A (zh) * 2016-10-09 2018-04-17 北京神州泰岳软件股份有限公司 一种批量生成基线数据的方法和装置
CN107705149A (zh) * 2017-09-22 2018-02-16 平安科技(深圳)有限公司 数据实时监控方法、装置、终端设备及存储介质
CN109542740A (zh) * 2017-09-22 2019-03-29 阿里巴巴集团控股有限公司 异常检测方法及装置
CN108446209A (zh) * 2018-02-02 2018-08-24 珠海金山网络游戏科技有限公司 一种实时智能预警客户端性能数据的方法及装置
CN108418768A (zh) * 2018-02-13 2018-08-17 广东欧珀移动通信有限公司 业务数据的识别方法、装置、终端及存储介质
CN108595300A (zh) * 2018-03-21 2018-09-28 北京奇艺世纪科技有限公司 一种可配置的监控和报警的方法及装置
CN109582485A (zh) * 2018-10-26 2019-04-05 阿里巴巴集团控股有限公司 一种配置变更异常检测方法及装置

Also Published As

Publication number Publication date
CN111338837A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN107992415B (zh) 一种交易系统的故障定位和分析方法及相关服务器
CN113935497A (zh) 智能运维故障处理方法、装置、设备及其存储介质
CN112540811B (zh) 缓存数据的检测方法、装置、计算机设备和存储介质
CN111786781B (zh) 一种ssl证书监控方法、系统、装置、设备及存储介质
CN110086643B (zh) 一种风险识别方法、终端及存储介质
CN111078512B (zh) 告警记录生成方法、装置、告警设备及存储介质
CN110677384A (zh) 钓鱼网站的检测方法及装置、存储介质、电子装置
CN113313280B (zh) 云平台的巡检方法、电子设备及非易失性存储介质
CN112364014B (zh) 数据查询方法、装置、服务器及存储介质
CN112866261A (zh) 基于云计算和用户行为分析的流量检测方法及存储介质
CN110796060B (zh) 高速行车路线确定方法、装置、设备和存储介质
CN111708672B (zh) 数据传输方法、装置、设备及存储介质
CN111338837B (zh) 数据处理方法、装置、设备及介质
CN111752819B (zh) 一种异常监控方法、装置、系统、设备和存储介质
JP2017167578A (ja) インシデント管理システム
CN115168509A (zh) 风控数据的处理方法及装置、存储介质、计算机设备
CN114416417A (zh) 系统异常监测方法、装置、设备及存储介质
CN110532758B (zh) 一种针对群组的风险识别方法及装置
CN113781068A (zh) 线上问题解决方法、装置、电子设备和存储介质
CN106302715A (zh) 一种文件管理方法、装置及系统
CN111651753A (zh) 用户行为分析系统及方法
CN116564423B (zh) 一种微生物宏基因组数据库构建方法及系统
CN113127542B (zh) 一种数据异常分析方法和装置
CN117171816B (zh) 基于工业标识的数据验证方法及相关设备
KR102515081B1 (ko) 객체인식 소프트웨어 학습방법 및 학습장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant