CN112835769A - 一种业务数据异常诊断方法、装置、设备及存储介质 - Google Patents

一种业务数据异常诊断方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112835769A
CN112835769A CN202110213253.7A CN202110213253A CN112835769A CN 112835769 A CN112835769 A CN 112835769A CN 202110213253 A CN202110213253 A CN 202110213253A CN 112835769 A CN112835769 A CN 112835769A
Authority
CN
China
Prior art keywords
data
service data
training
prediction model
target time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110213253.7A
Other languages
English (en)
Inventor
蔡鹏�
罗玉来
史博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dingxiang Technology Co ltd
Original Assignee
Beijing Dingxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dingxiang Technology Co ltd filed Critical Beijing Dingxiang Technology Co ltd
Priority to CN202110213253.7A priority Critical patent/CN112835769A/zh
Publication of CN112835769A publication Critical patent/CN112835769A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3058Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种业务数据异常诊断方法、装置、设备及存储介质,涉及智能化运维技术领域。该方法包括:获取目标时间之前预设时段内的多个历史业务数据;将各历史业务数据分别输入预先训练的数据上限预测模型、数据下限预测模型,由该数据上限预测模型和该数据下限预测模型分别输出上限预测值、下限预测值;根据该目标时间对应的真实业务数据、该上限预测值以及该下限预测值,确定该目标时间对应的真实业务数据是否异常;若该目标时间对应的真实业务数据异常,则输出异常报警信息。应用本申请实施例,可以提高业务数据异常诊断的准确性。

Description

一种业务数据异常诊断方法、装置、设备及存储介质
技术领域
本申请涉及智能化运维技术领域,具体而言,涉及一种业务数据异常诊断方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展,各业务平台产生的业务数据会以特定的形式存入日志系统中。为了保证各业务平台所支撑的业务正常进行,一般会从日志系统中提取与监控指标对应的业务数据,通过对这些业务数据进行异常诊断使各业务平台的故障消灭在萌芽阶段。
目前,主要利用人工设置的规则判断当前的业务数据是否异常,比如,该人工设置的规则可以为一个区间,若当前的业务数据没有在该区间内,则触发异常报警,即该业务数据为异常,反之亦然。
然而,某些业务具有很强的周期性,比如对应的业务数据会有突增或者突减的属性,当利用现有技术的方式对业务数据进行异常诊断时,会导致大量的异常误报现象,会降低业务数据异常诊断的准确性。
发明内容
本申请目的在于,针对上述现有技术中的不足,提供一种业务数据异常诊断方法、装置、设备及存储介质,可以提高业务数据异常诊断的准确性。
为实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供了一种业务数据异常诊断方法,所述方法包括:
获取目标时间之前预设时段内的多个历史业务数据;
将各所述历史业务数据分别输入预先训练的数据上限预测模型、数据下限预测模型,由所述数据上限预测模型和所述数据下限预测模型分别输出上限预测值、下限预测值;
根据所述目标时间对应的真实业务数据、所述上限预测值以及所述下限预测值,确定所述目标时间对应的真实业务数据是否异常;
若所述目标时间对应的真实业务数据异常,则输出异常报警信息。
可选地,所述方法还包括:将所述历史业务数据输入预先训练的基准数据预测模型,由所述基准数据预测模型输出基准预测值。
可选地,所述根据所述目标时间对应的真实业务数据、所述上限预测值以及所述下限预测值,确定所述目标时间对应的真实业务数据是否异常,包括:
根据所述目标时间对应的真实业务数据、所述基准预测值、所述上限预测值、所述下限预测值以及阈值参数,确定所述目标时间对应的真实业务数据是否异常。
可选地,所述根据所述目标时间对应的真实业务数据、所述基准预测值、所述上限预测值、所述下限预测值以及阈值参数,确定所述目标时间对应的真实业务数据是否异常,包括:
根据所述目标时间对应的真实业务数据以及所述基准预测值,计算第一偏差值;
根据所述上限预测值以及所述基准预测值,计算第二偏差值;
根据所述下限预测值以及所述基准预测值,计算第三偏差值;
根据所述第一偏差值、所述第二偏差值以及所述第三偏差值,确定所述目标时间对应的真实业务数据是否异常。
可选地,所述根据所述第一偏差值、所述第二偏差值以及所述第三偏差值,确定所述目标时间对应的真实业务数据是否异常,包括:
计算所述第一偏差值与所述第二偏差值的第一比值,以及,所述第一偏差值与所述第三偏差值的第二比值;
若所述第一比值大于所述阈值参数,或,所述第二比值大于所述阈值参数,则确定所述目标时间对应的真实业务数据存在异常。
可选地,所述将各所述历史业务数据分别输入预先训练的数据上限预测模型、数据下限预测模型之前,所述方法还包括:
根据所述历史业务数据构建多个训练样本,其中,所述训练样本包括样本特征和所述样本特征对应样本标签;
将各所述训练样本分别输入初始基准数据预测模型,在满足第一训练停止条件时,训练得到基准数据预测模型;
将各所述训练样本分别输入所述基准数据预测模型,得到各所述训练样本对应的基准预测值;
将第一训练样本输入初始数据上限预测模型,在满足第二训练停止条件时,训练得到所述数据上限预测模型,所述第一训练样本为所述训练样本中对应的基准预测值小于所述训练样本对应的样本标签的训练样本;
将第二训练样本输入初始数据下限预测模型,在满足第三训练停止条件时,训练得到所述数据下限预测模型,所述第二训练样本为所述训练样本中除所述第一训练样本之外的训练样本。
可选地,所述根据所述历史业务数据构建多个训练样本之后,所述方法还包括:
将各所述训练样本分别输入初始数据清洗模型中,在满足第四训练停止条件时,训练得到数据清洗模型;
将各所述训练样本分别输入所述数据清洗模型,得到各所述训练样本对应的预测值;
根据各所述训练样本的样本标签以及预测值,得到各所述训练样本对应的偏离度;
根据各所述训练样本对应的偏离度以及预设清洗条件,从各所述训练样本中筛选出第三训练样本;
所述将各所述训练样本分别输入初始基准数据预测模型,在满足第一训练停止条件时,训练得到基准数据预测模型,包括:
将所述第三训练样本输入所述初始基准数据预测模型,在满足所述第一训练停止条件时,训练得到所述基准数据预测模型。
第二方面,本申请实施例还提供了一种业务数据异常诊断装置,所述装置包括:
获取模块,用于获取目标时间之前预设时段内的多个历史业务数据;
输入模块,用于将各所述历史业务数据分别输入预先训练的数据上限预测模型、数据下限预测模型,由所述数据上限预测模型和所述数据下限预测模型分别输出上限预测值、下限预测值;
确定模块,用于根据所述目标时间对应的真实业务数据、所述上限预测值以及所述下限预测值,确定所述目标时间对应的真实业务数据是否异常;
输出模块,用于若所述目标时间对应的真实业务数据异常,则输出异常报警信息。
可选地,所述输入模块,还用于将所述历史业务数据输入预先训练的基准数据预测模型,由所述基准数据预测模型输出基准预测值。
可选地,所述确定模块,还具体用于根据所述目标时间对应的真实业务数据、所述基准预测值、所述上限预测值、所述下限预测值以及阈值参数,确定所述目标时间对应的真实业务数据是否异常。
可选地,所述确定模块,还具体用于根据所述目标时间对应的真实业务数据以及所述基准预测值,计算第一偏差值;根据所述上限预测值以及所述基准预测值,计算第二偏差值;根据所述下限预测值以及所述基准预测值,计算第三偏差值;根据所述第一偏差值、所述第二偏差值以及所述第三偏差值,确定所述目标时间对应的真实业务数据是否异常。
可选地,所述确定模块,还具体用于计算所述第一偏差值与所述第二偏差值的第一比值,以及,所述第一偏差值与所述第三偏差值的第二比值;若所述第一比值大于所述阈值参数,或,所述第二比值大于所述阈值参数,则确定所述目标时间对应的真实业务数据存在异常。
可选地,所述装置还包括:
构建模块,用于根据所述历史业务数据构建多个训练样本,其中,所述训练样本包括样本特征和所述样本特征对应样本标签;
训练模块,用于将各所述训练样本分别输入初始基准数据预测模型,在满足第一训练停止条件时,训练得到基准数据预测模型;
所述输入模块,还用于将各所述训练样本分别输入所述基准数据预测模型,得到各所述训练样本对应的基准预测值;
所述训练模块,还用于将第一训练样本输入初始数据上限预测模型,在满足第二训练停止条件时,训练得到所述数据上限预测模型,所述第一训练样本为所述训练样本中对应的基准预测值小于所述训练样本对应的样本标签的训练样本;
所述训练模块,还用于将第二训练样本输入初始数据下限预测模型,在满足第三训练停止条件时,训练得到所述数据下限预测模型,所述第二训练样本为所述训练样本中除所述第一训练样本之外的训练样本。
可选地,所述训练模块,还用于将各所述训练样本分别输入初始数据清洗模型中,在满足第四训练停止条件时,训练得到数据清洗模型;
所述输入模块,还用于将各所述训练样本分别输入所述数据清洗模型,得到各所述训练样本对应的预测值;根据各所述训练样本的样本标签以及预测值,得到各所述训练样本对应的偏离度;
所述装置还包括筛选模块,所述筛选模块,用于根据各所述训练样本对应的偏离度以及预设清洗条件,从各所述训练样本中筛选出第三训练样本;
相应地,所述输入模块,还用于将所述第三训练样本输入所述初始基准数据预测模型,在满足所述第一训练停止条件时,训练得到所述基准数据预测模型。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行上述第一方面的所述业务数据异常诊断方法的步骤。
第四方面,本申请实施例提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面的所述业务数据异常诊断方法的步骤。
本申请的有益效果是:
本申请实施例提供一种业务数据异常诊断方法、装置、设备及存储介质,该方法可以包括:获取目标时间之前预设时段内的多个历史业务数据;将各历史业务数据分别输入预先训练的数据上限预测模型、数据下限预测模型,由该数据上限预测模型和该数据下限预测模型分别输出上限预测值、下限预测值;根据该目标时间对应的真实业务数据、该上限预测值以及该下限预测值,确定该目标时间对应的真实业务数据是否异常;若该目标时间对应的真实业务数据异常,则输出异常报警信息。采用本申请实施例提供的业务数据异常诊断方法,可以通过历史业务数据、数据上限预测模型以及数据下限预测模型对目标时间对应的业务数据区间进行预测,得到业务数据区间的上限预测值以及下限预测值,在获取到该目标时间对应的真实业务数据后,可判断该真实业务数据是否在该业务数据区间内,若该真实业务数据不在该业务数据区间内,则表示该真实业务数据为异常数据。这样可以避免业务数据发生正常抖动时,如某些业务会有定时突增或突减的情况,存在大量的异常误报现象,可以提高业务数据异常诊断的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种业务数据异常诊断方法的流程示意图;
图2为本申请实施例提供的另一种业务数据异常诊断方法的流程示意图;
图3为本申请实施例提供的又一种业务数据异常诊断方法的流程示意图;
图4为本申请实施例提供的再一种业务数据异常诊断方法的流程示意图;
图5为本申请实施例提供的一种业务数据异常诊断装置的结构示意图;
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在对本申请实施例进行详细解释之前,首先对本申请的应用场景予以介绍。该应用场景具体可以为对网站的流量数据进行异常诊断的场景,也可以为对CPU的负载数据进行异常诊断的场景,本申请不对其进行限定。一般情况下,为了保证各业务平台所支撑的业务正常进行,会采用各种各样的监控平台对业务数据的各个监控指标进行监控,及时发现业务平台存在的异常情况,最大程度的降低业务平台产生的损失。用于支持该监控平台的服务器可预先根据多个历史业务数据训练用于预测目标时间对应的上限以及下限的模型,通过该模型可得到目标时间对应的业务数据区间,在监控平台获取到目标时间对应的真实业务数据时,可判断该真实业务数据是否在预测得到的业务数据区间内,若该真实业务数据在预测得到的业务数据区间内,则代表着该真实业务数据正常,若该真实业务数据不在预测得到的业务数据区间内,则代表这该真实业务数据异常。也就是说,通过模型训练的方式预测业务数据区间,这样可以在业务发生正常抖动时,避免发生大量的异常误报现象,可以提高业务数据异常诊断的准确性。
如下结合附图对本申请所提到的业务数据异常诊断方法进行示例说明。图1为本申请实施例提供的一种业务数据异常诊断方法的流程示意图。如图1所示,该方法可包括:
S101、获取目标时间之前预设时段内的多个历史业务数据。
其中,预设时段可根据实际需求进行限定,如目标时间为T+1,则该预设时段可表示为(T-n,T),其中,n一般为整数。需要说明的是,本申请不对预设时段进行限定。业务平台产生的业务数据与其对应的时间信息也特定的形式存储在日志系统中,业务平台产生的业务数据中包括用于表征业务平台是否正常运行的监控指标,通常,用于支撑监控平台的服务器会从日志系统中获取监控指标对应的业务数据,需要说明的是,本申请不对监控指标的具体类型进行限定。
S102、将各历史业务数据分别输入预先训练的数据上限预测模型、数据下限预测模型,由该数据上限预测模型和该数据下限预测模型分别输出上限预测值、下限预测值。
其中,可将该目标时间之前的多个历史业务数据分别输入该数据上限预测模型中,该多个历史业务数据对应的时间信息在预设时段内,该数据上限预测模型可根据输入的历史业务数据预测出该目标时间对应的业务数据区间的上限。同理,可将该目标时间之前的多个历史业务数据分别输入该数据下限预测模型中,该数据下限预测模型可根据输入的历史业务数据预测出该目标时间对应的业务数据区间的下限,可结合该业务数据区间的下限预测值(x3)以及上限预测值(x2),得到该目标时间对应的业务数据区间(x3,x2)。
S103、根据该目标时间对应的真实业务数据、该上限预测值以及该下限预测值,确定该目标时间对应的真实业务数据是否异常。
S104、若该目标时间对应的真实业务数据异常,则输出异常报警信息。
该监控平台可从日志系统中获取与目标时间对应的业务数据,该业务数据是业务平台产生的真实业务数据,若该真实业务数据在上述提到的业务数据区间(x3,x2)内,则该真实业务数据正常,若该真实业务数据不在上述提到的业务数据区间(x3,x2)内,则该真实业务数据异常,在该真实业务数据异常时,可向工作人员以预先设置的方式发送异常报警信息,用于提醒工作人员对业务平台产生的异常情况原因进行排查以及解决该异常情况。
综上所述,本申请提供的业务数据异常诊断方法中,可以通过历史业务数据、数据上限预测模型以及数据下限预测模型对目标时间对应的业务数据区间进行预测,得到业务数据区间的上限预测值以及下限预测值,在获取到该目标时间对应的真实业务数据后,可判断该真实业务数据是否在该业务数据区间内,若该真实业务数据不在该业务数据区间内,则表示该真实业务数据为异常数据。这样可以避免业务数据发生正常抖动时,如某些业务会有定时突增或突减的情况,存在大量的异常误报现象,可以提高业务数据异常诊断的准确性,降低了运维成本。
可选地,该方法还包括:将该历史业务数据输入预先训练的基准数据预测模型,由该基准数据预测模型输出基准预测值。
其中,将该目标时间之前的多个历史业务数据分别输入预先训练的基准数据预测模型中,该基准数据预测模型可预测出该目标时间对应的基准预测值。举例来说,在对网站的点击量进行监控时,该基准数据预测模型可根据包含当前时刻之前的预设多个时刻对应的点击量预测出当前时刻的下一时刻(目标时间)对应的点击量。
可选地,上述根据该目标时间对应的真实业务数据、该上限预测值以及所述下限预测值,确定该目标时间对应的真实业务数据是否异常,包括:根据该目标时间对应的真实业务数据、该基准预测值、该上限预测值、该下限预测值以及阈值参数,确定该目标时间对应的真实业务数据是否异常。
一般情况下,该阈值参数的默认值为1,工作人员可根据实际需求对该阈值参数的具体数据进行设定。可根据该真实业务数据、该基准预测值、该上限预测值以及该阈值参数判断该真实业务数据是否超出该上限预测值,即该真实业务数据是否大于该上限预测值,若大于,则该真实业务数据异常;可根据该真实业务数据、该基准预测值、该下限预测值以及该阈值参数判断该真实业务数据是否超出该下限预测值,即该真实业务数据是否小于该下限预测值,若小于,则该真实业务数据异常。通过引入阈值参数可对报警频率进行限定,若想要报警频率大,可将该阈值参数设置为大于1的数,若想要报警频率小,可将该阈值参数设置为小于1的数。也就是说,这样工作人员可以通过上述方式很方便的控制报警频率,具有很强的可选性,适用场景广泛。
图2为本申请实施例提供的另一种业务数据异常诊断方法的流程示意图。如图2所示,可选地,上述根据该目标时间对应的真实业务数据、该基准预测值、该上限预测值、该下限预测值以及阈值参数,确定该目标时间对应的真实业务数据是否异常,包括:
S201、根据该目标时间对应的真实业务数据以及该基准预测值,计算第一偏差值。
S202、根据该上限预测值以及该基准预测值,计算第二偏差值。
S203、根据该下限预测值以及该基准预测值,计算第三偏差值。
其中,该目标时间对应的真实业务数据可用y表示,该目标时间对应的基准预测值可用x1表示,则该第一偏差值可表示为(y-x1)或者(x1-y);该上限预测值可用x2表示,则该第二偏差值为该上限预测值(x2)减去该基准预测值(x1),可表示为(x2-x1);该下限预测值可用x3表示,则该第三偏差值为该基准预测值(x1)减去该下限预测值(x3),可表示为(x1-x3)。
S204、根据该第一偏差值、该第二偏差值以及该第三偏差值,确定该目标时间对应的真实业务数据是否异常。
可选地,计算该第一偏差值与该第二偏差值的第一比值,以及,该第一偏差值与该第三偏差值的第二比值;若该第一比值大于该阈值参数,或,该第二比值大于该阈值参数,则确定该目标时间对应的真实业务数据存在异常。
其中,可通过下述方式判断该目标时间对应的真实业务数据(y)是否大于该上限预测值(x2),将该第一偏差值(y-x1)与该第二偏差值(x2-x1)的第一比值(y-x1/x2-x1)与该阈值参数(a)进行比较,若(y-x1/x2-x1)大于a,则代表着该真实业务数据(y)大于该上限预测值(x2),即该目标时间对应的真实业务数据存在异常。
可通过下述方式判断该目标时间对应的真实业务数据(y)是否小于该下限预测值(x3),将该第一偏差值(x1-y)与该第三偏差值(x1-x3)的第二比值(x1-y/x1-x3)与该阈值参数(a)进行比较,若(x1-y/x1-x3)大于a,则代表着该真实业务数据(y)小于该下限预测值(x3),即该目标时间对应的真实业务数据存在异常。
需要说明的是,只要该目标时间对应的真实业务数据大于上限预测值或者小于下限预测值,都代表着该目标时间点对应的真实业务数据存在异常,若该目标时间对应的真实业务数据不仅不大于上限预测值,而且还不小于下限预测值,则代表着该目标时间点对应的真实业务数据正常。
图3为本申请实施例提供的又一种业务数据异常诊断方法的流程示意图。如图3所示,可选地,上述将各历史业务数据分别输入预先训练的数据上限预测模型、数据下限预测模型之前,该方法还包括:
S301、根据该历史业务数据构建多个训练样本,其中,该训练样本包括样本特征和所述样本特征对应样本标签。
其中,可基于目标时间,得到预设时间段内的多个历史业务数据,建设历史业务数据包括(h1、h2、h3、h4、h5、h6、h7、h8),可根据预设的构建方式构建训练样本,如利用滑动窗口方法构建训练样本。假设可构建出5组训练样本,每组训练样本中可包括样本特征以及样本标签,构建出的训练样本具体如下(h1、h2、h3,h4)、(h2、h3、h4,h5)、(h3、h4、h5,h6)、(h4、h5、h6,h7)、(h5、h6、h7,h8),以其中一组训练样本为例进行说明,训练样本(h1、h2、h3,h4)中,(h1、h2、h3)表示样本特征,h4表示样本标签,其他组训练样本类似。需要说明的是,本申请不对构建训练样本的具体方式进行限定。
S302、将各训练样本分别输入初始基准数据预测模型,在满足第一训练停止条件时,训练得到基准数据预测模型。
可将各训练样本分别输入到该初始基准数据预测模型中,将各训练样本中的样本特征分别作为该初始基准数据预测模型的输入,将各训练样本中的样本标签作为该初始基准数据预测模型的输出,结合该第一训练停止条件对该初始基准数据预测模型中的参数进行训练,在满足该第一训练停止条件时,证明该初始基准数据预测模型已训练完成,将训练完成的初始基准数据预测模型称为基准数据预测模型。
S303、将各训练样本分别输入该基准数据预测模型,得到各训练样本对应的基准预测值。
S304、将第一训练样本输入初始数据上限预测模型,在满足第二训练停止条件时,训练得到该数据上限预测模型,该第一训练样本为该训练样本中对应的基准预测值小于该训练样本对应的样本标签的训练样本。
在训练得到该基准数据预测模型后,可将各训练样本的样本特征输入该基准数据预测模型中,该基准数据预测模型可输出各训练样本的样本特征对应的基准预测值。将各训练样本的样本特征对应的样本标签分别与各训练样本的样本特征对应的基准预测值进行比较,可将基准预测值小于样本标签时对应的训练样本组成第一训练样本,其中,该第一训练样本中包括至少一个训练样本。
在获取到第一训练样本后,可将该第一训练样本中的各训练样本分别输入到该初始数据上限预测模型中,将该第一训练样本中的各训练样本的样本特征分别作为该初始数据上限预测模型的输入,将该第一训练样本中的各训练样本的样本标签作为该初始数据上限预测模型的输出,结合该第二训练停止条件对该初始数据上限预测模型中的参数进行训练,在满足该第二训练停止条件时,证明该初始数据上限预测模型已训练完成,将训练完成的初始数据上限预测模型称为数据上限预测模型。
S305、将第二训练样本输入初始数据下限预测模型,在满足第三训练停止条件时,训练得到该数据下限预测模型,该第二训练样本为该训练样本中除该第一训练样本之外的训练样本。
其中,将各训练样本的样本特征对应的样本标签分别与各训练样本的样本特征对应的基准预测值进行比较,可将基准预测值大于样本标签时对应的训练样本组成第一训练样本,即除了组成第一训练样本之外的训练样本可组成该第二训练样本,其中,该第二训练样本中包括至少一个训练样本。
在获取到第二训练样本后,可将该第二训练样本中的各训练样本分别输入到该初始数据下限预测模型中,将该第二训练样本中的各训练样本的样本特征分别作为该初始数据下限预测模型的输入,将该第二训练样本中的各训练样本的样本标签作为该初始数据下限预测模型的输出,结合该第三训练停止条件对该初始数据下限预测模型中的参数进行训练,在满足该第三训练停止条件时,证明该初始数据下限预测模型已训练完成,将训练完成的初始数据下限预测模型称为数据下限预测模型。
该基准数据预测模型、该数据上限预测模型以及该数据下限预测模型组成的异常诊断模型可适用于各种复杂的业务场景中,大大减少了复杂业务的异常误报现象,提升了报警系统的价值,并且该异常诊断模型具有可迁移性,可部署到其他业务场景中,避免了其他业务场景的冷启动现象。
图4为本申请实施例提供的再一种业务数据异常诊断方法的流程示意图。如图4所示,可选地,上述根据该历史业务数据构建多个训练样本之后,该方法还包括:
S401、将各训练样本分别输入初始数据清洗模型中,在满足第四训练停止条件时,训练得到数据清洗模型。
可将利用多个历史业务数据狗将的各训练样本中的样本特征分别作为该初始数据清洗模型的输入,将各训练样本中的样本标签作为该初始数据清洗模型的输出,结合该第四训练停止条件对该初始数据清洗模型中的参数进行训练,在满足该第四训练停止条件时,证明该初始数据清洗模型已训练完成,将训练完成的初始数据清洗模型称为数据清洗模型。
S402、将各训练样本分别输入该数据清洗模型,得到各训练样本对应的预测值。
S403、根据各训练样本的样本标签以及预测值,得到各训练样本对应的偏离度。
其中,可分别将各训练样本中的样本特征输入到该数据清洗模型中,该数据清洗模型可分别输出各训练样本中的样本特征对应的预测值。根据各训练样本中的样本特征对应的预测值以及样本标签(真实值),可分别得到各训练样本对应的样本特征与预测值之间的偏离度,该偏离度表示样本特征与预测值之间差值的绝对值。
S404、根据各训练样本对应的偏离度以及预设清洗条件,从各训练样本中筛选出第三训练样本。
S405、将该第三训练样本输入该初始基准数据预测模型,在满足该第一训练停止条件时,训练得到该基准数据预测模型。
其中,可根据各训练样本对应的偏离度从小到大的顺序或者从大到小的顺序对各训练样本进行排序。其中,预设清洗条件可为将整体前面的1%和整体后面1%的对应的训练样本进行剔除,将剔除后剩下的训练样组成第三训练样本。
在得到该第三训练样本后,可将该第三训练样本中的各训练样本分别输入该初始基准数据预测模型中,基于该第一训练停止条件可对该初始基准数据预测模型中的参数进行调整,在满足该第一训练停止条件时,可训练得到述基准数据预测模型。这样可以在清洗操作后,在提高第三训练样本的精度的前提下,可以提高训练该初始基准数据预测模型的效率以及精确。
图5为本申请实施例提供的一种业务数据异常诊断装置的结构示意图。如图5所示,该装置可以包括:
获取模块501,用于获取目标时间之前预设时段内的多个历史业务数据;
输入模块502,用于将各历史业务数据分别输入预先训练的数据上限预测模型、数据下限预测模型,由该数据上限预测模型和该数据下限预测模型分别输出上限预测值、下限预测值;
确定模块503,用于根据该目标时间对应的真实业务数据、该上限预测值以及该下限预测值,确定该目标时间对应的真实业务数据是否异常;
输出模块504,用于若该目标时间对应的真实业务数据异常,则输出异常报警信息。
可选地,输入模块502,还用于将该历史业务数据输入预先训练的基准数据预测模型,由该基准数据预测模型输出基准预测值。
可选地,确定模块503,还具体用于根据该目标时间对应的真实业务数据、该基准预测值、该上限预测值、该下限预测值以及阈值参数,确定该目标时间对应的真实业务数据是否异常。
可选地,确定模块503,还具体用于根据该目标时间对应的真实业务数据以及该基准预测值,计算第一偏差值;根据该上限预测值以及该基准预测值,计算第二偏差值;根据该下限预测值以及该基准预测值,计算第三偏差值;根据该第一偏差值、该第二偏差值以及该第三偏差值,确定该目标时间对应的真实业务数据是否异常。
可选地,确定模块503,还具体用于计算该第一偏差值与该第二偏差值的第一比值,以及,该第一偏差值与该第三偏差值的第二比值;若该第一比值大于该阈值参数,或,该第二比值大于该阈值参数,则确定该目标时间对应的真实业务数据存在异常。
可选地,该装置还包括:构建模块,用于根据该历史业务数据构建多个训练样本,其中,该训练样本包括样本特征和所述样本特征对应样本标签;训练模块,用于将各训练样本分别输入初始基准数据预测模型,在满足第一训练停止条件时,训练得到基准数据预测模型;输入模块502,还用于将各训练样本分别输入该基准数据预测模型,得到各训练样本对应的基准预测值;该训练模块,还用于将第一训练样本输入初始数据上限预测模型,在满足第二训练停止条件时,训练得到该数据上限预测模型,该第一训练样本为该训练样本中对应的基准预测值小于该训练样本对应的样本标签的训练样本;该训练模块,还用于将第二训练样本输入初始数据下限预测模型,在满足第三训练停止条件时,训练得到该数据下限预测模型,该第二训练样本为该训练样本中除该第一训练样本之外的训练样本。
可选地,该训练模块,还用于将各训练样本分别输入初始数据清洗模型中,在满足第四训练停止条件时,训练得到数据清洗模型;输入模块502,还用于将各训练样本分别输入该数据清洗模型,得到各训练样本对应的预测值;根据各训练样本的样本标签以及预测值,得到各训练样本对应的偏离度;该装置还包括筛选模块,该筛选模块,用于根据各训练样本对应的偏离度以及预设清洗条件,从各训练样本中筛选出第三训练样本;相应地,输入模块502,还用于将该第三训练样本输入该初始基准数据预测模型,在满足该第一训练停止条件时,训练得到该基准数据预测模型。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(Digital Signal Processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
图6为本申请实施例提供的一种电子设备的结构示意图,如图6所示,该电子设备可以包括:处理器601、存储介质602和总线603,存储介质602存储有处理器601可执行的机器可读指令,当该电子设备运行时,处理器601与存储介质602之间通过总线603通信,处理器601执行机器可读指令,以执行上述业务数据异常诊断方法的步骤。具体实现方式和技术效果类似,这里不再赘述。
可选地,本申请还提供一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述业务数据异常诊断方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种业务数据异常诊断方法,其特征在于,所述方法包括:
获取目标时间之前预设时段内的多个历史业务数据;
将各所述历史业务数据分别输入预先训练的数据上限预测模型、数据下限预测模型,由所述数据上限预测模型和所述数据下限预测模型分别输出上限预测值、下限预测值;
根据所述目标时间对应的真实业务数据、所述上限预测值以及所述下限预测值,确定所述目标时间对应的真实业务数据是否异常;
若所述目标时间对应的真实业务数据异常,则输出异常报警信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述历史业务数据输入预先训练的基准数据预测模型,由所述基准数据预测模型输出基准预测值。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标时间对应的真实业务数据、所述上限预测值以及所述下限预测值,确定所述目标时间对应的真实业务数据是否异常,包括:
根据所述目标时间对应的真实业务数据、所述基准预测值、所述上限预测值、所述下限预测值以及阈值参数,确定所述目标时间对应的真实业务数据是否异常。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标时间对应的真实业务数据、所述基准预测值、所述上限预测值、所述下限预测值以及阈值参数,确定所述目标时间对应的真实业务数据是否异常,包括:
根据所述目标时间对应的真实业务数据以及所述基准预测值,计算第一偏差值;
根据所述上限预测值以及所述基准预测值,计算第二偏差值;
根据所述下限预测值以及所述基准预测值,计算第三偏差值;
根据所述第一偏差值、所述第二偏差值以及所述第三偏差值,确定所述目标时间对应的真实业务数据是否异常。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一偏差值、所述第二偏差值以及所述第三偏差值,确定所述目标时间对应的真实业务数据是否异常,包括:
计算所述第一偏差值与所述第二偏差值的第一比值,以及,所述第一偏差值与所述第三偏差值的第二比值;
若所述第一比值大于所述阈值参数,或,所述第二比值大于所述阈值参数,则确定所述目标时间对应的真实业务数据存在异常。
6.根据权利要求1所述的方法,其特征在于,所述将各所述历史业务数据分别输入预先训练的数据上限预测模型、数据下限预测模型之前,所述方法还包括:
根据所述历史业务数据构建多个训练样本,其中,所述训练样本包括样本特征和所述样本特征对应样本标签;
将各所述训练样本分别输入初始基准数据预测模型,在满足第一训练停止条件时,训练得到基准数据预测模型;
将各所述训练样本分别输入所述基准数据预测模型,得到各所述训练样本对应的基准预测值;
将第一训练样本输入初始数据上限预测模型,在满足第二训练停止条件时,训练得到所述数据上限预测模型,所述第一训练样本为所述训练样本中对应的基准预测值小于所述训练样本对应的样本标签的训练样本;
将第二训练样本输入初始数据下限预测模型,在满足第三训练停止条件时,训练得到所述数据下限预测模型,所述第二训练样本为所述训练样本中除所述第一训练样本之外的训练样本。
7.根据权利要求6所述的方法,其特征在于,所述根据所述历史业务数据构建多个训练样本之后,所述方法还包括:
将各所述训练样本分别输入初始数据清洗模型中,在满足第四训练停止条件时,训练得到数据清洗模型;
将各所述训练样本分别输入所述数据清洗模型,得到各所述训练样本对应的预测值;
根据各所述训练样本的样本标签以及预测值,得到各所述训练样本对应的偏离度;
根据各所述训练样本对应的偏离度以及预设清洗条件,从各所述训练样本中筛选出第三训练样本;
所述将各所述训练样本分别输入初始基准数据预测模型,在满足第一训练停止条件时,训练得到基准数据预测模型,包括:
将所述第三训练样本输入所述初始基准数据预测模型,在满足所述第一训练停止条件时,训练得到所述基准数据预测模型。
8.一种业务数据异常诊断装置,其特征在于,所述装置包括:
获取模块,用于获取目标时间之前预设时段内的多个历史业务数据;
输入模块,用于将各所述历史业务数据分别输入预先训练的数据上限预测模型、数据下限预测模型,由所述数据上限预测模型和所述数据下限预测模型分别输出上限预测值、下限预测值;
确定模块,用于根据所述目标时间对应的真实业务数据、所述上限预测值以及所述下限预测值,确定所述目标时间对应的真实业务数据是否异常;
输出模块,用于若所述目标时间对应的真实业务数据异常,则输出异常报警信息。
9.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1-7任一项所述业务数据异常诊断方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1-7任一项所述业务数据异常诊断方法的步骤。
CN202110213253.7A 2021-02-24 2021-02-24 一种业务数据异常诊断方法、装置、设备及存储介质 Pending CN112835769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110213253.7A CN112835769A (zh) 2021-02-24 2021-02-24 一种业务数据异常诊断方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110213253.7A CN112835769A (zh) 2021-02-24 2021-02-24 一种业务数据异常诊断方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112835769A true CN112835769A (zh) 2021-05-25

Family

ID=75933459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110213253.7A Pending CN112835769A (zh) 2021-02-24 2021-02-24 一种业务数据异常诊断方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112835769A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486302A (zh) * 2021-07-12 2021-10-08 浙江网商银行股份有限公司 数据处理方法及装置
CN113709223A (zh) * 2021-08-18 2021-11-26 上海明略人工智能(集团)有限公司 平台异常的监测方法、装置、电子设备及可读存储介质
CN113723956A (zh) * 2021-08-09 2021-11-30 上海浦东发展银行股份有限公司 异常监控方法、装置、设备及存储介质
CN113743532A (zh) * 2021-09-16 2021-12-03 睿云奇智(重庆)科技有限公司 异常检测方法、装置、设备及计算机存储介质
CN115208938A (zh) * 2022-07-06 2022-10-18 中移互联网有限公司 用户行为管控方法及装置、计算机可读存储介质
CN115442214A (zh) * 2022-09-02 2022-12-06 中国工商银行股份有限公司 业务异常排障方法、装置、设备、存储介质和程序产品
CN117076260A (zh) * 2023-10-17 2023-11-17 杭州和利时自动化有限公司 一种参数及设备异常检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN110535864A (zh) * 2019-08-30 2019-12-03 北京达佳互联信息技术有限公司 服务异常检测方法、装置、设备及存储介质
CN111143102A (zh) * 2019-12-13 2020-05-12 东软集团股份有限公司 异常数据检测方法、装置、存储介质及电子设备
CN112101998A (zh) * 2020-09-15 2020-12-18 北京嘀嘀无限科技发展有限公司 残值确定方法、模型获取方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN110535864A (zh) * 2019-08-30 2019-12-03 北京达佳互联信息技术有限公司 服务异常检测方法、装置、设备及存储介质
CN111143102A (zh) * 2019-12-13 2020-05-12 东软集团股份有限公司 异常数据检测方法、装置、存储介质及电子设备
CN112101998A (zh) * 2020-09-15 2020-12-18 北京嘀嘀无限科技发展有限公司 残值确定方法、模型获取方法、装置、设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486302A (zh) * 2021-07-12 2021-10-08 浙江网商银行股份有限公司 数据处理方法及装置
CN113723956A (zh) * 2021-08-09 2021-11-30 上海浦东发展银行股份有限公司 异常监控方法、装置、设备及存储介质
CN113709223A (zh) * 2021-08-18 2021-11-26 上海明略人工智能(集团)有限公司 平台异常的监测方法、装置、电子设备及可读存储介质
CN113743532A (zh) * 2021-09-16 2021-12-03 睿云奇智(重庆)科技有限公司 异常检测方法、装置、设备及计算机存储介质
CN113743532B (zh) * 2021-09-16 2024-03-19 睿云奇智(重庆)科技有限公司 异常检测方法、装置、设备及计算机存储介质
CN115208938A (zh) * 2022-07-06 2022-10-18 中移互联网有限公司 用户行为管控方法及装置、计算机可读存储介质
CN115208938B (zh) * 2022-07-06 2023-08-01 中移互联网有限公司 用户行为管控方法及装置、计算机可读存储介质
CN115442214A (zh) * 2022-09-02 2022-12-06 中国工商银行股份有限公司 业务异常排障方法、装置、设备、存储介质和程序产品
CN117076260A (zh) * 2023-10-17 2023-11-17 杭州和利时自动化有限公司 一种参数及设备异常检测方法及装置
CN117076260B (zh) * 2023-10-17 2024-01-26 杭州和利时自动化有限公司 一种参数及设备异常检测方法及装置

Similar Documents

Publication Publication Date Title
CN112835769A (zh) 一种业务数据异常诊断方法、装置、设备及存储介质
CN108537544B (zh) 一种交易系统实时监控方法及其监控系统
JP6355683B2 (ja) リスク早期警報方法、装置、記憶媒体およびコンピュータプログラム
US10616040B2 (en) Managing network alarms
CN111368980A (zh) 状态检测方法、装置、设备及存储介质
US11645540B2 (en) Deep graph de-noise by differentiable ranking
CN113676343A (zh) 电力通信网故障源定位方法及装置
CN115396324A (zh) 一种网络安全态势感知预警处理系统
CN112131381A (zh) 警情高发地的识别方法、装置、电子设备及存储介质
CN116756522B (zh) 概率预报方法、装置、存储介质及电子设备
CN111428963B (zh) 一种数据处理方法及装置
CN113329128B (zh) 话务数据预测方法及装置、电子设备、存储介质
CN114938339A (zh) 一种数据处理方法和相关装置
CN113123955A (zh) 柱塞泵异常检测方法、装置、存储介质及电子设备
CN114861909A (zh) 模型质量监控方法、装置、电子设备以及存储介质
WO2023111392A1 (en) Method and system for modifying state of device using detected anomalous behavior
CN110457367B (zh) 发现数据异动的方法和系统
CN112465259B (zh) 一种基于深度神经网络的开关故障预测方法
CN117880055B (zh) 基于传输层指标的网络故障诊断方法、装置、设备及介质
CN116488994A (zh) 告警故障预测方法、装置、设备及存储介质
AU2020225753A1 (en) Improved computer-implemented event forecasting and information provision
CN117851157A (zh) 一种基于深度学习的服务器集群健康度预测方法及系统
CN116932326A (zh) 服务器故障监测方法、装置、设备、介质和程序产品
CN114237856A (zh) 运算类型识别方法、装置、电子设备及存储介质
CN118037414A (zh) 一种项目风险管理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination