CN112256526A - 基于机器学习的数据实时监控方法以及装置 - Google Patents

基于机器学习的数据实时监控方法以及装置 Download PDF

Info

Publication number
CN112256526A
CN112256526A CN202011094653.2A CN202011094653A CN112256526A CN 112256526 A CN112256526 A CN 112256526A CN 202011094653 A CN202011094653 A CN 202011094653A CN 112256526 A CN112256526 A CN 112256526A
Authority
CN
China
Prior art keywords
predictor
layer
index data
historical
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011094653.2A
Other languages
English (en)
Other versions
CN112256526B (zh
Inventor
李文齐
林诰
刘金杰
乐振浒
赵阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN202011094653.2A priority Critical patent/CN112256526B/zh
Publication of CN112256526A publication Critical patent/CN112256526A/zh
Priority to TW110131573A priority patent/TWI790726B/zh
Priority to US18/008,808 priority patent/US20230222362A1/en
Priority to PCT/CN2021/120587 priority patent/WO2022078186A1/zh
Application granted granted Critical
Publication of CN112256526B publication Critical patent/CN112256526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种基于机器学习的数据实时监控方法以及装置，具体实现方案为：方法包括：采用历史指标数据的真实值训练多层结构预测器，多层结构预测器中每层结构包括多个不同类型的预测器；将待预测的未来时间段输入至训练完成的多层结构预测器中，输出未来指标数据的预测值；根据未来指标数据的预测值和历史预测误差，计算告警阈值范围；在未来指标数据的真实值超出告警阈值范围的情况下，触发告警。由于多层结构预测器能够更准确的预测未来时期监控对象的指标数据，所以提高了告警阈值范围的准确性，告警阈值范围能够更好的随着不停变化的指标数据进行适应性的调整，不仅无需人工设置固定的告警阈值范围，还保证了告警的准确性，减少误报漏报。

Description

基于机器学习的数据实时监控方法以及装置
技术领域
本申请涉及机器学习领域，尤其涉及基于机器学习的数据实时监控领域。
背景技术
业务监控主要侧重对业务系统中的业务状态的指标数据进行实时监控，以便于进行深入的统计分析，帮助业务方发现问题，定位问题根源。当业务系统出现故障时，能够及时准确的发现故障，对于维护业务系统稳定至关重要。由于业务系统出现故障的情况通常反应在一定时间段内业务状态的指标数据的变化。当监控对象的时延指标数据中的某一项出现异常时，就会进行告警，工作人员会根据告警及时处理故障。
现有的对监控方式主要依靠人工划定统一的告警阈值界限。然而，由于每个监控对象的数据特性不同，例如，平均处理时间各不相等，从一毫秒到一千五百毫秒不等，若划定统一的告警阈值界限，则很难适配大部分对象，出现极多的漏报和误报。或者，还可以动态调整告警阈值界限。例如，使用线性回归预测告警阈值界限，将一段时间内的最大值和最小值作为上下告警阈值界限等。然而，划定的动态阈值无法做到适配大量监控对象，或者，划定的动态阈值对某些对象来说只有部分适配，其余部分阈值范围过大或过小，导致较多漏报或误报。
发明内容
本申请实施例提供一种基于机器学习的数据实时监控方法以及装置，以解决相关技术存在的问题，技术方案如下：
第一方面，提供了一种基于机器学习的数据实时监控方法，包括：
采用历史指标数据的真实值训练多层结构预测器，多层结构预测器中每层结构包括多个不同类型的预测器；
将待预测的未来时间段输入至训练完成的多层结构预测器中，输出未来指标数据的预测值；
根据未来指标数据的预测值和历史预测误差，计算告警阈值范围；
在未来指标数据的真实值超出告警阈值范围的情况下，触发告警。
在一种实施方式中，多个不同类型的预测器包括弹性网络预测器、决策树预测器、k近邻预测器、随机森林预测器、套索回归预测器、支持向量回归预测器以及梯度提升预测器。
在一种实施方式中，采用历史指标数据的真实值训练多层结构预测器，包括：
采用历史指标数据的真实值分别训练多个不同类型的第N-1层预测器，训练完成的第N-1层预测器用于预测历史指标数据的第N-1实际预测值；
采用全部的第N-1实际预测值混合得到的混合数据集和历史指标数据的目标预测值，训练至少一个第N层预测器，训练完成的第N层预测器用于预测历史指标数据的第N实际预测值，其中，N大于或等于2；
在层数N达到对应预设值的情况下，多个训练完成的第一层预测器至训练完成的第N层预测器构成多层结构预测器。
在一种实施方式中，还包括：
在所述层数N未达到对应预设值的情况下，返回执行所述采用全部的第N-1实际预测值混合得到的混合数据集和历史指标数据的目标预测值，训练至少一个第N层预测器的步骤。
在一种实施方式中，采用历史指标数据的真实值分别训练多个不同类型的第N-1层预测器，训练完成的第N-1层预测器用于预测历史指标数据的第N-1实际预测值，包括：
将历史指标数据的真实值拆分为第一数据集和第二数据集；
N＝2的情况下，采用所述第一数据集训练所述多个不同类型的第一层预测器，并将所述第二数据集输入至各个训练完成的第一层预测器中，得到对应的历史指标数据的第一实际预测值。
在一种实施方式中，N＝2的情况下，采用第一数据集训练多个不同类型的第一层预测器，并将第二数据集输入至各个训练完成的第一层预测器中，得到对应的历史指标数据的第一实际预测值，包括：
将第一数据集X1(x∈X1)映射到多个第一层预测器对应的特征转换函数f1,f2,…,fM，得到转换特征f1(x)…fj(x)…fM(x)，fj(x)∈实数集；
采用转换特征f1(x),…fj(x)…fM(x)训练多个第一层预测器，得到多个训练完成的第一层预测器对应的第一层预测函数g1…gi…gL；
将第二数据集X2(x∈X2)输入至各个第一层预测函数gi(x)中，得到对应的历史指标数据的第一实际预测值；
其中，i＝1…L，j＝1…M，L≥1，M≥1，M≥L，M表示特征转换函数的数量，L表示第一层预测器的数量。
在一种实施方式中，采用全部的第一实际预测值混合得到的混合数据集和历史指标数据的目标预测值，训练至少一个第N层预测器，包括：
利用转换特征fj(x)计算第一层预测器对应的权重wi，
Figure BDA0002723316140000031
Figure BDA0002723316140000032
vij是线性自由参数；
根据多个第一层预测器对应的权重w1…wi…wL和多个第一层预测函数g1…gi…gL，得到第N层预测器对应的第N层预测函数b(x)＝∑iwigi(x)，即
Figure BDA0002723316140000033
将fj(x)gi(x)作为岭回归算法模型的特征转换函数，将第一数据集X1(x∈X1)映射到特征转换函数fj(x)gi(x)，得到线性自由参数vij；
计算
Figure BDA0002723316140000034
y(x)为第一数据集中数据点x的目标预测值，
Figure BDA0002723316140000035
为X的子集，使得第N层预测器的实际预测值vijfj(x)gi(x)接近目标预测值y(x)的情况下，得到训练完成的第N层预测器。
在一种实施方式中，还包括：
针对第一数据集的历史时期的多个预设时间段，采用预选函数，计算各预设时间段的指标数据的学习率占比，使得在各预设时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
在一种实施方式中，还包括：
针对第二数据集的历史时期的多个预设时间段，采用预选函数，计算各预设时间段的指标数据的学习率占比，使得在各预设时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
在一种实施方式中，还包括：
针对各个历史指标数据的第一实际预测值对应的历史时间段，采用预选函数，计算各历史时间段对应的第一实际预测值的学习率占比，以使各历史时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
在一种实施方式中，根据未来指标数据的预测值和历史预测误差，计算告警阈值范围，包括：
历史指标数据的第N实际预测值减去历史指标数据的真实值等于历史预测误差；
采用三西格玛法则，根据未来指标数据的预测值和历史预测误差计算告警阈值范围。
第二方面，本申请实施例提供了一种基于机器学习的数据实时监控装置，包括：
多层结构预测器训练模块，用于采用历史指标数据的真实值训练多层结构预测器，多层结构预测器中每层结构包括多个不同类型的预测器；
预测值计算模块，用于将待预测的未来时间段输入至训练完成的多层结构预测器中，输出未来指标数据的预测值；
告警阈值范围计算模块，用于根据未来指标数据的预测值和历史预测误差，计算告警阈值范围；
告警触发模块，用于在未来指标数据的真实值超出告警阈值范围的情况下，触发告警。
在一种实施方式中，多个不同类型的预测器包括弹性网络预测器、决策树预测器、k近邻预测器、随机森林预测器、套索回归预测器、支持向量回归预测器以及梯度提升预测器。
在一种实施方式中，多层结构预测器训练模块包括：
第N-1层预测器训练子模块，用于采用所述历史指标数据的真实值分别训练多个不同类型的第N-1层预测器，训练完成的第N-1层预测器用于预测所述历史指标数据的第N-1实际预测值；
第N层预测器训练子模块，用于采用全部的第N-1实际预测值混合得到的混合数据集和所述历史指标数据的目标预测值，训练至少一个第N层预测器，训练完成的第N层预测器用于预测所述历史指标数据的第N实际预测值，其中，N大于或等于2；
多层结构预测器构建子模块，用于在层数N达到对应预设值的情况下，多个训练完成的第一层预测器至训练完成的第N层预测器构成所述多层结构预测器。
在一种实施方式中，多层结构预测器训练模块还包括：
触发子模块，用于在所述层数N未达到对应预设值的情况下，触发所述第N层预测器训练子模块执行所述采用全部的第N-1实际预测值混合得到的混合数据集和历史指标数据的目标预测值，训练至少一个第N层预测器的步骤。
在一种实施方式中，第一层预测器训练子模块，包括：
数据集拆分单元，用于将历史指标数据的真实值拆分为第一数据集和第二数据集；
第一实际预测值计算单元，用于N＝2的情况下，采用第一数据集训练多个不同类型的第一层预测器，并将第二数据集输入至各个训练完成的第一层预测器中，得到对应的历史指标数据的第一实际预测值。
在一种实施方式中,第一实际预测值计算单元包括：
特征转换子单元，用于将第一数据集X1(x∈X1)映射到多个第一层预测器对应的特征转换函数f1,f2,…,fM，得到转换特征f1(x)…fj(x)…fM(x)，fj(x)∈实数集；
第一层预测函数训练子单元，用于采用转换特征f1(x),…fj(x)…fM(x)训练多个第一层预测器，得到多个训练完成的第一层预测器对应的第一层预测函数g1…gi…gL；
第一实际预测值计算子单元，用于将第二数据集X2(x∈X2)输入至各个第一层预测函数gi(x)中，得到对应的历史指标数据的第一实际预测值；
其中，i＝1…L，j＝1…M，L≥1，M≥1，M≥L，M表示特征转换函数的数量，L表示第一层预测器的数量。
在一种实施方式中,第N层预测器训练子模块包括：
权重计算单元，用于利用转换特征fj(x)计算第一层预测器对应的权重wi，
Figure BDA0002723316140000051
vij是线性自由参数；
第N层预测函数计算单元，用于根据多个第一层预测器对应的权重w1…wi…wL和多个第一层预测函数g1…gi…gL，得到第N层预测器对应的第N层预测函数b(x)＝∑iwigi(x)，即
Figure BDA0002723316140000052
线性自由参数计算单元，用于将fj(x)gi(x)作为岭回归算法模型的特征转换函数，将第一数据集X1(x∈X1)映射到特征转换函数fj(x)gi(x)，得到线性自由参数vij；
第N层预测器训练单元，用于计算
Figure BDA0002723316140000061
y(x)为第一数据集中数据点x的目标预测值，
Figure BDA0002723316140000062
为X1的子集，使得第N层预测器的实际预测值vijfj(x)gi(x)接近目标预测值y(x)的情况下，得到训练完成的第N层预测器。
在一种实施方式中,还包括：
第一学习率计算模块，用于针对第一数据集的历史时期的多个预设时间段，采用预选函数，计算各预设时间段的指标数据的学习率占比，使得在各预设时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
在一种实施方式中,还包括：
第二学习率计算模块，用于针对第二数据集的历史时期的多个预设时间段，采用预选函数，计算各预设时间段的指标数据的学习率占比，使得在各预设时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
在一种实施方式中,还包括：
第三学习率计算模块，用于针对各个历史指标数据的第一实际预测值对应的历史时间段，采用预选函数，计算各历史时间段对应的第一实际预测值的学习率占比，以使各历史时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
在一种实施方式中,告警阈值范围计算模块包括：
历史预测误差计算子模块，用于历史指标数据的第N实际预测值减去历史指标数据的真实值等于历史预测误差；
告警阈值范围计算子模块，用于采用三西格玛法则，根据未来指标数据的预测值和历史预测误差计算告警阈值范围。
第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。
第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上述任一项的方法。
上述申请中的一个实施例具有如下优点或有益效果：利用本实施例提供的基于机器学习的指标数据监控方法，对业务系统中成千上万个监控对象的指标数据进行监控并预警。采用了由多种不同预测器构成的多层预测结构，能够更准确的预测出未来时期(包括当前时期)监控对象的指标数据，即未来指标数据的预测值。根据未来指标数据的预测值和历史预测误差计算告警的阈值，当在真实场景中进行监控时，如果未来指标数据的真实值超出了告警阈值，则触发告警。由于多层结构预测器能够更准确的预测未来时期监控对象的指标数据，即得到准确的未来指标数据的预测值，所以提高了告警阈值范围的准确性，使得告警阈值范围能够更好的随着不停变化的指标数据进行适应性的调整，不仅无需人工设置固定的告警阈值范围，还保证了告警的准确性，减少误报或漏报。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请一实施例的一种基于机器学习的数据实时监控方法的示意图；
图2是根据本申请一实施例的另一种基于机器学习的数据实时监控方法的示意图；
图3是根据本申请一实施例的第一层预测器训练方法的场景示意图；
图4是根据本申请一实施例的第二层预测器训练方法的场景的示意图；
图5是根据本申请一实施例的另一种基于机器学习的数据实时监控方法的示意图；
图6是根据本申请一实施例的预测器计算示意图；
图7是根据本申请一实施例的一种基于机器学习的数据实时监控图；
图8是根据本申请一实施例的另一种基于机器学习的数据实时监控图；
图9是根据本申请一实施例的另一种基于机器学习的数据实时监控图；
图10是根据本申请一实施例的另一种基于机器学习的数据实时监控图；
图11是根据本申请一实施例的一种基于机器学习的数据实时监控装置的示意图；
图12是根据本申请另一实施例的一种基于机器学习的数据实时监控装置的示意图；
图13是根据本申请另一实施例的基于机器学习的数据实时监控装置的示意图；
图14是用来实现本申请实施例的一种基于机器学习的数据实时监控方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
业务状态监控过程中，监控对象种类繁多，不同的监控对象在不同时间段的指标数据特性指标数据不同，指标数据的变化规律较为复杂。针对每一个监控对象的每个时刻，由于单一预测器模型对监控对象的覆盖面较窄，且模型的泛化能力较弱，使用单一预测器预测指标数据的效果，并不准确，进而导致告警阈值界限的准确性较差，导致漏报和误报。为了解决此技术问题，本实施方式提供了一种基于机器学习的数据实时监控方法。
如图1所示为本申请的一些实施例提供的一种基于机器学习的数据实时监控方法的流程示意图。图1中的流程可以包括如下步骤：
步骤S110：采用历史指标数据的真实值训练多层结构预测器，多层结构预测器中每层结构包括多个不同类型的预测器；
步骤S120：将待预测的未来时间段输入至训练完成的多层结构预测器中，输出未来指标数据的预测值；
步骤S130：根据未来指标数据的预测值和历史预测误差，计算告警阈值范围；
步骤S140：在未来指标数据的真实值超出告警阈值范围的情况下，触发告警。
一种示例中，监控对象可以是某支行中的CUPS(银联银行卡信息交换系统)中所有电子转账交易、支付转账中的交易、支付转账中的京东支付线、以及某分行的每秒交易等。指标数据能够直接反应监控对象的运行状态，进而判断设备是否有故障。指标数据有多种类型，可以包括上述监控对象的时延指标数据、交易笔数指标数据、TPS(每秒事务处理量，Transaction Per Second)指标数据、网络每秒的上下行流量指标数据等。例如，时延指标数据可以包括响应率、处理时间达标率、平均处理时间等。
历史指标数据的真实值是任意的历史时期中监测到的真实的指标数据。其中，历史时期可以是从今日算起倒回去数若干天，例如，过去三十天、过去五十天、过去一周等历史时期，根据需求进行选择即可。例如，历史时延指标数据的真实值可以包括：过去三十天内监测到的真实的时延指标数据(响应率、处理时间达标率、平均处理时间)。
由于不同类型的指标数据的特性不同，每种不同特性的指标数据选用与其相对应的预测器，以更好的预测对应特性的指标数据。所以，多层结构预测器中每层结构可以采用多个不同类型的预测器，来覆盖各种不同类型的指标数据。多层结构预测器的层数至少包括两层，具体层数根据需求进行适应性的调整。优选的，第一层预测器应当尽量覆盖全部同特性的指标数据，所以第一层预测器的个数和类型应当较为丰富，第二层预测器或者更多层预测器可以设置至少一个预测器。其中，预测器可以是弹性网络预测器、决策树预测器、k近邻预测器、随机森林预测器、套索回归预测器、支持向量回归预测器以及梯度提升预测器等多种类型的预测器。预测器的类型和数量包括但不限于上述几种，可以根据指标数据进行增加其它类型的预测器，均在本实施方式的保护范围内。
利用本实施例提供的基于机器学习的指标数据监控方法，对业务系统中成千上万个监控对象的指标数据进行监控并预警。采用了由多种不同预测器构成的多层预测结构，能够更准确的预测出未来时期(包括当前时期)监控对象的指标数据，即未来指标数据的预测值。根据未来指标数据的预测值和历史预测误差计算告警的阈值，当在真实场景中进行监控时，如果未来指标数据的真实值超出了告警阈值，则触发告警。由于多层结构预测器能够更准确的预测未来时期监控对象的指标数据，即得到准确的未来指标数据的预测值，所以提高了告警阈值范围的准确性，使得告警阈值范围能够更好的随着不停变化的指标数据进行适应性的调整，不仅无需人工设置固定的告警阈值范围，还保证了告警的准确性，减少误报或漏报。
在一种实施方式中，多个不同类型的预测器包括弹性网络预测器、决策树预测器、k近邻预测器、随机森林预测器、套索回归预测器、支持向量回归预测器以及梯度提升预测器。
一种示例中，第一层预测器至第N层预测器均可以包括弹性网络预测器、决策树预测器、k近邻预测器、随机森林预测器、套索回归预测器以及支持向量回归预测器等。具体的数量和类型根据实际需求进行适应性调整，均在本实施方式的保护范围内。如果指标数据的特征较少，倾向于选取套索回归器或者弹性网络预测器，因为它们会将无用特征的权重降为零。当特征数量超过训练实例数量，又或者是几个特征强相关时，弹性网络预测器的表现非常稳定。弹性网络预测器在调参过程中需始终保证L1范数惩罚项和L2范数惩罚项有效。k近邻预测器中采用高斯函数进行权重设计，支持向量回归机采用多项式核函数。
在一种实施方式中，如图2所示，步骤S110，包括：
步骤S111：采用历史指标数据的真实值分别训练多个不同类型的第N-1层预测器，训练完成的第N-1层预测器用于预测历史指标数据的第N-1实际预测值；
步骤S112：采用全部的第N-1实际预测值混合得到的混合数据集和历史指标数据的目标预测值，训练至少一个第N层预测器，训练完成的第N层预测器用于预测历史指标数据的第N实际预测值，其中，N大于或等于2；
步骤S113：在层数N达到对应预设值的情况下，多个训练完成的第一层预测器至训练完成的第N层预测器构成多层结构预测器。
一种示例中，以双层结构预测器(N＝2)为例进行说明采用历史指标数据的真实值训练双层结构预测器的具体的过程，指标数据以时延指标数据为例进行说明。
如图3所示，首先，在训练前对训练集数据(历史指标数据的真实值)进行预处理。当训练数据中存在缺失值时，用该数据前后两天的数据取平均值进行填补。
选择不同类型的预测器作为第一层预测器。第一层预测器可以包括弹性网络预测器(预测器1)、决策树预测器(预测器2)、k近邻预测器(预测器3)、随机森林预测器(预测器4)、套索回归预测器(预测器5)、支持向量回归预测器(预测器6)以及梯度提升预测器(预测器7)等。
在历史时延指标数据的真实值中选取部分数据，作为第一数据集(子集1)，选取另一部分数据，作为第二数据集(子集2)。采用第一数据集训练每个第一层预测器。当每个第一层预测器训练完成之后，将第二数据集输入至每个训练完成的第一层预测器中进行预测，得到预测结果为对应的历史时延指标数据的第一实际预测值。需要注意的是，不同类型的预测器预测得到的历史指标数据的第一实际预测值并不相同。
然后，如图4所示，将各个第一层预测器的全部预测结果混合，得到混合数据集(混合训练集)。混合时保留历史时延指标数据的目标预测值，作为标签，目标预测值是根据历史时延指标数据得到的。采用混合数据集和目标预测值训练一个(或多个)第二层预测器，得到训练完成的第二层预测器，其中，第二层预测器可以是套索回归预测器、随机森林回归预测器等。多个训练完成的第一层预测器和训练完成的第二层预测器构成双层结构预测器。
在一种实施方式中，如图2所示，还包括：
在层数N未达到对应预设值的情况下，返回执行采用全部的第N-1实际预测值混合得到的混合数据集和历史指标数据的目标预测值，训练至少一个第N层预测器的步骤。
一种示例中，如果层数N＝3，历史时延指标数据的真实值中选取部分数据，作为第三数据集。将第三数据集输入至每个训练完成的第二层预测器进行预测，预测结果为对应的历史指标数据的第二实际预测值。采用全部的第二实际预测值混合得到的混合数据集和历史时延指标数据的目标预测值，训练至少一个第三层预测器，第三层预测器作为最后一层，可以是套索回归预测器、随机森林回归预测器等。多个训练完成的第一层预测器、训练完成的第二层预测器以及第三层预测器构成三层结构预测器。同理，多层结构预测器的构建以此类推。
在本申请的一种实施例中，双层结构预测器构建之后，将待预测的未来时间段输入至双层结构预测器中，输出未来时延指标数据的预测值。例如，将明天24小时的时间段输入至双层结构预测器中，此时间段进入各个不同类型的第一层预测器中分别进行预测，输出明天24小时的每个时刻(分或秒)的时延指标数据的第一实际预测值(例如，响应率、处理时间达标率、平均处理时间的第一实际预测值)。将第一层预测器输出的全部预测结果和过去三十天的时延指标数据的目标预测值输入至第二层预测器中，进一步预测得到明天24小时的每个时刻(分或秒)的时延指标数据的第二实际预测值(例如，响应率、处理时间达标率、平均处理时间的第二实际预测值)，作为最终输出的未来时延指标数据的预测值。
将历史时延指标数据的实际值和历史时延指标数据的预测值相减，得到历史预测误差。例如，过去三十天的响应率、处理时间达标率、平均处理时间的实际值和过去三十天的响应率、处理时间达标率、平均处理时间的预测值之差，得到过去三十天的响应率的预测误差、处理时间达标率的预测误差、平均处理时间的预测误差。根据明天24小时的每个时刻(分或秒)的时延指标数据的第二实际预测值和历史预测误差，计算告警阈值范围。对未来时延指标数据进行监控，如果未来时延指标数据的实际值超出告警阈值范围的情况下，触发告警。
本实施方式中，利用多个不同类型的第一层预测器覆盖各种不同类型的指标数据。再利用第二层预测器、第三层预测器等进一步进行预测，使得预测更加准确。通过多层结构预测器来预测未来指标数据的预测值，进一步得到告警阈值范围，使得告警阈值范围更加精确，能够随着不断变化的指标数据，适应性的调整，还提高了训练速度。
在一种实施方式中，如图5所示，步骤S111，包括：
步骤S1111：将历史指标数据的真实值拆分为第一数据集和第二数据集；
步骤S1112：N＝2的情况下，采用第一数据集训练多个不同类型的第一层预测器，并将第二数据集输入至各个训练完成的第一层预测器中，得到对应的历史指标数据的第一实际预测值。
一种示例中，针对某一个监控对象，将历史时期的指标数据随机拆分成第一数据集和第二数据集，拆分的方式可以包括多种，根据需求进行拆分。例如，针对支付转账中的交易，将距离今天的过去第一天至过去第十天的支付转账中的交易的指标数据作为第一数据集，过去第十一天至过去第三十天的指标数据作为第二数据集。
在一种实施方式中，如图5所示，步骤S1112，包括：
步骤S11121：将第一数据集X1(x∈X1)映射到多个第一层预测器对应的特征转换函数f1,f2,…,fM，得到转换特征f1(x)…fj(x)…fM(x)，fj(x)∈实数集；
步骤S11122：采用转换特征f1(x),…fj(x)…fM(x)训练多个第一层预测器，得到多个训练完成的第一层预测器对应的第一层预测函数g1…gi…gL；
步骤S11123：将第二数据集X2(x∈X2)输入至各个第一层预测函数gi(x)中，得到对应的历史指标数据的第一实际预测值；
其中，i＝1…L，j＝1…M，L≥1，M≥1，M≥L，M表示特征转换函数的数量，L表示第一层预测器的数量。
一种示例中，不同类型的第一层预测器的输入特征不同。将第一数据集中的每个数据点通过转换函数转换为各个第一层预测器对应的输入特征f1(x)…fj(x)…fM(x)，便于对各个第一层预测器进行训练。gi(x)是第一层预测器的预测函数，这个预测函数算出来的结果就是第一实际预测值。例如，弹性网络预测函数、决策树预测函数、k近邻预测函数、随机森林预测函数、套索回归预测函数、支持向量回归预测函数以及梯度提升预测函数等。
在一种实施方式中，如图5所示，步骤S112，包括：
步骤S1121：利用转换特征fj(x)计算第一层预测器对应的权重wi，
Figure BDA0002723316140000131
vij是线性自由参数；
步骤S1122：根据多个第一层预测器对应的权重w1…wi…wL和多个第一层预测函数g1…gi…gL，得到第N层预测器对应的第N层预测函数b(x)＝∑iwigi(x)，即
Figure BDA0002723316140000141
步骤S1123：将fj(x)gi(x)作为岭回归算法模型的特征转换函数，将第一数据集X1(x∈X1)映射到特征转换函数fj(x)gi(x)，得到线性自由参数vij；
步骤S1124：计算
Figure BDA0002723316140000142
y(x)为第一数据集中数据点x的目标预测值，
Figure BDA0002723316140000143
为X的子集，使得第N层预测器的实际预测值vijfj(x)gi(x)接近目标预测值y(x)的情况下，得到训练完成的第N层预测器。
一种示例中，如图6所示，将多个不同类型的第一层预测器的输出与特征转换函数通过训练岭回归模型进行组合，从而得到多个不同类型的第一层预测器的权重。例如，线性自由参数v11对应弹性网络回归(ElasticNet)预测函数，线性自由参数v12对应决策树(DecisionTreeRegressor)预测函数，线性自由参数v21对应梯度提升(GradientBoostingRegressor)预测函数，线性自由参数v22对应k近邻(KNeighborsRegressor)预测函数、随机森林(RandomForestsRegressor)预测函数、线性自由参数v32套索回归(Lasso)预测函数、线性自由参数v41支持向量回归(SVR)预测函数。
在一种实施方式中，还包括：
针对第一数据集的历史时期的多个预设时间段，采用预选函数，计算各预设时间段对应的历史指标数据的学习率占比，所述学习率与所述第一层预测器对应的权重成正比，以使预设时间段与当前时期的时间差递减的情况下，每个第一层预测器的学习率递增。
一种示例中，将第一数据集的历史时期(例如，过去三十天)划分为多个预设时间段(例如，过去每天为一个预设时间段)，采用预选函数为高斯函数
Figure BDA0002723316140000144
a＝1,b-0,c＝1，来计算过去三十天中每一天的历史指标数据的权重，使得距离今天越近的历史指标数据，权重越大，高斯函数和学习率正比，在横坐标的0-1范围内，高斯函数值越大，学习率越大。当然，预选函数包括但不限于高斯函数。
学习率(Learning rate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。本实施方式中，学习率使目标函数
Figure BDA0002723316140000145
在合适的时间内收敛到局部最小值。
针对第一数据集的历史时期的多个预设时间段，随着预设时间段与当前时期的时间差递减，第一层预测器对应的权重wi增加，在目标函数收敛时，使得第N层预测器的实际预测值接近目标预测值的情况下，提高了训练完成的第N层预测器的预测能力，更好的适应变化的指标数据。
如图7所示，利用本实施例提供的监控方法监控得到某天某监控对象的实时监控图，指标波动情况(纵坐标单位：毫秒)，横坐标为时间，以每10秒为单位，0点～12点对应0～4320。在2000～4000的区间指标发生波动时，可以看出4000～8000的区间，预测值也随之进行了波动，计算得到的告警阈值在真实值下方，并未超出真实值，并未发生误报。
在一种实施方式中，还包括：
针对第二数据集的历史时期的多个预设时间段，采用预选函数，计算各预设时间段的历史指标数据的学习率占比，所述学习率与所述第一层预测器对应的权重成正比，以使预设时间段与当前时期的时间差递减的情况下，每个训练完成的第一层预测器的学习率递增。
一种示例中，与上述实施方式相似，区别就是将第二数据集的历史时期(例如，过去三十天)划分为多个预设时间段(例如，过去每天为一个预设时间段)即可。
在一种实施方式中，还包括：
针对各个历史指标数据的第一实际预测值对应的历史时间段，采用预选函数，计算各预设时间段的第一层预测值的学习率占比，所述学习率与所述第一层预测器对应的权重成正比，以使预设时间段与当前时期的时间差递减的情况下，每个训练完成的第一层预测器的学习率递增。
一种示例中，与上述实施方式相似，区别就是将各个历史指标数据的第一实际预测值对应的历史时间段(例如，过去三十天)划分为多个预设时间段(例如，过去每天为一个预设时间段)即可。
在一种实施方式中，如图2所示，步骤S130，包括：
步骤S131:历史指标数据的第N实际预测值减去历史指标数据的真实值等于历史预测误差；
步骤S132:采用三西格玛法则，根据未来指标数据的预测值和历史预测误差计算告警阈值范围。
一种示例中，针对双层结构预测器，历史指标数据的第二实际预测值减去历史指标数据的真实值等于历史预测误差。针对三层结构预测器，历史指标数据的第三实际预测值减去历史指标数据的真实值等于历史预测误差。同理，针对多层结构预测器，历史指标数据的第N实际预测值减去历史指标数据的真实值等于历史预测误差。
采用三西格玛法则，根据未来指标数据的预测值和历史预测误差计算告警阈值范围。计算出该监控对象未来24小时每一个时刻的正常情况下的告警阈值范围，当未来24小时中监控对象的指标数据的真实值持续一段时间高于上界限或低于下界限时，则触发告警。具体告警策略可以根据业务需要进行组合与设计，有效提高了告警阈值范围的准确率。
在本申请的一种实施例中，实现的告警阈值范围计算的效果如图8、图9和图10所示：在图8中，代表监控对象HTTP_A_QZ_pay在2020年2月28日0点～12点的平均处理时间指标波动情况(纵坐标单位：毫秒)，横坐标为时间，以每10秒为单位，0点～12点对应0～4320。实线圆圈标出的为故障时的曲线情况，当真实值持续一段时间超过上界限或者低于下界限时触发告警。图9为图8的横坐标从2000到4320的放大图像，可以看出在监控对象出现故障时可以迅速准确的告警，没有漏报。图10中，绿色曲线(第一曲线)代表监控对象HTTP_A_QZ_pay在2020年2月29日0点～12点的平均处理时间指标波动情况(纵坐标单位：毫秒)，横坐标为时间，以每10秒为单位，0点～12点对应0～4320。从2月29日0点开始，该监控对象出现故障，平均处理时间从1300毫秒左右上升到1500毫秒左右，并从0点持续到12点。当真实值持续一段时间超过上界限或者低于下界限时触发告警。监控对象出现故障时可以迅速准确的告警，大幅度减少了漏报和误报。
在本申请的一种实施例中，提供一种基于机器学习的数据实时监控系统，系统包括时延监控Apollo(阿波罗)模型。将预处理完成的训练数据(历史指标数据的真实值)收入至时延监控Apollo(阿波罗)模型(多层结构预测器)，输出监控对象的未来指标数据的预测值。监控系统每过预设时间段加载Apollo(阿波罗)模型的预测结果，根据预测结果和历史预测误差，计算告警阈值范围，在未来指标数据的真实值超出告警阈值范围的情况下，触发告警。监控系统能够并行对440个监控对象进行实时监控，每当监控对象出现故障时模型都可以迅速准确的发出告警。Apollo(阿波罗)模型每天可以训练两次，可以用一台物理机训练506个监控对象，每30个监控对象并行训练，4个小时可以训练完成并得到预测结果。当监控对象的指标数据规律发生变化时，模型可以快速学习到最新规律并反应到第二天的预测值上，确保没有误报和漏报。与使用了深度学习、神经网络的模型相比，模型资源消耗少，训练速度快，可快速适应对象的数据特征变化，该模型包括一个匹配度验证程序，可以选出与该模型适配的监控对象，直接上线，能够完成http和magpie数据源的3852个监控对象的验证，可以用该模型监控的有3649个，适配度可以达到95％。
在另一种具体实施方式中，如图11所示，本申请实施例提供了一种基于机器学习的数据实时监控装置，包括：
多层结构预测器训练模块110，用于采用历史指标数据的真实值训练多层结构预测器，多层结构预测器中每层结构包括多个不同类型的预测器；
预测值计算模块120，用于将待预测的未来时间段输入至训练完成的多层结构预测器中，输出未来指标数据的预测值；
告警阈值范围计算模块130，用于根据未来指标数据的预测值和历史预测误差，计算告警阈值范围；
告警触发模块140，用于在未来指标数据的真实值超出告警阈值范围的情况下，触发告警。
在一种实施方式中，多个不同类型的预测器包括弹性网络预测器、决策树预测器、k近邻预测器、随机森林预测器、套索回归预测器、支持向量回归预测器以及梯度提升预测器。
在一种实施方式中，如图12所示，多层结构预测器训练模块110包括：
第N-1层预测器训练子模块111，用于采用所述历史指标数据的真实值分别训练多个不同类型的第N-1层预测器，训练完成的第N-1层预测器用于预测所述历史指标数据的第N-1实际预测值；
第N层预测器训练子模块112，用于采用全部的第N-1实际预测值混合得到的混合数据集和所述历史指标数据的目标预测值，训练至少一个第N层预测器，训练完成的第N层预测器用于预测所述历史指标数据的第N实际预测值，其中，N大于或等于2；
多层结构预测器构建子模块113，用于在层数N达到对应预设值的情况下，多个训练完成的第一层预测器至训练完成的第N层预测器构成所述多层结构预测器。
在一种实施方式中，如图12所示，还包括：
触发子模块114，用于在所述层数N未达到对应预设值的情况下，触发所述第N层预测器训练子模块112执行所述采用全部的第N-1实际预测值混合得到的混合数据集和历史指标数据的目标预测值，训练至少一个第N层预测器的步骤。
在一种实施方式中，如图13所示，第N-1层预测器训练子模块111，包括：
数据集拆分单元1111，用于将历史指标数据的真实值拆分为第一数据集和第二数据集；
第一实际预测值计算单元1112，用于N＝2的情况下，采用所述第一数据集训练所述多个不同类型的第一层预测器，并将所述第二数据集输入至各个训练完成的第一层预测器中，得到对应的历史指标数据的第一实际预测值。
在一种实施方式中,如图13所示，第一实际预测值计算单元1112包括：
特征转换子单元11121，用于将第一数据集X1(x∈X1)映射到多个第一层预测器对应的特征转换函数f1,f2,…,fM，得到转换特征f1(x)…fj(x)…fM(x)，fj(x)∈实数集；
第一层预测函数训练子单元11122，用于采用转换特征f1(x),…fj(x)…fM(x)训练多个第一层预测器，得到多个训练完成的第一层预测器对应的第一层预测函数g1…gi…gL；
第一实际预测值计算子单元11123，用于将第二数据集X2(x∈X2)输入至各个第一层预测函数gi(x)中，得到对应的历史指标数据的第一实际预测值；
其中，i＝1…L，j＝1…M，L≥1，M≥1，M≥L，M表示特征转换函数的数量，L表示第一层预测器的数量。
在一种实施方式中,如图13所示，第N层预测器训练子模块112包括：
权重计算单元1121，用于利用转换特征fj(x)计算第一层预测器对应的权重wi，
Figure BDA0002723316140000181
vij是线性自由参数；
第N层预测函数计算单元1122，用于根据多个第一层预测器对应的权重w1…wi…wL和多个第一层预测函数g1…gi…gL，得到第N层预测器对应的第N层预测函数b(x)＝∑iwigi(x)，即
Figure BDA0002723316140000191
线性自由参数计算单元1123，用于将fj(x)gi(x)作为岭回归算法模型的特征转换函数，将第一数据集X1(x∈X1)映射到特征转换函数fj(x)gi(x)，得到线性自由参数vij；
第N层预测器训练单元1124，用于计算
Figure BDA0002723316140000192
Figure BDA0002723316140000193
y(x)为第一数据集中数据点x的目标预测值，
Figure BDA0002723316140000194
为X的子集，使得第N层预测器的实际预测值vijfj(x)gi(x)接近目标预测值y(x)的情况下，得到训练完成的第N层预测器。
在一种实施方式中,还包括：
第一学习率计算模块，用于针对第一数据集的历史时期的多个预设时间段，采用预选函数，计算各预设时间段的指标数据的学习率占比，使得在各预设时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
在一种实施方式中,还包括：
第二学习率计算模块，用于针对第二数据集的历史时期的多个预设时间段，采用预选函数，计算各预设时间段的指标数据的学习率占比，使得在各预设时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
在一种实施方式中,还包括：
第三学习率计算模块，用于针对各个历史指标数据的第一实际预测值对应的历史时间段，采用预选函数，计算各历史时间段对应的第一实际预测值的学习率占比，以使各历史时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
在一种实施方式中,如图12所示，告警阈值范围计算模块130包括：
历史预测误差计算子模块131，用于历史指标数据的第N实际预测值减去历史指标数据的真实值等于历史预测误差；
告警阈值范围计算子模块132，用于采用三西格玛法则，根据未来指标数据的预测值和历史预测误差计算告警阈值范围。
请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图14所示，是根据本申请实施例的一种基于机器学习的数据实时监控方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图14所示，该电子设备包括：一个或多个处理器1401、存储器1402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图14中以一个处理器1401为例。
存储器1402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的一种基于机器学习的数据实时监控方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的一种基于机器学习的数据实时监控方法。
存储器1402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的一种基于机器学习的数据实时监控方法对应的程序指令/模块(例如，附图11所示的多层结构预测器训练模块110、预测值计算模块120、告警阈值范围计算模块130以及告警触发模块140)。处理器1401通过运行存储在存储器1402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的一种基于机器学习的数据实时监控方法。
存储器1402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据一种基于机器学习的数据实时监控方法的电子设备的使用所创建的数据等。此外，存储器1402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1402可选包括相对于处理器1401远程设置的存储器，这些远程存储器可以通过网络连接至一种基于机器学习的数据实时监控方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一种基于机器学习的数据实时监控方法的电子设备还可以包括：输入装置1403和输出装置1404。处理器1401、存储器1402、输入装置1403和输出装置1404可以通过总线或者其他方式连接，图14中以通过总线连接为例。
输入装置1403可接收输入的数字或字符信息，以及产生与一种基于机器学习的数据实时监控方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (24)

1.一种基于机器学习的数据实时监控方法，其特征在于，包括：
采用历史指标数据的真实值训练多层结构预测器，所述多层结构预测器中每层结构包括多个不同类型的预测器；
将待预测的未来时间段输入至训练完成的多层结构预测器中，输出未来指标数据的预测值；
根据所述未来指标数据的预测值和历史预测误差，计算告警阈值范围；
在所述未来指标数据的真实值超出所述告警阈值范围的情况下，触发告警。
2.根据权利要求1所述的方法，其特征在于，所述多个不同类型的预测器包括弹性网络预测器、决策树预测器、k近邻预测器、随机森林预测器、套索回归预测器、支持向量回归预测器以及梯度提升预测器。
3.根据权利要求1所述的方法，其特征在于，所述采用历史指标数据的真实值训练多层结构预测器，包括：
采用所述历史指标数据的真实值分别训练多个不同类型的第N-1层预测器，训练完成的第N-1层预测器用于预测所述历史指标数据的第N-1实际预测值；
采用全部的第N-1实际预测值混合得到的混合数据集和所述历史指标数据的目标预测值，训练至少一个第N层预测器，训练完成的第N层预测器用于预测所述历史指标数据的第N实际预测值，其中，N大于或等于2；
在层数N达到对应预设值的情况下，多个训练完成的第一层预测器至训练完成的第N层预测器构成所述多层结构预测器。
4.根据权利要求3所述的方法，其特征在于，还包括：
在所述层数N未达到对应预设值的情况下，返回执行所述采用全部的第N-1实际预测值混合得到的混合数据集和历史指标数据的目标预测值，训练至少一个第N层预测器的步骤。
5.根据权利要求3所述的方法，其特征在于，所述采用所述历史指标数据的真实值分别训练多个不同类型的第N-1层预测器，训练完成的第N-1层预测器用于预测所述历史指标数据的第N-1实际预测值，包括：
将所述历史指标数据的真实值拆分为第一数据集和第二数据集；
N＝2的情况下，采用所述第一数据集训练所述多个不同类型的第一层预测器，并将所述第二数据集输入至各个训练完成的第一层预测器中，得到对应的历史指标数据的第一实际预测值。
6.根据权利要求5所述的方法，其特征在于，所述N＝2的情况下，采用所述第一数据集训练所述多个不同类型的第一层预测器，并将所述第二数据集输入至各个训练完成的第一层预测器中，得到对应的历史指标数据的第一实际预测值，包括：
将所述第一数据集X1(x∈X1)映射到所述多个第一层预测器对应的特征转换函数f1，f2，...，fM，得到转换特征f1(x)...fj(x)...fM(x)，fj(x)∈实数集；
采用所述转换特征f1(x)，...fj(x)...fM(x)训练所述多个第一层预测器，得到多个训练完成的第一层预测器对应的第一层预测函数g1...gi...gL；
将所述第二数据集X2(x∈X2)输入至各个第一层预测函数gi(x)中，得到对应的历史指标数据的第一实际预测值；
其中，i＝1...L，j＝1...M，L≥1，M≥1，M≥L，M表示所述特征转换函数的数量，L表示所述第一层预测器的数量。
7.根据权利要求6所述的方法，其特征在于，所述采用全部的第一实际预测值混合得到的混合数据集和所述历史指标数据的目标预测值，训练至少一个第N层预测器，包括：
利用所述转换特征fj(x)计算所述第一层预测器对应的权重wi，
Figure FDA0002723316130000021
vij是线性自由参数；
根据多个第一层预测器对应的权重w1...wi...wL和所述多个第一层预测函数g1...gi...gL，得到第N层预测器对应的第N层预测函数b(x)＝∑iwigi(x)，即
Figure FDA0002723316130000022
将fj(x)gi(x)作为岭回归算法模型的特征转换函数，将所述第一数据集X1(x∈X1)映射到特征转换函数fj(x)gi(x)，得到线性自由参数vij；
计算
Figure FDA0002723316130000023
y(x)为所述第一数据集中数据点x的目标预测值，
Figure FDA0002723316130000024
为X1的子集，使得所述第N层预测器的实际预测值vijfj(x)gi(x)接近所述目标预测值y(x)的情况下，得到训练完成的第N层预测器。
8.根据权利要求7所述的方法，其特征在于，还包括：
针对所述第一数据集的历史时期的多个预设时间段，采用预选函数，计算各所述预设时间段的指标数据的学习率占比，所述学习率与所述第一层预测器对应的权重成正比，使得在各所述预设时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
9.根据权利要求7所述的方法，其特征在于，还包括：
针对所述第二数据集的历史时期的多个预设时间段，采用预选函数，计算各所述预设时间段的指标数据的学习率占比，所述学习率与所述第一层预测器对应的权重成正比，使得在各所述预设时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
10.根据权利要求7所述的方法，其特征在于，还包括：
针对各个历史指标数据的第一实际预测值对应的历史时间段，采用预选函数，计算各所述历史时间段对应的第一实际预测值的学习率占比，所述学习率与所述第一层预测器对应的权重成正比，以使各所述历史时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
11.根据权利要求3所述的方法，其特征在于，所述根据所述未来指标数据的预测值和历史预测误差，计算告警阈值范围，包括：
所述历史指标数据的第N实际预测值减去所述历史指标数据的真实值等于所述历史预测误差；
采用三西格玛法则，根据所述未来指标数据的预测值和所述历史预测误差计算所述告警阈值范围。
12.一种基于机器学习的数据实时监控装置，其特征在于，包括：
多层结构预测器训练模块，用于采用历史指标数据的真实值训练多层结构预测器，所述多层结构预测器中每层结构包括多个不同类型的预测器；
预测值计算模块，用于将待预测的未来时间段输入至训练完成的多层结构预测器中，输出未来指标数据的预测值；
告警阈值范围计算模块，用于根据所述未来指标数据的预测值和历史预测误差，计算告警阈值范围；
告警触发模块，用于在所述未来指标数据的真实值超出所述告警阈值范围的情况下，触发告警。
13.根据权利要求12所述的装置，其特征在于，所述多个不同类型的预测器包括弹性网络预测器、决策树预测器、k近邻预测器、随机森林预测器、套索回归预测器、支持向量回归预测器以及梯度提升预测器。
14.根据权利要求12所述的装置，其特征在于，所述多层结构预测器训练模块包括：
第N-1层预测器训练子模块，用于采用所述历史指标数据的真实值分别训练多个不同类型的第N-1层预测器，训练完成的第N-1层预测器用于预测所述历史指标数据的第N-1实际预测值；
第N层预测器训练子模块，用于采用全部的第N-1实际预测值混合得到的混合数据集和所述历史指标数据的目标预测值，训练至少一个第N层预测器，训练完成的第N层预测器用于预测所述历史指标数据的第N实际预测值，其中，N大于或等于2；
多层结构预测器构建子模块，用于在层数N达到对应预设值的情况下，多个训练完成的第一层预测器至训练完成的第N层预测器构成所述多层结构预测器。
15.根据权利要求12所述的装置，其特征在于，所述多层结构预测器训练模块还包括：
触发子模块，用于在所述层数N未达到对应预设值的情况下，触发所述第N层预测器训练子模块执行所述采用全部的第N-1实际预测值混合得到的混合数据集和历史指标数据的目标预测值，训练至少一个第N层预测器的步骤。
16.根据权利要求12所述的装置，其特征在于，所述第N-1层预测器训练子模块，包括：
数据集拆分单元，用于将所述历史指标数据的真实值拆分为第一数据集和第二数据集；
第一实际预测值计算单元，用于N＝2的情况下，采用所述第一数据集训练所述多个不同类型的第一层预测器，并将所述第二数据集输入至各个训练完成的第一层预测器中，得到对应的历史指标数据的第一实际预测值。
17.根据权利要求16所述的装置，其特征在于，所述第一实际预测值计算单元包括：
特征转换子单元，用于将所述第一数据集X1(x∈X1)映射到所述多个第一层预测器对应的特征转换函数f1，f2，...，fM，得到转换特征f1(x)...fj(x)...fM(x)，fj(x)∈实数集；
第一层预测函数训练子单元，用于采用所述转换特征f1(x)，...fj(x)...fM(x)训练所述多个第一层预测器，得到多个训练完成的第一层预测器对应的第一层预测函数g1...gi...gL；
第一实际预测值计算子单元，用于将所述第二数据集X2(x∈X2)输入至各个第一层预测函数gi(x)中，得到对应的历史指标数据的第一实际预测值；
其中，i＝1...L，j＝1...M，L≥1，M≥1，M≥L，M表示所述特征转换函数的数量，L表示所述第一层预测器的数量。
18.根据权利要求17所述的装置，其特征在于，所述第N层预测器训练子模块包括：
权重计算单元，用于利用所述转换特征fj(x)计算所述第一层预测器对应的权重wi，
Figure FDA0002723316130000051
vij是线性自由参数；
第N层预测函数计算单元，用于根据多个第一层预测器对应的权重w1...wi...wL和所述多个第一层预测函数g1...gi...gL，得到第N层预测器对应的第N层预测函数b(x)＝∑iwigi(x)，即
Figure FDA0002723316130000052
线性自由参数计算单元，用于将fj(x)gi(x)作为岭回归算法模型的特征转换函数，将所述第一数据集X1(x∈X1)映射到特征转换函数fj(x)gi(x)，得到线性自由参数vij；
第N层预测器训练单元，用于计算
Figure FDA0002723316130000053
y(x)为所述第一数据集中数据点x的目标预测值，
Figure FDA0002723316130000054
为X的子集，使得所述第N层预测器的实际预测值vijfj(x)gi(x)接近所述目标预测值y(x)的情况下，得到训练完成的第N层预测器。
19.根据权利要求16所述的装置，其特征在于，还包括：
第一学习率计算模块，用于针对所述第一数据集的历史时期的多个预设时间段，采用预选函数，计算各所述预设时间段的指标数据的学习率占比，使得在各所述预设时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
20.根据权利要求16所述的装置，其特征在于，还包括：
第二学习率计算模块，用于针对所述第二数据集的历史时期的多个预设时间段，采用预选函数，计算各所述预设时间段的指标数据的学习率占比，使得在各所述预设时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
21.根据权利要求16所述的装置，其特征在于，还包括：
第三学习率计算模块，用于针对各个历史指标数据的第一实际预测值对应的历史时间段，采用预选函数，计算各所述历史时间段对应的第一实际预测值的学习率占比，以使各所述历史时间段与当前时间段之差递减的情况下，每个训练完成的第一层预测器的学习率递增。
22.根据权利要求14所述的装置，其特征在于，所述告警阈值范围计算模块包括：
历史预测误差计算子模块，用于所述历史指标数据的第N实际预测值减去所述历史指标数据的真实值等于所述历史预测误差；
告警阈值范围计算子模块，用于采用三西格玛法则，根据所述未来指标数据的预测值和所述历史预测误差计算所述告警阈值范围。
23.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。
CN202011094653.2A 2020-10-14 2020-10-14 基于机器学习的数据实时监控方法以及装置 Active CN112256526B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011094653.2A CN112256526B (zh) 2020-10-14 2020-10-14 基于机器学习的数据实时监控方法以及装置
TW110131573A TWI790726B (zh) 2020-10-14 2021-08-26 基於機器學習的資料即時監控方法、裝置、電子設備以及存儲有電腦指令的非暫態電腦可讀存儲介質
US18/008,808 US20230222362A1 (en) 2020-10-14 2021-09-26 Data real-time monitoring method and apparatus based on machine learning
PCT/CN2021/120587 WO2022078186A1 (zh) 2020-10-14 2021-09-26 基于机器学习的数据实时监控方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011094653.2A CN112256526B (zh) 2020-10-14 2020-10-14 基于机器学习的数据实时监控方法以及装置

Publications (2)

Publication Number Publication Date
CN112256526A true CN112256526A (zh) 2021-01-22
CN112256526B CN112256526B (zh) 2024-02-23

Family

ID=74242973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011094653.2A Active CN112256526B (zh) 2020-10-14 2020-10-14 基于机器学习的数据实时监控方法以及装置

Country Status (4)

Country Link
US (1) US20230222362A1 (zh)
CN (1) CN112256526B (zh)
TW (1) TWI790726B (zh)
WO (1) WO2022078186A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159107A (zh) * 2021-02-26 2021-07-23 中国银联股份有限公司 一种异常处理的方法及装置
CN113552855A (zh) * 2021-07-23 2021-10-26 重庆英科铸数网络科技有限公司 工业设备动态阈值设定方法、装置、电子设备及存储介质
CN113821416A (zh) * 2021-09-18 2021-12-21 中国电信股份有限公司 监测告警方法、装置、存储介质及电子设备
CN114048261A (zh) * 2021-09-22 2022-02-15 国家能源集团乐东发电有限公司 一种基于数据描述的振动矢量预警值确定方法及系统
CN114078126A (zh) * 2022-01-19 2022-02-22 江苏金恒信息科技股份有限公司 一种基于机器学习的废钢评级方法及装置
WO2022078186A1 (zh) * 2020-10-14 2022-04-21 中国银联股份有限公司 基于机器学习的数据实时监控方法以及装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115762797A (zh) * 2022-09-28 2023-03-07 南京汉卫公共卫生研究院有限公司 一种基于大数据的多点触发传染病预警方法
CN115659832B (zh) * 2022-11-08 2023-07-18 中国交通信息科技集团有限公司 一种基于大数据分析的企业运营分析及预警监控方法及系统
TWI835479B (zh) * 2022-12-21 2024-03-11 神雲科技股份有限公司 電子裝置及記憶體管理方法
CN115814686B (zh) * 2023-02-14 2023-04-18 博纯材料股份有限公司 一种镭射气体混配生产系统的状态监控方法及系统
CN116118197B (zh) * 2023-04-19 2023-07-04 深圳市智能派科技有限公司 基于温度和图像双模层级响应的4d打印控制方法及装置
CN116754828B (zh) * 2023-08-21 2023-12-01 济南瑞源智能城市开发有限公司 一种智慧隧道的能耗监测方法、设备及介质
CN117077775B (zh) * 2023-08-23 2024-04-09 国网山东省电力公司临沂供电公司 一种基于雷电数据的雷电动态图谱绘制方法及系统
CN117091799B (zh) * 2023-10-17 2024-01-02 湖南一特医疗股份有限公司 医用中心氧气供应安全智能立体监测方法及系统
CN117539728B (zh) * 2024-01-10 2024-04-12 浙江睿数云联科技有限公司 一种分布式数据库监控实现方法、系统、装置及介质
CN117993879B (zh) * 2024-01-17 2024-08-20 苏州盖雅信息技术有限公司 一种基于机器学习模型对考勤异常的预测及处理方法
CN117668740B (zh) * 2024-02-02 2024-07-02 浙江晶盛机电股份有限公司 蓝宝石的长速异常检测方法、装置、电子装置和存储介质
CN118133321B (zh) * 2024-04-30 2024-07-19 安徽韬珀信息技术有限公司 一种基于数据库内数据资产数据安全维护系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061555A1 (en) * 2015-08-24 2017-03-02 Mastercard International Incorporated Method and system for predicting lowest airline ticket fares
CN106909487A (zh) * 2017-01-18 2017-06-30 北京盛世全景科技股份有限公司 应用于信息系统的预警方法及装置
US20170220939A1 (en) * 2016-01-29 2017-08-03 Microsoft Technology Licensing, Llc Predictive modeling across multiple horizons combining time series & external data
JP2017211913A (ja) * 2016-05-27 2017-11-30 日本電信電話株式会社 行動決定装置、未来予測モデル学習装置、ネットワーク学習装置、方法、及びプログラム
CN107527124A (zh) * 2017-10-13 2017-12-29 众安信息技术服务有限公司 生成行业基本面组合预测模型的方法和装置
WO2018170593A1 (en) * 2017-03-23 2018-09-27 Rubikloud Technologies Inc. Method and system for generation of at least one output analytic for a promotion
CN109446017A (zh) * 2018-09-03 2019-03-08 平安科技（深圳）有限公司 一种告警算法生成方法、监控系统及终端设备
CN110275814A (zh) * 2019-06-28 2019-09-24 深圳前海微众银行股份有限公司 一种业务系统的监控方法及装置
CN111026608A (zh) * 2019-11-28 2020-04-17 深圳供电局有限公司 一种Oracle数据库性能诊断方法及其系统、设备、介质
US20200153703A1 (en) * 2018-11-09 2020-05-14 Servicenow, Inc. Machine learning based discovery of software as a service
CN111367747A (zh) * 2018-12-25 2020-07-03 中国移动通信集团浙江有限公司 基于时间标注的指标异动检测预警的装置
CN111679952A (zh) * 2020-06-08 2020-09-18 中国银行股份有限公司 告警阈值生成方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008079A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 监控指标异常检测方法、模型训练方法、装置及设备
CN110489306A (zh) * 2019-08-26 2019-11-22 北京博睿宏远数据科技股份有限公司 一种报警阈值确定方法、装置、计算机设备及存储介质
CN111475804B (zh) * 2020-03-05 2023-10-24 杭州未名信科科技有限公司 一种告警预测方法及系统
CN112256526B (zh) * 2020-10-14 2024-02-23 中国银联股份有限公司 基于机器学习的数据实时监控方法以及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061555A1 (en) * 2015-08-24 2017-03-02 Mastercard International Incorporated Method and system for predicting lowest airline ticket fares
US20170220939A1 (en) * 2016-01-29 2017-08-03 Microsoft Technology Licensing, Llc Predictive modeling across multiple horizons combining time series & external data
JP2017211913A (ja) * 2016-05-27 2017-11-30 日本電信電話株式会社 行動決定装置、未来予測モデル学習装置、ネットワーク学習装置、方法、及びプログラム
CN106909487A (zh) * 2017-01-18 2017-06-30 北京盛世全景科技股份有限公司 应用于信息系统的预警方法及装置
WO2018170593A1 (en) * 2017-03-23 2018-09-27 Rubikloud Technologies Inc. Method and system for generation of at least one output analytic for a promotion
CN107527124A (zh) * 2017-10-13 2017-12-29 众安信息技术服务有限公司 生成行业基本面组合预测模型的方法和装置
CN109446017A (zh) * 2018-09-03 2019-03-08 平安科技（深圳）有限公司 一种告警算法生成方法、监控系统及终端设备
US20200153703A1 (en) * 2018-11-09 2020-05-14 Servicenow, Inc. Machine learning based discovery of software as a service
CN111367747A (zh) * 2018-12-25 2020-07-03 中国移动通信集团浙江有限公司 基于时间标注的指标异动检测预警的装置
CN110275814A (zh) * 2019-06-28 2019-09-24 深圳前海微众银行股份有限公司 一种业务系统的监控方法及装置
CN111026608A (zh) * 2019-11-28 2020-04-17 深圳供电局有限公司 一种Oracle数据库性能诊断方法及其系统、设备、介质
CN111679952A (zh) * 2020-06-08 2020-09-18 中国银行股份有限公司 告警阈值生成方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022078186A1 (zh) * 2020-10-14 2022-04-21 中国银联股份有限公司 基于机器学习的数据实时监控方法以及装置
CN113159107A (zh) * 2021-02-26 2021-07-23 中国银联股份有限公司 一种异常处理的方法及装置
CN113159107B (zh) * 2021-02-26 2023-09-01 中国银联股份有限公司 一种异常处理的方法及装置
CN113552855A (zh) * 2021-07-23 2021-10-26 重庆英科铸数网络科技有限公司 工业设备动态阈值设定方法、装置、电子设备及存储介质
CN113821416A (zh) * 2021-09-18 2021-12-21 中国电信股份有限公司 监测告警方法、装置、存储介质及电子设备
CN114048261A (zh) * 2021-09-22 2022-02-15 国家能源集团乐东发电有限公司 一种基于数据描述的振动矢量预警值确定方法及系统
CN114078126A (zh) * 2022-01-19 2022-02-22 江苏金恒信息科技股份有限公司 一种基于机器学习的废钢评级方法及装置
CN114078126B (zh) * 2022-01-19 2022-04-26 江苏金恒信息科技股份有限公司 一种基于机器学习的废钢评级方法及装置

Also Published As

Publication number Publication date
CN112256526B (zh) 2024-02-23
US20230222362A1 (en) 2023-07-13
WO2022078186A1 (zh) 2022-04-21
TW202215242A (zh) 2022-04-16
TWI790726B (zh) 2023-01-21

Similar Documents

Publication Publication Date Title
CN112256526A (zh) 基于机器学习的数据实时监控方法以及装置
US11204847B2 (en) Machine learning model monitoring
US10382300B2 (en) Platform for gathering real-time analysis
US20220114343A1 (en) Method of training model, device, and storage medium
CN112036509A (zh) 用于训练图像识别模型的方法和装置
CN112037760A (zh) 语音频谱生成模型的训练方法、装置及电子设备
US20230376026A1 (en) Automated real-time detection, prediction and prevention of rare failures in industrial system with unlabeled sensor data
CN111639753B (zh) 用于训练图像处理超网络的方法、装置、设备以及存储介质
CN111309283A (zh) 用户界面的语音控制方法、装置、电子设备及存储介质
CN111178537B (zh) 一种特征提取模型训练方法及设备
WO2023154538A1 (en) System and method for reducing system performance degradation due to excess traffic
CN113627867A (zh) 一种人才需求预测方法、装置、设备和存储介质
CN112382291B (zh) 语音交互的处理方法、装置、电子设备及存储介质
CN112819497B (zh) 转化率预测方法、装置、设备和存储介质
CN111709778B (zh) 出行流量预测方法、装置、电子设备和存储介质
CN116755974A (zh) 云计算平台运维方法、装置、电子设备及存储介质
CN111738325A (zh) 图像识别方法、装置、设备以及存储介质
CN111340222B (zh) 神经网络模型搜索方法、装置以及电子设备
CN114648642A (zh) 模型训练、图像检测、图像分类方法和装置
CN111325350B (zh) 可疑组织发现系统和方法
CN113821520A (zh) 缓存更新方法和装置
CN112685492A (zh) 一种多源数据融合方法以及装置
US20220027811A1 (en) Systems and Methods for Performing Predictive Risk Sparing
LU502876B1 (en) Anticipating the cause of abnormal operation in industrial machines
US20240112010A1 (en) Identifying performance degradation in machine learning models based on comparison of actual and predicted results

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant