CN112966957A - 一种数据链路异常定位方法、装置、电子设备及存储介质 - Google Patents

一种数据链路异常定位方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112966957A
CN112966957A CN202110302423.9A CN202110302423A CN112966957A CN 112966957 A CN112966957 A CN 112966957A CN 202110302423 A CN202110302423 A CN 202110302423A CN 112966957 A CN112966957 A CN 112966957A
Authority
CN
China
Prior art keywords
data
index
abnormal
link
abnormal positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110302423.9A
Other languages
English (en)
Inventor
金铭
朱洪斌
毛一凡
崔硕
刘圣龙
张君艳
江丽娜
王海峰
康梅
夏雨潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Big Data Center Of State Grid Corp Of China
Original Assignee
Big Data Center Of State Grid Corp Of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Big Data Center Of State Grid Corp Of China filed Critical Big Data Center Of State Grid Corp Of China
Priority to CN202110302423.9A priority Critical patent/CN112966957A/zh
Publication of CN112966957A publication Critical patent/CN112966957A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明实施例公开了一种数据链路异常定位方法、装置、电子设备及存储介质。该方法包括：根据数据链路的传输方式，确定异常定位指标，并获取与各异常定位指标对应的异常定位数据；对各异常定位指标对应的异常定位数据进行处理，确定各异常定位指标对应的数据特征；将数据特征输入至预设机器学习分类模型中，得到异常分类结果。该方法可以确定数据链路的异常分类结果，从而便于确定异常定位，提升数据链路监测效率，便于数据链路的维护，并降低人工成本。

Description

一种数据链路异常定位方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及电力系统技术领域，尤其涉及一种数据链路异常定位方法、装置、电子设备及存储介质。
背景技术
随着大数据时代的来临，越来越多的数据被产生，数据链路在企业建设的过程中起着十分重要的作用。数据贯穿业务处理的各个环节，随着数据中台建设的不断推进，数据资源不断丰富，数据链路建设规模逐渐变得庞大和复杂。但是在数据集成链路上还存在异常环节难以定位等问题，如果不能及时有效地将异常环节进行定位，会导致链路无法正常运行，增加维护成本，影响企业的生产效益。
现有技术中，通过专家人工查看数据链路流转信息，凭借经验做出判断，对数据链路异常环节进行定位。但是，对着数据链路规模的复杂化，在面对高纬度、大批量的复杂数据时，现有技术的方法力不从心，难以达到异常定位精度的要求。为保证数据链路的高质高效运行，亟需研究一种数据链路异常定位的方法，对数据链路可能存在的异常环节进行定位和诊断，实现数据集成链路效率效能的提升。
发明内容
本发明实施例提供了一种数据链路异常定位方法、装置、电子设备及存储介质，可以提高数据链路监测效率，降低人工成本，便于数据链路维护，提高数据链路效能。
第一方面，本发明实施例提供了一种数据链路异常定位方法，该方法包括：
根据数据链路的传输方式，确定异常定位指标，并获取与各所述异常定位指标对应的异常定位数据；
对各所述异常定位指标对应的异常定位数据进行处理，确定各所述异常定位指标对应的数据特征；
将所述数据特征输入至预设机器学习分类模型中，得到异常分类结果。
第二方面，本发明实施例还提供了一种数据链路异常定位装置，该装置包括：
异常定位数据获取模块，用于根据数据链路的传输方式，确定异常定位指标，并获取与各所述异常定位指标对应的异常定位数据；
数据特征确定模块，用于对各所述异常定位指标对应的异常定位数据进行处理，确定各所述异常定位指标对应的数据特征；
异常分类结果确定模块，用于将所述数据特征输入至预设机器学习分类模型中，得到异常分类结果。
第三方面，本发明实施例还提供了一种电子设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的一种数据链路异常定位方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的一种数据链路异常定位方法。
本发明实施例的技术方案，通过根据数据链路的传输方式，确定异常定位指标，并获取与各异常定位指标对应的异常定位数据；对各异常定位指标对应的异常定位数据进行处理，确定各异常定位指标对应的数据特征；将数据特征输入至预设机器学习分类模型中，得到异常分类结果，解决了数据链路的异常定位问题，实现了提升数据链路监测效率，便于数据链路的维护，并降低人工成本，以及提高数据链路效能的效果。
附图说明
图1a是本发明实施例一提供的一种数据链路异常定位方法的流程图；
图1b是本发明实施例一提供的一种数据链路异常定位的指标体系示意图；
图2是本发明实施例二提供的一种数据链路异常定位装置的结构示意图；
图3是本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是本发明实施例一提供的一种数据链路异常定位方法的流程图，本实施例可适用于对大规模数据链路进行异常定位的情况，该方法可以由数据链路异常定位装置来执行，该装置可以通过软件，和/或硬件的方式实现，装置可以集成在电子设备如计算机中，如图1a所示，该方法具体包括：
步骤110、根据数据链路的传输方式，确定异常定位指标，并获取与各异常定位指标对应的异常定位数据。
其中，数据链路的传输方式可以是横向链路传输和/或纵向链路传输。例如，横向链路传输可以是国家级数据库(总部)之间的一级数据传输，纵向链路传输可以是国家级数据库与地方级数据库(分部)之间的二级数据传输。通过对数据链路进行横向和纵向的链路监测，可以实现总部与分部的两级调度下的异常定位。
异常定位指标可以是与传输方式对应的且与异常定位相关的指标。例如，异常定位指标可以是横向链路指标和/或，纵向链路指标。具体的，异常定位指标可以是根据国家级数据库提供的监测方案、监测指标清单和数据链路传输技术确定的。
在本发明实施例的一个可选实施方式中，根据数据链路的传输方式，确定异常定位指标，包括：根据横向链路的传输方式，确定横向链路指标；和/或，根据纵向链路的传输方式，确定纵向链路指标。
图1b是本发明实施例一提供的一种数据链路异常定位的指标体系示意图。如图1b所示，在本发明实施例的一个可选实施方式中，横向链路指标，包括下述至少一项：横向链路输入数据量指标、横向链路输出数据量指标、横向链路数据传输耗时指标、横向链路传输任务状态指标、横向链路时间延迟指标、以及横向链路检查点时间延迟指标。
其中，横向链路输入数据量指标是指横向链路中输入数据的大小。横向链路输出数据量指标是指横向链路中输出数据的大小。横向链路数据传输耗时指标是指横向链路中每次传输数据所消耗的时间。横向链路传输任务状态指标是指横向链路中传输任务的状态。横向链路时间延迟指标(lag at chkpt)是指复制进程处理最后一条记录的操作系统时间和此条记录在轨迹(trail)文件中的时间戳之间的差值。横向链路检查点时间延迟指标(time since chkpt)是指横向链路中最近一个检查点与当前系统时间之间的时间差。
如图1b所示，在本发明实施例的一个可选实施方式中，纵向链路指标，包括下述至少一项：纵向链路输入数据量指标、纵向链路输出数据量指标、纵向链路数据传输耗时指标、纵向链路本地执行状态指标、纵向链路远程执行状态指标、以及纵向链路回调状态指标。
其中，纵向链路输入数据量指标是指纵向链路中输入数据的大小。纵向链路输出数据量指标是指纵向链路中输出数据的大小。纵向链路数据传输耗时指标是指纵向链路中每次传输数据所消耗的时间。纵向链路本地执行状态指标是指纵向链路中跨系统远程任务调度情况下的本地任务的状态。纵向链路远程执行状态指标是指纵向链路中本地任务配置通过“DMS调度”组件调用的远程服务，其中，DMS为调度管理系统。纵向链路回调状态指标是指第三方系统通过接口触发任务，任务完成后异步回调通知第三方系统运行结果。
异常定位数据可以是与异常定位指标对应的数据。异常定位数据可以是指标对应的具体数值。异常定位数据可以是实时对数据链路进行监测采集的数值，可以是真实值或者仿真值。
步骤120、对各异常定位指标对应的异常定位数据进行处理，确定各异常定位指标对应的数据特征。
其中，对异常定位数据的处理可以是提取异常定位数据所具有的数据特征，作为对应的异常定位指标的数据特征。各异常定位指标对应的异常定位数据可以是大量的。本发明实施例的数据链路异常定位方法可以适用于大规模数据链路。提取数据特征的方法可以是多种的，例如，可以是通过深度学习模型实现的；或者，可以是通过自编码器实现的等。
在本发明实施例的一个可选实施方式中，对各异常定位指标对应的异常定位数据进行处理，确定各异常定位指标对应的数据特征，包括：对各异常定位指标对应的异常定位数据进行标准化处理，得到标准异常定位数据；对标准异常定位数据通过自编码器进行预先训练，得到最小化重构误差的数据特征。
其中，标准化处理可以是对异常定位数据进行无量纲处理，可以使处理后的异常定位数据，即标准异常定位数据位于区间[0，1]内。标准化处理可以避免数据量纲对数据特征的影响，可以提高异常定位的精准度。
示例性的，对于各异常定位指标对应的异常定位数据可以采用公式
Figure BDA0002986842320000061
进行标准化处理，得到无量纲的标准异常定位数据。其中，xi为当前的异常定位指标对应的第i项异常定位数据；max(x)为当前的异常定位指标对应的异常定位数据中的最大值；min(x)为当前的异常定位指标对应的异常定位数据中的最小值；yi为当前的异常定位指标对应的第i项异常定位数据标准化处理后得到的标准异常定位数据，yi无量纲且位于区间[0，1]内。
在本发明实施例中，提取异常定位数据的数据特征可以采用自编码器(AutoEncoder，AE)实现。自编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络。自编码器的预先训练包含编码、解码和重构误差。
示例性的，采用自编码器的预先训练可以是：
首先，将标准异常定位数据y作为隐藏层的输入进行编码，得到编码后的数据h。其中，h为提取的特征。编码是指将y映射到隐含表示h的过程。其中，y∈R，h∈R。h的计算公式可以是h＝σh(W1y+b1)。其中，σh是激活函数，W1是权重矩阵，b1是偏置向量。W1和b1可以通过随机初始化确定，在后续模型的参数调整中进行自动更新。σh可以根据需求进行确定，例如可以选择Sigmoid函数、Tanh函数或者ReLU函数等。
其次，对编码数据h进行解密，得到重构后的数据z。解码是指把隐含表示h映射到输出层z，以对输入y进行重构的过程。z的计算公式可以是z＝σy(W2h+b2)。其中，σy是激活函数，W2是权重矩阵，b2是偏置向量。W2和b2可以是通过随机初始化确定，在后续模型的参数调整中进行自动更新。σy可以根据需求进行确定，例如可以选择Sigmoid函数、Tanh函数或者ReLU函数等。
最后，计算y和z间的损失函数，调整参数(如权重矩阵)重复进行预先训练，最小化重构误差，直至损失函数收敛。其中，损失函数的确定方式可以是：
Figure BDA0002986842320000071
其中，第一项为自编码器损失函数，zi为输出数据，yi为输入数据，第二项为正则化项，λ为正则化参数，wj为权重矩阵；λ可以是人为设定值，wj可以是根据当前的权重矩阵确定的。
在本发明实施例中，得到最小化重构误差的数据特征可以是在上述得到的自编码器模型中，保留自编码器的前半部分，即仅使用自编码器提取数据特征。采用自编码器进行特征提取，并结合预设机器学习分类模型，可以克服单个机器学习算法进行异常定位的局限性，可以提高异常定位的准确性。
需要说明的是，采用自编码器进行特征提取时，可以是针对不同的异常分类进行的。在本发明实施例的一个可选实施方式中，异常分类，包括：数据及时性告警、数据完整性告警以及数据库连通告警。
其中，数据及时性告警是指数据在数据链路上传输的时间出现异常，如网络中断、传输线路异常等。数据完整性告警是指数据在数据链路上传输的数据量出现异常，如数据丢失、数据冗余等。数据库连通告警是指数据的输入来源和输出对象出现异常，如数据库连接中断、数据库损坏等。
在进行特征提取时，可以对各异常分类进行编码处理。例如，可以对异常分类进行独热编码。其中，独热编码是利用0和1表示一些参数，使用N位状态寄存器，进行N个状态的编码。
示例性的，当异常分类为数据及时性告警、数据完整性告警以及数据库连通告警时，对应的独热编码可以分别为：[100，010，001]。通过独热编码对异常分类进行处理，可以便于模型的训练。
步骤130、将数据特征输入至预设机器学习分类模型中，得到异常分类结果。
其中，数据特征可以是通过自编码器进行编码得到的特征h。在本发明实施例中，可以将自编码器提取的特征输入至机器学习分类模型中进行机器学习模型的训练，可以克服单个机器学习算法进行异常定位的局限性，可以提高异常定位的准确性。
预设机器学习分类模型可以是根据特征预先进行训练得到的机器学习分类模型。通过预设机器学习分类模型可以根据特征确定异常分类结果。目前常用的机器学习分类算法有很多，例如，支持向量机、对数几率回归、随机森林和朴素贝叶斯等。
在本发明实施例的一个可选实施方式中，异常分类结果，包括：数据及时性告警、数据完整性告警以及数据库连通告警。
在本发明实施例的一个可选实施方式中，在将数据特征输入至预设机器学习分类模型中，得到异常分类结果之前，还包括：获取与异常定位指标对应的训练集，使用机器学习分类算法进行模型训练，得到预设机器学习分类模型；其中，训练集中的数据包括与各异常定位指标对应的异常定位数据、数据特征、以及预设异常分类结果标签。
其中，训练集可以是根据历史异常定位数据确定的数据特征构成的样本集合。例如，训练集可以是根据历史异常定位数据进行标准化处理后，并采用自编码器提取的特征。训练集中可以包括预设异常分类结果标签，标签可以是独热编码。
示例性的，以支持向量机为例，说明预设机器学习分类模型的训练。在机器学习中，支持向量机(SVM)是具有相关学习算法的监督学习模型，其分析用于分类和回归分析的数据。给定一组训练示例，每个示例标记为属于两个类别中的一个或另一个，SVM训练算法构建一个模型，将新示例分配给一个类别或另一个类别，使其成为非概率二元线性分类器。SVM模型是将示例表示为空间中的点，映射使得单独类别的示例除以尽可能宽的明确间隙。然后将新的示例映射到同一空间，并根据它们落在哪个边缘预测属于哪一个类别。除了执行线性分类之外，SVM还可以使用内核技巧有效地执行非线性分类，将其输入隐式映射到高维特征空间。
由于有些分类算法(如支持向量机)属于二分类机器学习算法，为了能应用这些算法进行多分类，常用的方法包括一对多和一对一。
其中，一对多方法是指：对于含有N个类别标签的样本集，将训练N个二分类的模型。在训练阶段，每次将一个类的样本作为正类，剩下的其余所有类的样本作为负类来训练N个模型。在测试阶段，若仅有一个分类器将样本预测为正类，则该样本划分为属于该正类对应的类别标签。若有多个分类器都将该样本预测为正类，将该样本划分为分类置信度最大的分类器的结果所对应的类别。
一对一方法是指：在含有N个类别标签的样本中将为每两个类别的样本训练一个分类器，所以总共需要训练
Figure BDA0002986842320000101
个二分类模型。在预测阶段，新样本将提交给所有分类器进行分类，并得到
Figure BDA0002986842320000102
个结果，对这些结果采集投票法，得票最多的类别作为样本最终的分类结果。
在本发明实施例中，实际使用机器学习算法进行训练的关键是数据集的构建。例如，可以将不同异常类型的异常定位数据各取1000条并随机打乱，以8:1:1的比例将数据集划分为训练集、验证集和测试集，使用训练集的数据进行自编码器的预训练和机器学习分类器的训练，通过验证集比较精确度不断对模型参数进行优化，最终在测试集上得到较高的分类精确度，所得到的模型即为预设机器学习分类模型。
本发明实施例得到的预设机器学习分类模型可以确定异常分类结果，进而根据异常分类结果可以实现对异常环节的精准定位。例如，异常分类结果为数据及时性告警，可以将异常定位为网络中断或者传输线路异常。通过预设机器学习分类模型确定异常分类结果，可以确保及时排查数据链路异常环节并解决问题，提升数据全链路监测工具的监测效率和维护效率，保障数据全链路体系能够正常、高效地运行。
在本发明实施例的一个可选实施方式中，预设异常分类结果标签通过独热编码对预设异常分类结果进行编码得到。
本实施例的技术方案，通过根据数据链路的传输方式，确定异常定位指标，并获取与各异常定位指标对应的异常定位数据；对各异常定位指标对应的异常定位数据进行处理，确定各异常定位指标对应的数据特征；将数据特征输入至预设机器学习分类模型中，得到异常分类结果，解决了数据链路的异常定位监测问题，实现了便于确定异常定位，提升数据链路监测效率，便于数据链路的维护，并降低人工成本的效果。
实施例二
图2是本发明实施例二提供的一种数据链路异常定位装置的结构示意图。结合图2，该装置包括：异常定位数据获取模块210，数据特征确定模块220和异常分类结果确定模块230。其中：
异常定位数据获取模块210，用于根据数据链路的传输方式，确定异常定位指标，并获取与各异常定位指标对应的异常定位数据；
数据特征确定模块220，用于对各异常定位指标对应的异常定位数据进行处理，确定各异常定位指标对应的数据特征；
异常分类结果确定模块230，用于将数据特征输入至预设机器学习分类模型中，得到异常分类结果。
可选的，异常定位数据获取模块210包括：
异常定位指标确定单元，用于根据横向链路的传输方式，确定横向链路指标；和/或，根据纵向链路的传输方式，确定纵向链路指标。
可选的，横向链路指标，包括下述至少一项：横向链路输入数据量指标、横向链路输出数据量指标、横向链路数据传输耗时指标、横向链路传输任务状态指标、横向链路时间延迟指标、以及横向链路检查点时间延迟指标；
纵向链路指标，包括下述至少一项：纵向链路输入数据量指标、纵向链路输出数据量指标、纵向链路数据传输耗时指标、纵向链路本地执行状态指标、纵向链路远程执行状态指标、以及纵向链路回调状态指标。
可选的，数据特征确定模块220包括：
标准化处理单元，用于对各异常定位指标对应的异常定位数据进行标准化处理，得到标准异常定位数据；
数据特征确定单元，用于对标准异常定位数据通过自编码器进行预先训练，得到最小化重构误差的数据特征。
可选的，异常分类结果，包括：数据及时性告警、数据完整性告警以及数据库连通告警。
可选的，该装置还包括：
预设机器学习分类模型确定模块，用于在将数据特征输入至预设机器学习分类模型中，得到异常分类结果之前，获取与异常定位指标对应的训练集，使用机器学习分类算法进行模型训练，得到预设机器学习分类模型；
其中，训练集中的数据包括与各异常定位指标对应的异常定位数据、数据特征、以及预设异常分类结果标签。
可选的，预设异常分类结果标签通过独热编码对预设异常分类结果进行编码得到。
本发明实施例所提供的数据链路异常定位装置可执行本发明任意实施例所提供的数据链路异常定位方法，具备执行方法相应的功能模块和有益效果。
实施例三
图3是本发明实施例三提供的一种电子设备的结构示意图，如图3所示，该设备包括：
一个或多个处理器310，图3中以一个处理器310为例；
存储器320；
所述设备还可以包括：输入装置330和输出装置340。
所述设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图3中以通过总线连接为例。
存储器320作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种数据链路异常定位方法对应的程序指令/模块(例如，附图2所示的异常定位数据获取模块210，数据特征确定模块220和异常分类结果确定模块230)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例的一种数据链路异常定位方法，即：
根据数据链路的传输方式，确定异常定位指标，并获取与各所述异常定位指标对应的异常定位数据；
对各所述异常定位指标对应的异常定位数据进行处理，确定各所述异常定位指标对应的数据特征；
将所述数据特征输入至预设机器学习分类模型中，得到异常分类结果。
存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器320可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
实施例四
本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的一种数据链路异常定位方法：
根据数据链路的传输方式，确定异常定位指标，并获取与各所述异常定位指标对应的异常定位数据；
对各所述异常定位指标对应的异常定位数据进行处理，确定各所述异常定位指标对应的数据特征；
将所述数据特征输入至预设机器学习分类模型中，得到异常分类结果。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据链路异常定位方法，其特征在于，所述方法包括：
根据数据链路的传输方式，确定异常定位指标，并获取与各所述异常定位指标对应的异常定位数据；
对各所述异常定位指标对应的异常定位数据进行处理，确定各所述异常定位指标对应的数据特征；
将所述数据特征输入至预设机器学习分类模型中，得到异常分类结果。
2.根据权利要求1所述的方法，其特征在于，根据数据链路的传输方式，确定异常定位指标，包括：
根据横向链路的传输方式，确定横向链路指标；和/或，根据纵向链路的传输方式，确定纵向链路指标。
3.根据权利要求2所述的方法，其特征在于，所述横向链路指标，包括下述至少一项：横向链路输入数据量指标、横向链路输出数据量指标、横向链路数据传输耗时指标、横向链路传输任务状态指标、横向链路时间延迟指标、以及横向链路检查点时间延迟指标；
所述纵向链路指标，包括下述至少一项：纵向链路输入数据量指标、纵向链路输出数据量指标、纵向链路数据传输耗时指标、纵向链路本地执行状态指标、纵向链路远程执行状态指标、以及纵向链路回调状态指标。
4.根据权利要求1所述的方法，其特征在于，对各所述异常定位指标对应的异常定位数据进行处理，确定各所述异常定位指标对应的数据特征，包括：
对各所述异常定位指标对应的异常定位数据进行标准化处理，得到标准异常定位数据；
对所述标准异常定位数据通过自编码器进行预先训练，得到最小化重构误差的数据特征。
5.根据权利要求1所述的方法，其特征在于，所述异常分类结果，包括：数据及时性告警、数据完整性告警以及数据库连通告警。
6.根据权利要求1-5任一项所述的方法，其特征在于，在将所述数据特征输入至预设机器学习分类模型中，得到异常分类结果之前，还包括：
获取与所述异常定位指标对应的训练集，使用机器学习分类算法进行模型训练，得到预设机器学习分类模型；
其中，所述训练集中的数据包括与各所述异常定位指标对应的异常定位数据、数据特征、以及预设异常分类结果标签。
7.根据权利要求6所述的方法，其特征在于，所述预设异常分类结果标签通过独热编码对预设异常分类结果进行编码得到。
8.一种数据链路异常定位装置，其特征在于，包括：
异常定位数据获取模块，用于根据数据链路的传输方式，确定异常定位指标，并获取与各所述异常定位指标对应的异常定位数据；
数据特征确定模块，用于对各所述异常定位指标对应的异常定位数据进行处理，确定各所述异常定位指标对应的数据特征；
异常分类结果确定模块，用于将所述数据特征输入至预设机器学习分类模型中，得到异常分类结果。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN202110302423.9A 2021-03-22 2021-03-22 一种数据链路异常定位方法、装置、电子设备及存储介质 Pending CN112966957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110302423.9A CN112966957A (zh) 2021-03-22 2021-03-22 一种数据链路异常定位方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110302423.9A CN112966957A (zh) 2021-03-22 2021-03-22 一种数据链路异常定位方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112966957A true CN112966957A (zh) 2021-06-15

Family

ID=76278134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110302423.9A Pending CN112966957A (zh) 2021-03-22 2021-03-22 一种数据链路异常定位方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112966957A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115904872A (zh) * 2022-12-01 2023-04-04 深圳市雁联计算系统有限公司 一种交易链路监控方法、系统及存储介质
CN116489184A (zh) * 2023-03-27 2023-07-25 曲靖阳光新能源股份有限公司 基于无线传输的硅料破碎筛分机监控系统
CN116827817A (zh) * 2023-04-12 2023-09-29 国网河北省电力有限公司信息通信分公司 数据链路状态监测方法、装置、监测系统及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150121160A1 (en) * 2013-10-24 2015-04-30 General Electric Company Systems and methods for detecting, correcting, and validating bad data in data streams
CN105636100A (zh) * 2015-12-31 2016-06-01 京信通信系统（中国）有限公司 一种数据链路监测方法及装置
WO2017194510A1 (en) * 2016-05-09 2017-11-16 Avanti Communications Group Plc Satellite operations support system
US20180247220A1 (en) * 2017-02-28 2018-08-30 International Business Machines Corporation Detecting data anomalies
CN110069401A (zh) * 2019-03-18 2019-07-30 平安科技（深圳）有限公司 基于数据建模的系统测试异常定位方法及系统
CN110708214A (zh) * 2019-09-26 2020-01-17 浙江口碑网络技术有限公司 业务数据显示方法、装置、设备及计算机可读存储介质
CN111193608A (zh) * 2019-11-19 2020-05-22 腾讯云计算（北京）有限责任公司 网络质量探测监控方法、装置、系统和计算机设备
CN111767202A (zh) * 2020-07-08 2020-10-13 中国工商银行股份有限公司 异常检测方法、装置、电子设备和介质
CN111885059A (zh) * 2020-07-23 2020-11-03 清华大学 一种工业网络流量异常检测定位的方法
CN112346393A (zh) * 2021-01-08 2021-02-09 睿至科技集团有限公司 基于智能运维的数据全链路异常监测及处理方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150121160A1 (en) * 2013-10-24 2015-04-30 General Electric Company Systems and methods for detecting, correcting, and validating bad data in data streams
CN105636100A (zh) * 2015-12-31 2016-06-01 京信通信系统（中国）有限公司 一种数据链路监测方法及装置
WO2017194510A1 (en) * 2016-05-09 2017-11-16 Avanti Communications Group Plc Satellite operations support system
US20180247220A1 (en) * 2017-02-28 2018-08-30 International Business Machines Corporation Detecting data anomalies
CN110069401A (zh) * 2019-03-18 2019-07-30 平安科技（深圳）有限公司 基于数据建模的系统测试异常定位方法及系统
CN110708214A (zh) * 2019-09-26 2020-01-17 浙江口碑网络技术有限公司 业务数据显示方法、装置、设备及计算机可读存储介质
CN111193608A (zh) * 2019-11-19 2020-05-22 腾讯云计算（北京）有限责任公司 网络质量探测监控方法、装置、系统和计算机设备
CN111767202A (zh) * 2020-07-08 2020-10-13 中国工商银行股份有限公司 异常检测方法、装置、电子设备和介质
CN111885059A (zh) * 2020-07-23 2020-11-03 清华大学 一种工业网络流量异常检测定位的方法
CN112346393A (zh) * 2021-01-08 2021-02-09 睿至科技集团有限公司 基于智能运维的数据全链路异常监测及处理方法和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115904872A (zh) * 2022-12-01 2023-04-04 深圳市雁联计算系统有限公司 一种交易链路监控方法、系统及存储介质
CN115904872B (zh) * 2022-12-01 2024-03-12 深圳市雁联计算系统有限公司 一种交易链路监控方法、系统及存储介质
CN116489184A (zh) * 2023-03-27 2023-07-25 曲靖阳光新能源股份有限公司 基于无线传输的硅料破碎筛分机监控系统
CN116489184B (zh) * 2023-03-27 2024-02-27 曲靖阳光新能源股份有限公司 基于无线传输的硅料破碎筛分机监控系统
CN116827817A (zh) * 2023-04-12 2023-09-29 国网河北省电力有限公司信息通信分公司 数据链路状态监测方法、装置、监测系统及存储介质

Similar Documents

Publication Publication Date Title
CN111178456B (zh) 异常指标检测方法、装置、计算机设备和存储介质
US20230153177A1 (en) Systems and methods to improve data clustering using a meta-clustering model
CN112966957A (zh) 一种数据链路异常定位方法、装置、电子设备及存储介质
KR102172925B1 (ko) 딥러닝 기반 기후 변화 예측 시스템의 동작 방법
CN111352971A (zh) 银行系统监控数据异常检测方法及系统
CN111343161B (zh) 异常信息处理节点分析方法、装置、介质及电子设备
CN113505537A (zh) 楼宇能耗检测方法、装置、计算机设备和存储介质
EP4134877A1 (en) Training method and apparatus for fault recognition model, fault recognition method and apparatus, and electronic device
CN113537337A (zh) 训练方法、异常检测方法、装置、设备和存储介质
CN112419268A (zh) 一种输电线路图像缺陷检测方法、装置、设备及介质
CN116361147A (zh) 测试用例根因定位方法及其装置、设备、介质、产品
CN116795977A (zh) 数据处理方法、装置、设备和计算机可读存储介质
CN116523284A (zh) 基于机器学习的业务操作流程自动化评估方法、系统
CN114020715A (zh) 一种日志数据的处理方法、装置、介质及设备
CN113282433A (zh) 集群异常检测方法、装置和相关设备
CN111311352A (zh) 货源匹配方法、系统、设备及存储介质
CN109933926B (zh) 用于预测航班可靠性的方法和装置
CN113076217B (zh) 基于国产平台的磁盘故障预测方法
CN113807704A (zh) 一种城市轨道交通数据的智能算法平台构建方法
CN112579429A (zh) 一种问题定位方法和装置
Meng et al. Classification of customer service tickets in power system based on character and word level semantic understanding
CN117993868B (zh) 基于双模态注意力的电网工程项目审计预警方法及系统
CN116150341B (zh) 理赔事件检测方法、计算机设备和存储介质
CN118113503A (zh) 一种智能运维系统故障预测方法、装置、设备和存储介质
CN117520141A (zh) 基于人工智能的脚本推荐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination