CN112907124B - 一种数据链路异常评测方法、装置、电子设备及存储介质 - Google Patents
一种数据链路异常评测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112907124B CN112907124B CN202110303805.3A CN202110303805A CN112907124B CN 112907124 B CN112907124 B CN 112907124B CN 202110303805 A CN202110303805 A CN 202110303805A CN 112907124 B CN112907124 B CN 112907124B
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal evaluation
- index
- abnormal
- link
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 255
- 230000002159 abnormal effect Effects 0.000 claims abstract description 245
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000013136 deep learning model Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000005540 biological transmission Effects 0.000 claims description 37
- 230000005484 gravity Effects 0.000 claims description 32
- 238000012544 monitoring process Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据链路异常评测方法、装置、电子设备及存储介质。该方法包括：根据异常评测需求，确定异常评测指标，并获取与异常评测指标对应的异常评测数据；对异常评测数据进行处理，确定异常评测数据的客观评分和主观评分；将客观评分和主观评分输入至预设深度学习模型，得到综合评分，并根据综合评分确定异常评测结果。该方法可以根据客观评分与主观评分确定异常评测结果，得到兼顾客观因素与主观因素的结果，避免结果的片面性与主观性，提高结果的可靠性。
Description
技术领域
本发明实施例涉及电力系统技术领域，尤其涉及一种数据链路异常评测方法、装置、电子设备及存储介质。
背景技术
随着移动互联网技术的快速发展，数据成为了最重要的战略核心资源，对数据进行高效整合、集中管理、科学运营，成为数据处理中必不可少的技术。
随着数据资源的不断丰富，有越来越多数据提供者和数据使用者，但是在数据链路监测、数据管理上还存在许多问题。例如，对于数据链路缺乏合理的监测模型，导致无法及时确定数据链路的异常情况。
现有技术中，通过专家的经验判断为数据链路进行打分，确定链路是否异常。但是，专家经验打分的方案主观性强，并且专家业务水平对结果的影响大，存在数据链路打分片面性与主观性的问题。
发明内容
本发明实施例提供了一种数据链路异常评测方法、装置、电子设备及存储介质，可以对数据链路进行异常评测，提高异常评测结果的可靠性。
第一方面，本发明实施例提供了一种数据链路异常评测方法，该方法包括：
根据异常评测需求，确定异常评测指标，并获取与所述异常评测指标对应的异常评测数据；
对所述异常评测数据进行处理，确定所述异常评测数据的客观评分和主观评分；
将所述客观评分和所述主观评分输入至预设深度学习模型，得到综合评分，并根据所述综合评分确定异常评测结果。
第二方面，本发明实施例还提供了一种数据链路异常评测装置，该装置包括：
异常评测数据获取模块，用于根据异常评测需求，确定异常评测指标，并获取与所述异常评测指标对应的异常评测数据；
评分确定模块，用于对所述异常评测数据进行处理，确定所述异常评测数据的客观评分和主观评分；
异常评测结果确定模块，用于将所述客观评分和所述主观评分输入至预设深度学习模型，得到综合评分，并根据所述综合评分确定异常评测结果。
第三方面，本发明实施例还提供了一种电子设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的一种数据链路异常评测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的一种数据链路异常评测方法。
本发明实施例的技术方案，通过根据异常评测需求，确定异常评测指标，并获取与异常评测指标对应的异常评测数据；对异常评测数据进行处理，确定异常评测数据的客观评分和主观评分；将客观评分和主观评分输入至预设深度学习模型，得到综合评分，并根据综合评分确定异常评测结果，解决了数据链路异常评测的问题，实现了对数据链路进行异常评测，改善异常评测结果的片面性与主观性，从而提高异常评测结果可靠性的效果。
附图说明
图1a是本发明实施例一提供的一种数据链路异常评测方法的流程图；
图1b是本发明实施例一提供的一种数据链路异常评测指标体系的示意图；
图2是本发明实施例二提供的一种数据链路异常评测装置的结构示意图；
图3是本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是本发明实施例一提供的一种数据链路异常评测方法的流程图，本实施例可适用于对数据链路进行异常评测的情况，该方法可以由数据链路异常评测装置来执行，该装置可以通过软件，和/或硬件的方式实现，装置可以集成在电子设备如计算机中，如图1a所示，该方法具体包括：
步骤110、根据异常评测需求，确定异常评测指标，并获取与异常评测指标对应的异常评测数据。
其中，异常评测需求可以是对不同数据传输链路进行监测的需求。例如，数据链路可以分为两级，第一级为国网内部的数据传输，第二级为国内与省网之间的数据传输。两级数据链路采用的具体链路存在差异，因此异常评测指标存在不同。
异常评测指标可以是对数据链路进行监测时所需要关注的指标。异常评测指标可以是与数据链路异常息息相关的指标，例如，异常评测指标可以包括传输频率、传输数据量、接口类型、是否跨域以及是否经过数据中心等数据流转方面的指标。异常评测指标可以是根据《数据全链路监测指标项梳理细化》中所提供的指标，以及指标的实际意义和方法需求确定的。
异常评测数据可以是与异常评测指标对应的数据链路进行传输时的数据。异常评测数据可以是通过数据采集设备对数据链路进行监测获取的。或者，异常评测数据的获取可以是采集数据链路在进行传输时向终端反馈的数据。
在本发明实施例的一个可选实施方式中，根据异常评测需求，确定异常评测指标，包括：根据第一异常评测需求，确定横向链路的异常评测指标和数据质量指标；和/或，根据第二异常评测需求，确定纵向链路的异常评测指标和数据质量指标。
其中，第一异常评测需求可以是与第一级数据链路对应的异常评测需求，可以是横向链路；第二异常评测需求可以是与第二级数据链路对应的异常评测需求，可以是纵向链路。横向链路的异常评测指标可以是反映横向链路的异常情况所涉及的指标；纵向链路的异常评测指标可以是反映纵向链路的异常情况所涉及的指标；数据质量指标可以是反映数据链路告警情况的指标。
在本发明实施例的一个可选实施方式中，横向链路的异常评测指标，包括下述至少一项：横向链路监测系统总数指标、横向链路使用通道总数指标、横向链路总数指标、异常横向链路数指标、横向链路传输数据总量指标、横向链路传输数据日增量指标、横向链路每日传输频率指标、横向链路每月传输频率指标、横向链路每年传输频率指标、横向监测告警指标、以及横向链路接口分布指标。
图1b是本发明实施例一提供的一种数据链路异常评测指标体系的示意图。如图1b所示，指标体系可以包括横向链路的异常评测指标、纵向链路的异常评测指标以及数据质量指标。
其中，横向链路监测系统总数指标是横向数据流转通道总数。横向链路使用通道总数指标是横向数据流转通道中在用通道总数。横向链路总数指标是横向数据流转通道中链路总数。异常横向链路数指标是横向数据流转通道中有告警的链路总数。横向链路传输数据总量指标是横向数据流转通道中传输数据总量。横向链路传输数据日增量指标是横向数据流转通道中昨日传输数据量。横向链路每日传输频率指标是横向数据流转通道中链路每天调用的总次数。横向链路每月传输频率指标是横向数据流转通道中链路每月调用的总次数。横向链路每年传输频率指标是横向数据流转通道中链路每年调用的总次数。横向监测告警指标是横向数据流转链路中产生的告警总数、质量告警数以及运行状态监测告警数以及占比。横向链路接口分布指标是横向数据流转通道中采用的同步接口方式、接口数量以及不同接口方式的数量占比。
横向监测告警指标和横向链路接口分布指标中包括多个数据指标，是一组数据指标。在进行数据链路的异常评测时，可以根据实际需要选取横向监测告警指标和横向链路接口分布指标中部分数据指标。
示例性的，针对数据链路的质量进行异常评测时，可以选取横向监测告警指标中的质量告警数；或者，针对数据链路进行综合性的异常评测时，可以选取横向监测告警指标中的告警总数、质量告警数以及运行状态监测告警数以及占比。
在本发明实施例的一个可选实施方式中，纵向链路的异常评测指标包括下述至少一项：纵向链路总数指标、纵向链路任务总数指标、纵向链路业务系统总数指标、异常纵向链路数指标、纵向链路传输数据总量指标、纵向链路传输数据日增量指标、以及纵向链路监测告警指标。
如图1b所示，纵向链路总数指标是纵向数据流转链路总数量。纵向链路任务总数指标是纵向数据流转链路中任务总数量。纵向链路业务系统总数指标是纵向数据流转链路两端业务系统总数量。异常纵向链路数指标是纵向数据流转链路中运行异常数量。纵向链路传输数据总量指标是纵向数据流转链路中传输数据总量大小。纵向链路传输数据日增量指标是纵向数据流转链路中传输数据增量大小，计算方式为当天按照小时累计统计纵向数据流转链路中传输数据增量之和。纵向链路监测告警指标是纵向数据流转链路中产生的告警总数、质量告警数以及运行状态监测告警数以及占比。
其中，纵向链路监测告警指标是一组数据指标。在进行数据链路的异常评测时，可以根据实际需要选取纵向链路监测告警指标中部分数据指标。
示例性的，针对数据链路的质量进行异常评测时，可以选取纵向链路监测告警指标中的质量告警数；或者，针对数据链路进行综合性的异常评测时，可以选取纵向链路监测告警指标中的告警总数、质量告警数以及运行状态监测告警数以及占比。
在本发明实施例的一个可选实施方式中，数据质量指标包括下述至少一项：数据完整性重要告警指标、数据完整性严重告警指标、数据完整性一般告警指标、数据及时性重要告警指标、数据及时性严重告警指标、数据及时性一般告警指标。
如图1b所示，数据完整性重要告警指标是横向数据流转链路中产生的数据完整性类告警，同时告警级别是重要的告警数之和。数据完整性严重告警指标是横向数据流转链路中产生的数据完整性类告警，同时告警级别是严重的告警数之和。数据完整性一般告警指标是横向数据流转链路中产生的数据完整性类告警，同时告警级别是一般的告警数之和。数据及时性重要告警指标是横向数据流转链路中产生的数据及时性类告警，同时告警级别是重要的告警数之和。数据及时性严重告警指标是横向数据流转链路中产生的数据及时性类告警，同时告警级别是严重的告警数之和。数据及时性一般告警指标是横向数据流转链路中产生的数据及时性类告警，同时告警级别是一般的告警数之和。
步骤120、对异常评测数据进行处理，确定异常评测数据的客观评分和主观评分。
其中，对异常评测数据进行处理可以是确定异常评测数据的客观评分和主观评分。计算异常评测数据的客观评分和主观评分的方法可以是多种。例如，客观评分可以通过排除法、区间法、排序法或者公式计算法等进行确定。主观评分可以是通过经验打分或者主观排序重要性计算等进行确定。
为了保证对数据链路进行异常评测时，不受数据量纲的影响，可以在确定异常评测数据的客观评分和主观评分之前，对异常评测数据进行无量纲处理。
在本发明实施例的一个可选实施方式中，对异常评测数据进行处理，确定异常评测数据的客观评分，包括：对异常评测数据进行标准化处理，得到标准异常评测数据，并确定各异常评测指标对应的标准异常评测数据的熵值；根据各熵值确定对应的异常评测指标的客观权重；根据各异常评测指标对应的客观权重以及标准异常评测数据，确定异常评测数据的客观评分。
其中，对异常评测数据进行标准化处理可以是对异常评测数据进行无量纲处理，得到的标准异常评测数据可以是在区间[0，1]范围内。
示例性的，对于各异常评测指标对应的异常评测数据的标准化处理可是采用公式进行确定。其中，xi为异常评测数据的原始数据，max{xj}为原始数据的最小值，min{xj}为原始数据的最小值。yi为标准异常评测数据。yi无量纲且位于区间[0，1]内。
在本实施例的技术方案中，可以采用熵权法确定标准化处理后的数据的客观权重向量，然后将标准异常评测数据同对应的权重相乘求和确定客观评分。其中，信息熵用于描述信源的不确定度，是随机变量不确定度的度量，信息熵越大则不确定度越大，反之不确定越小。信息熵可以通过公式 确定。其中，pi表示事件i发生的概率。
根据信息熵的定义，对于某项指标可以用熵值来判断某个指标的离散程度，其熵值越小，指标的离散程度越大；该指标对数据链路的综合评价影响(即权重)就越大，如果某项指标的值全部相等，则该指标在综合评价中不起作用。
按照信息论基本原理的解释，信息是系统有序程度的一个度量，熵是系统无序程度的一个度量；如果指标的信息熵越小，该指标提供的信息量越大，在数据链路的综合评价中所起作用理当越大，权重就应该越高。因此，可利用信息熵，计算出各个指标的权重，为多指标综合评价提供依据。
示例性的，对于n条m个异常评测指标标准化处理后的数据X1，X2，...，Xm。其中，Xi＝xi1，xi2，...xij，...，xin；i表示第i个异常评测指标；j表示当前异常评测指标对应的异常评测数据中的第j个标准异常评测数据。可以通过公式确定Xi的熵值Ei。其中，/>如果pij＝0，可以定义/>第i个异常评测指标的客观权重wi可以通过公式/>确定。通过对各条标准异常评测数据与对应的异常评测指标的客观权重相乘再求和，可以得到各条异常评测数据的客观评分。例如，对于第j条标准异常评测数据对应的标准异常评测数据x1j，x2j，...xij，...，xmj，其客观评分为x1j×w1+x2j×w2+…+xij×wi+…，+xmj×wm。
在本发明实施例的一个可选实施方式中，对异常评测数据进行处理，确定异常评测数据的主观评分，包括：对异常评测数据进行标准化处理，得到标准异常评测数据，并确定各异常评测指标的重要性排序，得到重要性排序结果；根据重要性排序结果，确定各异常评测指标的主观权重；根据各异常评测指标对应的主观权重以及标准异常评测数据，确定异常评测数据的主观评分。
其中，标准化处理可以与上述内容相同，此处不再赘述。
异常评测指标的重要性排序可以是根据各异常评测指标对数据链路异常的影响性确定的。若指标xi相对于某评测准则的重要程度大于xj，则二者之间具有序关系：xi＞xj。对指标集{x1，x2，...，xn}不断进行选择和排序，得到重要性排序结果：y1＞y2＞...＞yn。
重要性排序结果相邻的两个异常评测指标的主观权重之比表示二者的相对重要性。其中，w′i表示第i个异常评测指标的主观权重，rk表示相对重要性，则：rk＝w′i-1/w′i，(k＝2，3，...，n)。
表1是本发明实施例一提供的一种相对重要性取值规则示意表。如表1所示，rk的取值可以是根据不同重要性程度确定的。其中，重要程度可以是根据异常评测指标的相对重要性人为划分的。
表1
根据重要性排序结果以及人为划分的异常评测指标的相对重要性，可以确定rk以及主观权重w′i。其中，主观权重w′i的计算公式可以是 以及w′i-1＝rkw′i，(k＝2，3，...，n)。
通过对各条标准异常评测数据与对应的异常评测指标的主观权重相乘再求和，可以得到各条异常评测数据的主观评分。例如，对于第j条标准异常评测数据对应的标准异常评测数据x1j，x2j，...xij，...，xmj，其主观评分为x1j×w′1+x2j×w′2+…+xij×w′i+…，+xmj×w′m。
本发明实施例可以通过使用序关系法根据标准化处理后的标准异常评测数据确定主观权重及主观评分。
步骤130、将客观评分和主观评分输入至预设深度学习模型，得到综合评分，并根据综合评分确定异常评测结果。
其中，预设深度学习模型可以是预先针对异常评测数据、客观评分和主观评分进行训练生成的。预设深度学习模型可以根据客观评分和主观评分，预测异常评测数据的综合评分。
综合评分可以是兼顾主观因素与客观因素的评分，避免了客观评分和主观评分的局限性，使结果更加可靠。根据综合评分确定异常评测结果，可以是在综合评分低于预设评分阈值时，确定数据链路的异常评测结果为存在异常；在综合评分不低于预设评分阈值时，确定数据链路的异常评测结果为不存在异常。
在本发明实施例的一个可选实施方式中，在将客观评分和主观评分输入至预设深度学习模型之前，还包括：获取与异常评测指标对应的训练集，使用深度学习算法进行学习，得到预设深度学习模型。
其中，深度学习算法包括深度神经网络、卷积神经网络、深度置信网络以及循环神经网络等。在本发明实施例中，以为例，进行预设深度学习模型训练的说明。
深度置信网络算法的组成元件是受限玻尔兹曼机(Restricted BoltzmannMachines，RBM)。训练深度置信网络的过程是一层一层地进行的。在每一层中，用数据向量来推断隐层，再把这一隐层当作下一层(高一层)的数据向量。也就是说分别单独无监督地训练每一层RBM网络，确保特征向量映射到不同特征空间时，都尽可能多地保留特征信息。这显示了深度置信网络算法本质是如何得到更好的特征表达。
在深度置信网络的最后一层设置反向传播(Back Propagation，BP)网络，接收RBM的输出特征向量作为它的输入特征向量，有监督地训练实体关系分类器。每一层RBM网络只能确保自身层内的权值对该层特征向量映射达到最优，并不是对整个深度置信网络的特征向量映射达到最优，所以反向传播网络还将错误信息自顶向下传播至每一层RBM，微调整个深度置信网络。
实际使用深度置信网络的关键是训练集的选择和构建。在本发明实施例中，训练集中的数据包括与异常评测指标对应的异常评测数据、与第一预设比重的异常评测数据对应的客观评分，以及与第二预设比重的异常评测数据对应的主观评分。
其中，第一预设比重可以与第二预设比重相同或者不同。例如，第一预设比重和第二预设比重可以均是0.5；或者，第一预设比重可以是0.4，第二预设比重可以是0.6；或者，第一预设比重可以是0.6，第二预设比重可以是0.4等。
示例性的，对于1000条异常评测数据，可以采用上述的熵权法和序关系确定客观评分和主观评分。可以选取400条异常评测数据对应的客观评分、600条异常评测数据对应的主观评分，以及对应的全部异常评测数据作为训练集。或者，可以选取600条异常评测数据对应的客观评分、400条异常评测数据对应的主观评分，以及对应的全部异常评测数据作为训练集。或者，可以选取500条异常评测数据对应的客观评分、500条异常评测数据对应的主观评分，以及对应的全部异常评测数据作为训练集。或者，可以选取多种训练集进行多种模型的训练。
在本发明实施例的一个可选实施方式中，数据链路异常评测方法还包括：根据综合评分获取预设比重调整指令；根据预设比重调整指令调整第一预设比重和第二预设比重，并生成新的训练集进行预设深度学习模型训练。
其中，预设比重调整指令可以是根据博弈论模型对综合评分进行分析确定的。例如，可以是专家人为确定的预设比重调整指令。通过调整第一预设比重和第二预设比重，可以提高训练集的质量，使预设深度学习模型预测的综合评分更加准确可靠。
本实施例的技术方案，通过根据异常评测需求，确定异常评测指标，并获取与异常评测指标对应的异常评测数据；对异常评测数据进行处理，确定异常评测数据的客观评分和主观评分；将客观评分和主观评分输入至预设深度学习模型，得到综合评分，并根据综合评分确定异常评测结果，解决了数据链路异常评测的问题，实现了对数据链路进行异常评测，改善异常评测结果的片面性与主观性，从而提高异常评测结果可靠性，并且在大规模数据链路中可以快速确定异常链路，提高数据链路异常评测的效率。
实施例二
图2是本发明实施例二提供的一种数据链路异常评测装置的结构示意图。结合图2，该装置包括：异常评测数据获取模块210，评分确定模块220和异常评测结果确定模块230。其中：
异常评测数据获取模块210，用于根据异常评测需求，确定异常评测指标，并获取与异常评测指标对应的异常评测数据；
评分确定模块220，用于对异常评测数据进行处理，确定异常评测数据的客观评分和主观评分；
异常评测结果确定模块230，用于将客观评分和主观评分输入至预设深度学习模型，得到综合评分，并根据综合评分确定异常评测结果。
可选的，异常评测数据获取模块210包括：
异常评测指标确定单元，用于根据第一异常评测需求，确定横向链路的异常评测指标和数据质量指标；和/或，根据第二异常评测需求，确定纵向链路的异常评测指标和数据质量指标。
可选的，横向链路的异常评测指标，包括下述至少一项：横向链路监测系统总数指标、横向链路使用通道总数指标、横向链路总数指标、异常横向链路数指标、横向链路传输数据总量指标、横向链路传输数据日增量指标、横向链路每日传输频率指标、横向链路每月传输频率指标、横向链路每年传输频率指标、横向监测告警指标、以及横向链路接口分布指标；
纵向链路的异常评测指标包括下述至少一项：纵向链路总数指标、纵向链路任务总数指标、纵向链路业务系统总数指标、异常纵向链路数指标、纵向链路传输数据总量指标、纵向链路传输数据日增量指标、以及纵向链路监测告警指标；
数据质量指标包括下述至少一项：数据完整性重要告警指标、数据完整性严重告警指标、数据完整性一般告警指标、数据及时性重要告警指标、数据及时性严重告警指标、数据及时性一般告警指标。
可选的，评分确定模块220包括：
熵值确定单元，用于对异常评测数据进行标准化处理，得到标准异常评测数据，并确定各异常评测指标对应的标准异常评测数据的熵值；
客观权重确定单元，用于根据各熵值确定对应的异常评测指标的客观权重；
客观评分确定单元，用于根据各异常评测指标对应的客观权重以及标准异常评测数据，确定异常评测数据的客观评分。
可选的，评分确定模块220包括：
重要性排序结果确定单元，用于对异常评测数据进行标准化处理，得到标准异常评测数据，并确定各异常评测指标的重要性排序，得到重要性排序结果；
主观权重确定单元，用于根据重要性排序结果，确定各异常评测指标的主观权重；
主观评分确定单元，用于根据各异常评测指标对应的主观权重以及标准异常评测数据，确定异常评测数据的主观评分。
可选的，该装置，还包括：
预设深度学习模型获取模块，用于在将客观评分和主观评分输入至预设深度学习模型之前，获取与异常评测指标对应的训练集，使用深度学习算法进行学习，得到预设深度学习模型；
其中，训练集中的数据包括与异常评测指标对应的异常评测数据、与第一预设比重的异常评测数据对应的客观评分，以及与第二预设比重的异常评测数据对应的主观评分。
可选的，该装置，还包括：
预设比重调整指令获取模块，用于根据综合评分获取预设比重调整指令；
训练集生成模块，用于根据预设比重调整指令调整第一预设比重和第二预设比重，并生成新的训练集进行预设深度学习模型训练。
本发明实施例所提供的数据链路异常评测装置可执行本发明任意实施例所提供的数据链路异常评测方法，具备执行方法相应的功能模块和有益效果。
实施例三
图3是本发明实施例三提供的一种电子设备的结构示意图，如图3所示，该设备包括：
一个或多个处理器310，图3中以一个处理器310为例；
存储器320；
所述设备还可以包括：输入装置330和输出装置340。
所述设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图3中以通过总线连接为例。
存储器320作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种数据链路异常评测方法对应的程序指令/模块(例如，附图2所示的异常评测数据获取模块210，评分确定模块220和异常评测结果确定模块230)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例的一种数据链路异常评测方法，即：
根据异常评测需求，确定异常评测指标，并获取与所述异常评测指标对应的异常评测数据；
对所述异常评测数据进行处理，确定所述异常评测数据的客观评分和主观评分；
将所述客观评分和所述主观评分输入至预设深度学习模型，得到综合评分，并根据所述综合评分确定异常评测结果。
存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器320可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
实施例四
本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的一种数据链路异常评测方法：
根据异常评测需求，确定异常评测指标，并获取与所述异常评测指标对应的异常评测数据；
对所述异常评测数据进行处理，确定所述异常评测数据的客观评分和主观评分；
将所述客观评分和所述主观评分输入至预设深度学习模型，得到综合评分，并根据所述综合评分确定异常评测结果。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种数据链路异常评测方法，其特征在于，所述方法包括：
根据异常评测需求，确定异常评测指标，并获取与所述异常评测指标对应的异常评测数据；
对所述异常评测数据进行处理，确定所述异常评测数据的客观评分和主观评分；
将所述客观评分和所述主观评分输入至预设深度学习模型，得到综合评分，并根据所述综合评分确定异常评测结果；
在将所述客观评分和所述主观评分输入至预设深度学习模型之前，还包括：
获取与所述异常评测指标对应的训练集，使用深度学习算法进行学习，得到预设深度学习模型；
其中，所述训练集中的数据包括与所述异常评测指标对应的异常评测数据、与第一预设比重的异常评测数据对应的客观评分，以及与第二预设比重的异常评测数据对应的主观评分；
所述数据链路异常评测方法，还包括：
根据所述综合评分获取预设比重调整指令；
根据所述预设比重调整指令调整所述第一预设比重和所述第二预设比重，并生成新的训练集进行所述预设深度学习模型训练。
2.根据权利要求1所述的方法，其特征在于，根据异常评测需求，确定异常评测指标，包括：
根据第一异常评测需求，确定横向链路的异常评测指标和数据质量指标；和/或，根据第二异常评测需求，确定纵向链路的异常评测指标和数据质量指标。
3.根据权利要求2所述的方法，其特征在于，所述横向链路的异常评测指标，包括下述至少一项：横向链路监测系统总数指标、横向链路使用通道总数指标、横向链路总数指标、异常横向链路数指标、横向链路传输数据总量指标、横向链路传输数据日增量指标、横向链路每日传输频率指标、横向链路每月传输频率指标、横向链路每年传输频率指标、横向监测告警指标、以及横向链路接口分布指标；
所述纵向链路的异常评测指标包括下述至少一项：纵向链路总数指标、纵向链路任务总数指标、纵向链路业务系统总数指标、异常纵向链路数指标、纵向链路传输数据总量指标、纵向链路传输数据日增量指标、以及纵向链路监测告警指标；
所述数据质量指标包括下述至少一项：数据完整性重要告警指标、数据完整性严重告警指标、数据完整性一般告警指标、数据及时性重要告警指标、数据及时性严重告警指标、数据及时性一般告警指标。
4.根据权利要求1所述的方法，其特征在于，对所述异常评测数据进行处理，确定所述异常评测数据的客观评分，包括：
对所述异常评测数据进行标准化处理，得到标准异常评测数据，并确定各所述异常评测指标对应的标准异常评测数据的熵值；
根据各所述熵值确定对应的所述异常评测指标的客观权重；
根据各所述异常评测指标对应的所述客观权重以及所述标准异常评测数据，确定所述异常评测数据的客观评分。
5.根据权利要求1所述的方法，其特征在于，对所述异常评测数据进行处理，确定所述异常评测数据的主观评分，包括：
对所述异常评测数据进行标准化处理，得到标准异常评测数据，并确定各所述异常评测指标的重要性排序，得到重要性排序结果；
根据所述重要性排序结果，确定各所述异常评测指标的主观权重；
根据各所述异常评测指标对应的所述主观权重以及所述标准异常评测数据，确定所述异常评测数据的主观评分。
6.一种数据链路异常评测装置，其特征在于，包括：
异常评测数据获取模块，用于根据异常评测需求，确定异常评测指标，并获取与所述异常评测指标对应的异常评测数据；
评分确定模块，用于对所述异常评测数据进行处理，确定所述异常评测数据的客观评分和主观评分；
异常评测结果确定模块，用于将所述客观评分和所述主观评分输入至预设深度学习模型，得到综合评分，并根据所述综合评分确定异常评测结果；
所述装置，还包括：
预设深度学习模型获取模块，用于在将客观评分和主观评分输入至预设深度学习模型之前，获取与异常评测指标对应的训练集，使用深度学习算法进行学习，得到预设深度学习模型；
其中，训练集中的数据包括与异常评测指标对应的异常评测数据、与第一预设比重的异常评测数据对应的客观评分，以及与第二预设比重的异常评测数据对应的主观评分；
所述装置，还包括：
预设比重调整指令获取模块，用于根据综合评分获取预设比重调整指令；
训练集生成模块，用于根据预设比重调整指令调整第一预设比重和第二预设比重，并生成新的训练集进行预设深度学习模型训练。
7.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110303805.3A CN112907124B (zh) | 2021-03-22 | 2021-03-22 | 一种数据链路异常评测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110303805.3A CN112907124B (zh) | 2021-03-22 | 2021-03-22 | 一种数据链路异常评测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907124A CN112907124A (zh) | 2021-06-04 |
| CN112907124B true CN112907124B (zh) | 2023-10-31 |
Family
ID=76105860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110303805.3A Active CN112907124B (zh) | 2021-03-22 | 2021-03-22 | 一种数据链路异常评测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907124B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014101636A1 (zh) * | 2012-12-31 | 2014-07-03 | 北京邮电大学 | 一种电力通信网风险评估方法 |
| CN104835103A (zh) * | 2015-05-11 | 2015-08-12 | 大连理工大学 | 基于神经网络和模糊综合评价的移动网络健康评价方法 |
| CN105225020A (zh) * | 2015-11-11 | 2016-01-06 | 国家电网公司 | 一种基于bp神经网络算法的运行状态预测方法和系统 |
| CN106651182A (zh) * | 2016-12-25 | 2017-05-10 | 北京工业大学 | 基于熵权重的轨道客流拥塞风险评价方法 |
| CN109242314A (zh) * | 2018-09-12 | 2019-01-18 | 全球能源互联网研究院有限公司 | 一种配电网全景监测指标的评估方法及装置 |
| CN109409770A (zh) * | 2018-11-13 | 2019-03-01 | 国家电网有限公司 | 一种基于神经网络的农村电网智能水平评价方法 |
| CN111598457A (zh) * | 2020-05-18 | 2020-08-28 | 全球能源互联网研究院有限公司 | 一种电力无线网络质量的确定方法及装置 |
| CN112308454A (zh) * | 2020-11-19 | 2021-02-02 | 安徽江淮汽车集团股份有限公司 | 汽车操纵稳定性评价方法、装置、设备及存储介质 |
-
2021
- 2021-03-22 CN CN202110303805.3A patent/CN112907124B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014101636A1 (zh) * | 2012-12-31 | 2014-07-03 | 北京邮电大学 | 一种电力通信网风险评估方法 |
| CN104835103A (zh) * | 2015-05-11 | 2015-08-12 | 大连理工大学 | 基于神经网络和模糊综合评价的移动网络健康评价方法 |
| CN105225020A (zh) * | 2015-11-11 | 2016-01-06 | 国家电网公司 | 一种基于bp神经网络算法的运行状态预测方法和系统 |
| CN106651182A (zh) * | 2016-12-25 | 2017-05-10 | 北京工业大学 | 基于熵权重的轨道客流拥塞风险评价方法 |
| CN109242314A (zh) * | 2018-09-12 | 2019-01-18 | 全球能源互联网研究院有限公司 | 一种配电网全景监测指标的评估方法及装置 |
| CN109409770A (zh) * | 2018-11-13 | 2019-03-01 | 国家电网有限公司 | 一种基于神经网络的农村电网智能水平评价方法 |
| CN111598457A (zh) * | 2020-05-18 | 2020-08-28 | 全球能源互联网研究院有限公司 | 一种电力无线网络质量的确定方法及装置 |
| CN112308454A (zh) * | 2020-11-19 | 2021-02-02 | 安徽江淮汽车集团股份有限公司 | 汽车操纵稳定性评价方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 杨宗霄 ; 毛智杰 ; 杨本渤 ; 肖甜 ; .基于因子分析与神经网络的输电网安全评价.电网技术.2009,(第14期),26-30. * |
| 郑晓薇 ; 于海波 ; .基于熵的网络学习模糊综合评价方法.计算机工程与设计.2008,(第23期),6149-6451. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907124A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10360517B2 (en) | Distributed hyperparameter tuning system for machine learning | |
| US9053436B2 (en) | Methods and system for providing simultaneous multi-task ensemble learning | |
| US10225165B2 (en) | Apparatus and method for processing data streams in a communication network | |
| US8533537B2 (en) | Technology infrastructure failure probability predictor | |
| US20170109657A1 (en) | Machine Learning-Based Model for Identifying Executions of a Business Process | |
| US20110153383A1 (en) | System and method for distributed elicitation and aggregation of risk information | |
| US20170109668A1 (en) | Model for Linking Between Nonconsecutively Performed Steps in a Business Process | |
| CN110782129B (zh) | 一种业务进度监控方法、装置、系统及计算机可读存储介质 | |
| US20170109667A1 (en) | Automaton-Based Identification of Executions of a Business Process | |
| CN103336790A (zh) | 基于Hadoop的邻域粗糙集快速属性约简方法 | |
| US20170109639A1 (en) | General Model for Linking Between Nonconsecutively Performed Steps in Business Processes | |
| CN112508723B (zh) | 基于自动择优建模的金融风险预测方法、装置和电子设备 | |
| WO2011142987A1 (en) | Organization-segment-based risk analysis model | |
| CN112508580A (zh) | 基于拒绝推断方法的模型构建方法、装置和电子设备 | |
| CN112036515A (zh) | 基于smote算法的过采样方法、装置和电子设备 | |
| CN103336791A (zh) | 基于Hadoop的粗糙集快速属性约简方法 | |
| US20170109638A1 (en) | Ensemble-Based Identification of Executions of a Business Process | |
| CN111199469A (zh) | 用户还款模型生成方法、装置及电子设备 | |
| CN111738331A (zh) | 用户分类方法及装置、计算机可读存储介质、电子设备 | |
| CN111179055B (zh) | 授信额度调整方法、装置和电子设备 | |
| US20170109640A1 (en) | Generation of Candidate Sequences Using Crowd-Based Seeds of Commonly-Performed Steps of a Business Process | |
| CN117436768A (zh) | 一种基于数据治理的统一监管指标方法 | |
| CN113361959A (zh) | 一种银行业务集中运营成熟度的计算方法和装置 | |
| Wang et al. | Aistar: an intelligent system for online it ticket automation recommendation | |
| CN117495094A (zh) | 一种产业链安全风险综合评估预警方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |