CN114826393A - 一种基于深度置信网络的光纤网络链路缺陷数据检测方法 - Google Patents
一种基于深度置信网络的光纤网络链路缺陷数据检测方法 Download PDFInfo
- Publication number
- CN114826393A CN114826393A CN202210370405.9A CN202210370405A CN114826393A CN 114826393 A CN114826393 A CN 114826393A CN 202210370405 A CN202210370405 A CN 202210370405A CN 114826393 A CN114826393 A CN 114826393A
- Authority
- CN
- China
- Prior art keywords
- data
- optical fiber
- fiber network
- network link
- defect data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013307 optical fiber Substances 0.000 title claims abstract description 53
- 230000007547 defect Effects 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000002759 z-score normalization Methods 0.000 claims description 3
- 239000000835 fiber Substances 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/07—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
- H04B10/075—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
- H04B10/079—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
- H04B10/0793—Network aspects, e.g. central monitoring of transmission parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种基于深度置信网络的光纤网络链路缺陷数据检测方法，包括以下步骤：步骤1，光纤网络链路数据采集；步骤2，对光纤网络链路缺陷数据进行去噪处理；步骤3，进行数据插值处理；步骤4，对进行数据均衡处理；步骤5，对数据进行尺度处理；步骤6，将长序列离散化，切分为固定大小的段；步骤7，提取统计特征、信号特征及物理特征；步骤8，进行缺陷数据识别，完成数据检测。应用本技术方案能够有效检测由于各种原因出现数据缺陷的情况。
Description
技术领域
本发明涉及光纤网络数据技术领域，特别是一种基于深度置信网络的光纤网络链路缺陷数据检测方法。
背景技术
随着国网对数据资产越来越重视，最近两年，福建省电力公司信息网络建设的进度进一步加快，需要进行监控的业务源端系统、数据传输量也日益增长。这对网络链路监控、运行可靠性、链路异常数据及时预警提出了更高的要求，现省公司信息综合网管系统已出现了光纤链路异常数据难以准确性、及时性的发现与预警。
光纤网络链路在实际工作中，常常由于光缆过长、光纤受压或断裂、弯曲过度、接头污染、接头抛光接头接触不良等原因，出现故障问题，影响了通信传输质量。因此，为了能够确保网管系统及时、高效的进行数据采集、分析及异常数据预警，需要及时排除光纤网络链路由于上述问题引发的故障，恢复正常网络通信，有必要结合大数据分析技术，实时检测和发现光纤网络链路缺陷数据，提高省公司综合网管系统的安全性，健硕性，提升监控质量。
现有技术数据在采集、传输过程中，由于各种原因难免会出现缺失值。一旦数据不平衡，数据失值检测结果就会受到严重影响，检测准确性也会随之明显降低。另外现有技术依据源节点与所述源节点之间的IP地址之间相互响应报文，只能判断数据链路是否中断，对因外部环境等噪声干扰的异常数据，无法进行无损检测，难以保证数据的完整性和准确性。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度置信网络的光纤网络链路缺陷数据检测方法，有效检测由于各种原因出现数据缺陷的情况。
为实现上述目的，本发明采用如下技术方案：一种基于深度置信网络的光纤网络链路缺陷数据检测方法，其特征在于包括以下步骤：
步骤1，光纤网络链路数据采集，按照电力公司的光纤网络链路，将光纤光栅传感器布局在中心机和各前端机和链路之间的位置，然后进行光纤网络链路数据采集；
步骤2，采用小波阈值去噪法对光纤网络链路缺陷数据进行去噪处理，定义光纤网络链路数据为：
f(t)＝s(t)+n(t)
其中s(t)为链路上真实数据；m(t)是方差为α2的Gaussian白噪声，服从N(0，α2)分布，因此对含噪链路数据进行小波变换，得到一组小波系数，通过对系数的阈值处理，再进行小波重构，从而完成去噪处理；
步骤3，通过计算数据的均值和协方差，用均值替换数据中的缺失值，并采用回归方程估计缺失值，回归方程收敛后，最后一次回归的估计值作为缺失值，进行数据插值处理；
步骤4，采用SMOTE算法进行数据均衡处理，采样最邻近算法，计算出每个少数类样本的K个近邻；从K个近邻中随机挑选N个样本进行随机线性插值；构造新的少数类样本；将新样本与原数据合成，产生新的训练集；
步骤5，采用Min-Max和Z-score标准化方法对数据进行尺度处理，使数据尺度保持一致，这是因为采集到的光纤网络链路缺陷数据由于自身的数据特性，量纲可能不一致，具体公式如下；
Min-Max标准化：
Z-score标准化：
其中，x^'规范化后数据，x为原始数据，max、min为样本数据的最大、小值，a为对应特征均值，b为标准差；
步骤6，采用Matlab中的TSSA时间序列分割方法将长序列离散化，以固定步长L移动对原始光纤网络链路缺陷数据时间序列进行分割，最后得到等间隔的时间序列片段；
步骤7，通过滑动窗口平均方法，用迭代的方法产生特征序列，从中提取统计特征、信号特征及物理特征，然后将这些特征封装成特征合集，供后续分类器使用；
步骤8，待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型当中，利用该模型进行缺陷数据识别，完成数据检测。
在一较佳的实施例中，所述模型具体为深度置信网络(DBN)分析模型，待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型(SVDD)当中，利用该模型进行缺陷数据识别，完成数据检测。
与现有技术相比，本发明具有以下有益效果：
本发明提出了一种基于深度置信网络的光纤网络链路缺陷数据检测方法，结合公司链路数据不平衡的情况，实现光纤网络链路缺陷数据检测。可以在充分考虑面对不平衡链路数据，数据在网络链路采集、传输过程中，能有效检测由于各种原因出现数据缺陷的情况。
附图说明
图1为本发明优选实施例中一种基于深度置信网络的光纤网络链路缺陷数据检测方法的方法流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
一种基于深度置信网络的光纤网络链路缺陷数据检测方法，包括以下步骤：
步骤1，光纤网络链路数据采集，按照电力公司的光纤网络链路，将光纤光栅传感器布局在中心机和各前端机和链路之间的位置，然后进行光纤网络链路数据采集。
为保证采集到的光纤网络链路缺陷数据符合后续深度学习算法的处理规范，需要对数据进行预处理，包括去噪处理、插值、均衡处理、尺度处理和时长处理。
步骤2，由于光纤网络链路数据在采集过程中，会受到噪声的影响，将有用数据覆盖住，干扰后面数据检测的准确性，所以采用小波阈值去噪法对光纤网络链路缺陷数据进行去噪处理。定义光纤网络链路数据为：
f(t)＝s(t)+n(t)
其中s(t)为链路上真实数据；n(t)是方差为α2的Gaussian白噪声，服从N(0，α2)分布，因此对含噪链路数据进行小波变换，得到一组小波系数，通过对系数的阈值处理，再进行小波重构，从而完成去噪处理。
步骤3，数据在采集过程中，由于各种原因难免会出现缺失值，而时间序列数据分析最重要的要求就是保证数据的完整性，因此，通过计算数据的均值和协方差，用均值替换数据中的缺失值，并采用回归方程估计缺失值，回归方程收敛后，最后一次回归的估计值作为缺失值，进行数据插值处理。
步骤4，数据不平衡是导致后续深度学习造成分类器在训练时性能下降的主要原因，因此，采用SMOTE算法进行数据均衡处理。采样最邻近算法，计算出每个少数类样本的K个近邻。从K个近邻中随机挑选N个样本进行随机线性插值。构造新的少数类样本。将新样本与原数据合成，产生新的训练集，丰富数据。
步骤5，采集到的光纤网络链路缺陷数据由于自身的数据特性，量纲可能不一致。这在后期会影响分类器收敛速度和训练时间，因此，采用Min-Max和Z-score标准化方法对数据进行尺度处理，使数据尺度保持一致。这是因为采集到的光纤网络链路缺陷数据由于自身的数据特性，量纲可能不一致，具体公式如下；
Min-Max标准化：
Z-score标准化：
其中，x^'规范化后数据，x为原始数据，max、min为样本数据的最大、小值，a为对应特征均值，b为标准差。
步骤6，由于采集到的光纤网络链路缺陷数据具有时间性，是一个带有时间戳的长序列，不利于后续特征提取，因此，采用TSSA时间序列分割方法将长序列离散化，切分为固定大小的段，最后得到等间隔的时间序列片段。
步骤7，光纤网络链路数据具有时间特性，因此利用一种基于规则迭代的时间序列特征提取方法，所以通过滑动窗口平均方法，用迭代的方法产生特征序列，从中提取统计特征、信号特征及物理特征，然后将这些特征封装成特征合集，供后续分类器使用。
步骤8，待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型当中，利用该模型进行缺陷数据识别，完成数据检测。具体来说，所述模型具体为深度置信网络(DBN)分析模型。待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型(SVDD)当中，利用该模型进行缺陷数据识别，完成数据检测，如图1所示。
本发明提出了一种基于深度置信网络的光纤网络链路缺陷数据检测方法，结合公司链路数据不平衡的情况，实现光纤网络链路缺陷数据检测。可以在充分考虑面对不平衡链路数据，数据在网络链路采集、传输过程中，能有效检测由于各种原因出现数据缺陷的情况。
Claims (2)
1.一种基于深度置信网络的光纤网络链路缺陷数据检测方法，其特征在于包括以下步骤：
步骤1，光纤网络链路数据采集，按照电力公司的光纤网络链路，将光纤光栅传感器布局在中心机和各前端机和链路之间的位置，然后进行光纤网络链路数据采集；
步骤2，采用小波阈值去噪法对光纤网络链路缺陷数据进行去噪处理，定义光纤网络链路数据为：
f(t)＝s(t)+n(t)
其中s(t)为链路上真实数据；n(t)是方差为α2的Gaussian白噪声，服从N(0，α2)分布，因此对含噪链路数据进行小波变换，得到一组小波系数，通过对系数的阈值处理，再进行小波重构，从而完成去噪处理；
步骤3，通过计算数据的均值和协方差，用均值替换数据中的缺失值，并采用回归方程估计缺失值，回归方程收敛后，最后一次回归的估计值作为缺失值，进行数据插值处理；
步骤4，采用SMOTE算法进行数据均衡处理，采样最邻近算法，计算出每个少数类样本的K个近邻；从K个近邻中随机挑选N个样本进行随机线性插值；构造新的少数类样本；将新样本与原数据合成，产生新的训练集；
步骤5，采用Min-Max和Z-score标准化方法对数据进行尺度处理，使数据尺度保持一致，这是因为采集到的光纤网络链路缺陷数据由于自身的数据特性，量纲可能不一致，具体公式如下；
Min-Max标准化：
Z-score标准化：
其中，x^'规范化后数据，x为原始数据，max、min为样本数据的最大、小值，a为对应特征均值，b为标准差；
步骤6，采用Matlab中的TSSA时间序列分割方法将长序列离散化，以固定步长L移动对原始光纤网络链路缺陷数据时间序列进行分割，最后得到等间隔的时间序列片段；
步骤7，通过滑动窗口平均方法，用迭代的方法产生特征序列，从中提取统计特征、信号特征及物理特征，然后将这些特征封装成特征合集，供后续分类器使用；
步骤8，待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型当中，利用该模型进行缺陷数据识别，完成数据检测。
2.根据权利要求1所述的一种基于深度置信网络的光纤网络链路缺陷数据检测方法，其特征在于，所述模型具体为深度置信网络(DBN)分析模型，待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型(SVDD)当中，利用该模型进行缺陷数据识别，完成数据检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210370405.9A CN114826393A (zh) | 2022-04-09 | 2022-04-09 | 一种基于深度置信网络的光纤网络链路缺陷数据检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210370405.9A CN114826393A (zh) | 2022-04-09 | 2022-04-09 | 一种基于深度置信网络的光纤网络链路缺陷数据检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114826393A true CN114826393A (zh) | 2022-07-29 |
Family
ID=82535596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210370405.9A Pending CN114826393A (zh) | 2022-04-09 | 2022-04-09 | 一种基于深度置信网络的光纤网络链路缺陷数据检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114826393A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997373A (zh) * | 2016-12-29 | 2017-08-01 | 南京邮电大学 | 一种基于深度置信网络的链路预测方法 |
| CN110875912A (zh) * | 2018-09-03 | 2020-03-10 | 中移（杭州）信息技术有限公司 | 一种基于深度学习的网络入侵检测方法、装置和存储介质 |
| CN111833324A (zh) * | 2020-07-09 | 2020-10-27 | 中国计量大学 | 基于深度学习的光纤插芯缺陷检测方法 |
| US20210224635A1 (en) * | 2020-01-20 | 2021-07-22 | Wuhan University | Transformer failure diagnosis method and system based on integrated deep belief network |
| CN114187242A (zh) * | 2021-11-25 | 2022-03-15 | 北京航空航天大学 | 一种基于深度学习的制导光纤表面缺陷检测与定位方法 |
-
2022
- 2022-04-09 CN CN202210370405.9A patent/CN114826393A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997373A (zh) * | 2016-12-29 | 2017-08-01 | 南京邮电大学 | 一种基于深度置信网络的链路预测方法 |
| CN110875912A (zh) * | 2018-09-03 | 2020-03-10 | 中移（杭州）信息技术有限公司 | 一种基于深度学习的网络入侵检测方法、装置和存储介质 |
| US20210224635A1 (en) * | 2020-01-20 | 2021-07-22 | Wuhan University | Transformer failure diagnosis method and system based on integrated deep belief network |
| CN111833324A (zh) * | 2020-07-09 | 2020-10-27 | 中国计量大学 | 基于深度学习的光纤插芯缺陷检测方法 |
| CN114187242A (zh) * | 2021-11-25 | 2022-03-15 | 北京航空航天大学 | 一种基于深度学习的制导光纤表面缺陷检测与定位方法 |
Non-Patent Citations (6)
| Title |
|---|
| "数据采集与处理2018年(第33卷1～6期)总目次", 数据采集与处理 * |
| 刘 敏: "基于深度学习的光纤网络链路缺陷数据检测及研究", 激光杂志 * |
| 李海英 等: "基于改进深度置信网络的智能电网暂态安全状态感知", 电力系统保护与控制 * |
| 梁猛;杨斯淇;: "基于人工神经网络的光纤通信信号识别方法", 信息通信 * |
| 赵洪山;刘辉海;: "基于性能改善深度置信网络的风电机组主轴承状态分析", 电力自动化设备 * |
| 连鸿飞;张浩;郭文忠;: "一种数据增强与混合神经网络的异常流量检测", 小型微型计算机系统 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555273B (zh) | 基于隐马尔科夫模型和迁移学习的轴承寿命预测方法 | |
| CA2931624A1 (en) | Systems and methods for event detection and diagnosis | |
| CN110405537B (zh) | 一种基于深度学习的导轨精度预测模型的建立方法 | |
| CN108304348B (zh) | 一种基于二元维纳过程的轴承剩余寿命预测方法 | |
| CN112660745B (zh) | 托辊故障智能诊断方法、系统及可读存储介质 | |
| CN112504673A (zh) | 基于机器学习的托辊故障诊断方法、系统及存储介质 | |
| CN112173636B (zh) | 一种巡检机器人对皮带机托辊故障的检测方法 | |
| CN111666978B (zh) | 一种it系统运维大数据的智能故障预警系统 | |
| CN110990788A (zh) | 一种基于三元维纳过程的轴承剩余寿命预测方法 | |
| CN109141625B (zh) | 一种滚珠丝杠副的在线状态监测方法 | |
| KR20210006832A (ko) | 기계고장 진단 방법 및 장치 | |
| CN117368651B (zh) | 一种配电网故障综合分析系统及方法 | |
| CN115424635B (zh) | 一种基于声音特征的水泥厂设备故障诊断方法 | |
| CN114826393A (zh) | 一种基于深度置信网络的光纤网络链路缺陷数据检测方法 | |
| CN111636123A (zh) | 一种智能纺纱生产线故障检测系统 | |
| CN105083916A (zh) | 输送带纵向撕裂故障在线检测方法 | |
| CN116317103A (zh) | 一种配电网电压数据处理方法 | |
| CN112660746B (zh) | 基于大数据技术的托辊故障诊断方法、系统及存储介质 | |
| CN113177484B (zh) | 基于lof自编码的机械故障智能诊断方法 | |
| KR102028845B1 (ko) | 원전설비의 예측 진단 방법 및 시스템 | |
| CN112465784B (zh) | 一种地铁夹钳外观异常检测的方法 | |
| CN112104340B (zh) | 一种基于HMM模型和Kalman滤波技术的开关量输入模块BIT降虚警方法 | |
| CN114637793B (zh) | 一种基于大数据分析的装备故障频发区域定位方法 | |
| CN111639711B (zh) | 一种基于压力监测时序数据的输油管线泄漏监测方法 | |
| CN113079043B (zh) | 一种基于码本的网络故障诊断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220729 |
|
| RJ01 | Rejection of invention patent application after publication |