CN116388865B - 一种基于pon光模块光功率异常的自动筛选方法 - Google Patents
一种基于pon光模块光功率异常的自动筛选方法 Download PDFInfo
- Publication number
- CN116388865B CN116388865B CN202310651716.7A CN202310651716A CN116388865B CN 116388865 B CN116388865 B CN 116388865B CN 202310651716 A CN202310651716 A CN 202310651716A CN 116388865 B CN116388865 B CN 116388865B
- Authority
- CN
- China
- Prior art keywords
- data
- optical power
- model
- optical module
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 190
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012216 screening Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000010606 normalization Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000005856 abnormality Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 6
- 239000002245 particle Substances 0.000 claims description 101
- 230000006870 function Effects 0.000 claims description 14
- 210000002569 neuron Anatomy 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000002457 bidirectional effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000002547 anomalous effect Effects 0.000 claims 2
- 238000012423 maintenance Methods 0.000 abstract description 7
- 239000000523 sample Substances 0.000 description 14
- 238000009826 distribution Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000288105 Grus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 230000019637 foraging behavior Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/07—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
- H04B10/075—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
- H04B10/079—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
- H04B10/0795—Performance monitoring; Measurement of transmission parameters
- H04B10/07955—Monitoring or measuring power
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Optical Communication System (AREA)
Abstract
本发明公开了一种基于PON光模块光功率异常的自动筛选方法，该方法包括：获取PON光模块光功率的时间序列数据并进行预处理；基于预处理后的时间序列数据进行归一化处理，利用滑动窗口获取生成模型的输入值；构建BiGRU‑Attention网络模型，并进行优化，得到光功率异常检测模型；将生成模型的输入值输入至所述光功率异常检测模型并得到预测值；基于得到的预测值与实际数据进行计算，并判断是否为异常数据。本发明能够将异常值自动筛选处理，从而及时发现和排除故障模块，提高整个网络的稳定性，可以大幅度减少运维人员的工作量，提高PON光模块光功率的运维效率，减少运营成本，提高用户的使用体验。
Description
技术领域
本发明涉及通信设备参数测试技术领域，具体来说，涉及一种基于PON光模块光功率异常的自动筛选方法。
背景技术
PON光模块（Passive Optical Network Module）是一种用于被动光网络的光通信设备，主要用于传输语音、数据和视频等信息。它可以将光纤网络连接到用户家中的电缆电视机顶盒、电话和电脑等终端设备上，实现高速宽带接入和多媒体业务传输。PON光模块采用分光器技术，将一个光信号分为多个信号，实现了多用户共享一条光纤的传输方式，提高了光纤网络的利用率和经济性。同时，PON光模块还具有低成本、低功耗、易于维护等优点，因此在现代光通信市场上得到了广泛应用。
目前，一级OTN传输设备，大量采用光模块进行业务通信，随着骨干通信网承载业务重要性日益增强，光模块作为通信传输设备的重要组成部分，其性能好坏关系到业务能否正常运行，一旦发生光模块异常后将严重影响业务的正常运行，由于光纤、连接器、跳线等因素的影响，光功率在传输过程中会发生变化，这会导致系统对光功率的异常情况产生误判，从而会影响对PON光模块光功率的异常值筛选。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于PON光模块光功率异常的自动筛选方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于PON光模块光功率异常的自动筛选方法，该方法包括以下步骤：
S1、获取PON光模块光功率的时间序列数据并进行预处理；
S2、基于预处理后的时间序列数据进行归一化处理，并利用滑动窗口获取生成模型的输入值；
S3、构建BiGRU-Attention网络模型，并对所述BiGRU-Attention网络模型的网络参数进行优化，得到光功率异常检测模型；
S4、将生成模型的输入值输入至所述光功率异常检测模型并得到预测值；
S5、基于得到的预测值与实际数据进行计算，并判断是否为异常数据。
进一步的，所述获取PON光模块光功率的时间序列数据并进行预处理包括以下步骤：
S11、通过光功率计设备采集PON光模块光功率的时间序列数据；
S12、对采集的PON光模块光功率的时间序列数据进行数据清洗，将PON光模块光功率的时间序列数据中的缺失值及重复值进行剔除，将PON光模块光功率的时间序列数据中的异常值至替换为合理值；
S13、利用中位数滤波法消除PON光模块光功率的时间序列数据中的噪声。
进一步的，所述基于预处理后的时间序列数据进行归一化处理，并利用滑动窗口获取生成模型的输入值包括以下步骤：
S21、采用最大最小值对预处理后的时间序列数据进行归一化处理，得到标准化时间序列数据；
S22、根据得到的标准化数据确定所述滑动窗口的大小以及步长；
S23、基于标准化时间序列数据的起始位置开始，并以所述滑动窗口的步长为间隔，将所述滑动窗口沿着时间轴的方向进行移动，直至所述滑动窗口到达标准化时间序列数据的末尾，并得到大小固定的窗口；
S24、基于得到的窗口提取进行特征提取，并将提取的特征拼接起来，作为模型的输入。
进一步的，所述构建BiGRU-Attention网络模型，并对所述BiGRU-Attention网络模型的网络参数进行优化，得到光功率异常检测模型包括以下步骤：
S31、收集PON光模块光功率的历史数据，并将其作为训练样本数据；
S32、构建BiGRU-Attention网络模型；
S33、采用改进的粒子群算法优化BiGRU-Attention网络模型的网络参数，并得到光功率异常检测模型。
进一步的，所述构建BiGRU-Attention网络模型包括以下步骤：
S321、基于Keras中的Bidirectional层构建双向GRU层，并确定GRU层的隐藏节点数和激活函数；
S322、基于构建的双向GRU层并利用注意力机制构建注意力层；
S323、采用均方误差损失函数作为激活函数构建输出层；
S324、将构建的所述双向GRU层、所述注意力层及所述输出层组合，并得到BiGRU-Attention网络模型。
进一步的，所述采用改进的粒子群算法优化BiGRU-Attention网络模型的网络参数，并得到光功率异常检测模型包括以下步骤：
S331、将BiGRU-Attention网络模型中的第一层BiGRU的神经元数量、第二层BiGRU的神经元数量、学习率以及批处理大小作为寻优的参数，并确定每个参数寻优的大小范围；
S332、随机生成g1，g2，a及b的四维种群粒子，g1代表的是第一层BiGRU的神经元数量，g2代表的是第二层BiGRU的神经元数量，a代表的是学习率，b代表的是批处理大小，并完成粒子位置和速度的初始化；
S333、确定粒子的种群规模、加速度因子、惯性权值的初始值和最终值、粒子种群的最大迭代次数以及粒子的最大速度；
S334、以训练样本数据的均方误差作为粒子群算法的适应度函数，并计算粒子的适应度值；
S335、比较粒子的适应度值，并通过速度更新公式及位置更新公式更新粒子的个体最优位置和全局最优位置；
S336、当满足最大迭代次数时，则输出全局的最优值；若不满足最大迭代次数时，则返回执行步骤S334。
进一步的，所述以训练样本数据的均方误差作为粒子群算法的适应度函数，并计算粒子的适应度值的计算公式为：
；
其中，fiti表示第i个粒子的适应度值；
N表示训练样本数据的总数；
K表示输出节点的个数；
Pjk表示第j个样本的第k个输出节点的实际输出值；
表示第j个样本的第k个输出节点的期望值。
进一步的，所述速度更新公式为：
；
其中，Vi（m+1）表示第i个粒子在第m+1次迭代中的粒子速度；
Vi（m）表示第i个粒子在第m次迭代中的粒子速度；
Pi（m）表示第i个粒子在第m次迭代的个体最优解；
P l （m）表示粒子种群中所有粒子在第m次迭代中的最优位置；
Pg（m）表示粒子群在第m次迭代后的全局最优解；
c1和c2均表示粒子的加速学习因子，c1是用于让粒子意识到局部最优解，c2是用于让粒子意识到全局最优解；
r1和r2均表示在区间[0，1]内均匀分布的随机数；
α表示在区间[0，1]内的常数；
w表示惯性权值，是用于平衡粒子的全局搜索能力和局部搜索能力；
m表示迭代次数；
所述位置更新公式为：
；
其中，Xi（m+1）表示i个粒子在第m+1次迭代中的位置；
Vi（m+1）表示第i个粒子在第m+1次迭代中的粒子速度；
Xi（m）表示i个粒子在第m次迭代中的位置。
进一步的，所述基于得到的预测值与实际数据进行计算，并判断是否为异常数据包括以下步骤：
S51、计算得到的PON光模块光功率预测值与PON光模块光功率实际值进行均方误差计算，得到的结果作为异常分数；
S53、将所述异常分数分别输入到预设的LOF模型和POT模型中，并利用LOF模型的局部离群因子值和POT模型生成的动态阈值考量PON光模块光功率是否异常。
进一步的，所述将所述异常分数分别输入到预设的LOF模型和POT模型中，并利用LOF模型的局部离群因子值和POT模型生成的动态阈值考量PON光模块光功率是否异常包括以下步骤：
S531、将得到的异常分数按照时间顺序生成异常分数序列；
S532、将异常分数序列的顺序索引index作为另一维度的信息，形成二维数据；
S533、将二维数据输入到LOF模型中，输出每个数据的局部离群因子值，并通过局部离群因子值判断公式判断异常分数是否异常；
S534、对于生成的异常分数序列，选取前H个数据作为初始数据输入至POT模型中，得到POT模型的初始化阈值，并通过POT模型判断公式判断异常分数是否异常；
S535、将LOF模型和POT模型判断的结果进行加权求和，得到异常分数的最终得分，并通过异常判断公式判断PON光模块光功率是否异常。
本发明的有益效果为：
1、本发明通过获取PON光模块光功率的时间序列数据并进行预处理以及归一化处理，然后通过光功率异常检测模型计算PON光模块光功率的预测值并与实际数据进行异常判断，从而能够将PON光模块光功率的异常值自动筛选处理，从而及时发现和排除故障模块，提高整个网络的稳定性，同时，采用自动化的筛选方法，可以大幅度减少运维人员的工作量，提高PON光模块光功率的运维效率，减少运营成本，提高用户的使用体验。
2、本发明通过对采集的PON光模块光功率的时间序列数据进行数据清洗以及噪声消除，从而可以去除原始光功率数据可能存在各种噪声和异常值，提高数据的准确性和可信度，保证数据的质量，使得数据更加规范化和标准化，更容易理解和分析，有助于发现数据中隐藏的信息和趋势，为后续的决策提供依据；能够将数据量降低到最低限度，进而减少计算成本和存储成本。
3、本发明通过采用改进的粒子群算法优化BiGRU-Attention网络模型的网络参数，从而能够优化网络参数，可以使模型更加准确地拟合数据，提高模型的预测性能；尤其是在处理复杂的非线性问题时，采用改进的粒子群算法可以有效地提高模型的性能；采用改进的粒子群算法，可以自动地搜索最优参数，减少了人工干预的需求，提高了效率。
4、本发明利用LOF模型的局部离群因子值和POT模型生成的动态阈值考量PON光模块光功率是否异常，能够避免根据固定阈值判断异常可能会出现异常误判和异常漏判的现象，提高对异常数据筛选的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于PON光模块光功率异常的自动筛选方法的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于PON光模块光功率异常的自动筛选方法。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于PON光模块光功率异常的自动筛选方法，该方法包括以下步骤：
S1、获取PON光模块光功率的时间序列数据并进行预处理；
其中，所述获取PON光模块光功率的时间序列数据并进行预处理包括以下步骤：
S11、通过光功率计设备采集PON光模块光功率的时间序列数据；
具体的，采集光模块光功率可以使用光功率计进行测量；光功率计是一种专门用于测量光源输出功率的设备，通常由探头和读数仪器组成。探头负责接收光源发出的光信号，并将其转换为电信号。
S12、对采集的PON光模块光功率的时间序列数据进行数据清洗，将PON光模块光功率的时间序列数据中的缺失值及重复值进行剔除，将PON光模块光功率的时间序列数据中的异常值至替换为合理值；
具体的，数据清洗是指检查数据是否存在缺失值、异常值、重复值等问题，并进行相应的处理。例如，可以删除缺失值、将异常值替换为合理值、删除重复值等。
S13、利用中位数滤波法消除PON光模块光功率的时间序列数据中的噪声。
具体的，去噪是指消除数据中的噪声，使得数据更加平滑。例如，在时间序列数据中，可以使用移动平均、中位数滤波等方法进行去噪。
S2、基于预处理后的时间序列数据进行归一化处理，并利用滑动窗口获取生成模型的输入值；
具体的，归一化是指将数据转换为特定的范围或分布，以便于比较和分析。例如，可以使用最小最大归一化将数据缩放到0-1之间，或者使用Z-score标准化将数据转换为服从标准正态分布的形式。
其中，所述基于预处理后的时间序列数据进行归一化处理，并利用滑动窗口获取生成模型的输入值包括以下步骤：
S21、采用最大最小值对预处理后的时间序列数据进行归一化处理，得到标准化时间序列数据；
S22、根据得到的标准化数据确定所述滑动窗口的大小以及步长；
S23、基于标准化时间序列数据的起始位置开始，并以所述滑动窗口的步长为间隔，将所述滑动窗口沿着时间轴的方向进行移动，直至所述滑动窗口到达标准化时间序列数据的末尾，并得到大小固定的窗口；
具体的，滑动窗口是一种常见的时间序列数据预处理方法，可以将时间序列数据分解为固定大小的窗口，并利用这些窗口生成模型的输入值。
S24、基于得到的窗口提取进行特征提取，并将提取的特征拼接起来，作为模型的输入。
S3、构建BiGRU-Attention网络模型，并对所述BiGRU-Attention网络模型的网络参数进行优化，得到光功率异常检测模型；
其中，所述构建BiGRU-Attention网络模型，并对所述BiGRU-Attention网络模型的网络参数进行优化，得到光功率异常检测模型包括以下步骤：
S31、收集PON光模块光功率的历史数据，并将其作为训练样本数据；
S32、构建BiGRU-Attention网络模型；
具体的，GRU网络是按照时间顺序正向的方式提取信息特征。当发生异常状态后，数据会出现一种恢复趋势的现象，如果反向利用这种趋势将会更加敏感的捕捉异常状态。采用双向GRU模型（BiGRU）对时间序列正向和反向的特征信息进行同时提取；BiGRU具有两个独立的隐藏层，这两个隐藏层的内部结构是相同的，方向却是相反的，依靠两个方向同时为网络提供数据信息。第一层的GRU按照时间顺序计算数据的正向传播信息，而第二层的GRU反向读取时间序列，按照时间逆序计算数据的反向传播信息；这两层GRU在计算自己的隐藏状态时互不干扰，最终的BiGRU网络输出信息是由两者联合确定。
注意力机制（AttentionMechanism）的主要思想如同大脑对视觉效果的处理方式，外在事物类比模型的输入数据，通过人眼将数据传递给大脑，如果不经过大脑处理，投影呈现的将是各种冗余数据揉合在一起的图像，实际上并不是所有数据都需要被关注，因此通过大脑给重要的信息分配更多注意力，忽视那些无关紧要的数据信息。
其中，所述构建BiGRU-Attention网络模型包括以下步骤：
S321、基于Keras中的Bidirectional层构建双向GRU层，并确定GRU层的隐藏节点数和激活函数；
S322、基于构建的双向GRU层并利用注意力机制构建注意力层；
S323、采用均方误差损失函数作为激活函数构建输出层；
S324、将构建的所述双向GRU层、所述注意力层及所述输出层组合，并得到BiGRU-Attention网络模型。
S33、采用改进的粒子群算法优化BiGRU-Attention网络模型的网络参数，并得到光功率异常检测模型；
具体的，粒子群算法是一种优化算法，源于对鸟群觅食行为的研究。其基本思想是通过模拟鸟群在搜索过程中的协同行为来进行优化。粒子群算法将待优化的问题看作一个多维空间中的搜索问题，每个解向量都可以视作空间中的一个粒子。算法通过不断更新每个粒子的速度和位置来在空间中搜索全局最优解。粒子群算法有着较好的全局寻优能力，尤其适用于连续型非线性优化问题。同时，其简单易懂，易于实现，并且容易与其他算法结合使用。
其中，所述采用改进的粒子群算法优化BiGRU-Attention网络模型的网络参数，并得到光功率异常检测模型包括以下步骤：
S331、将BiGRU-Attention网络模型中的第一层BiGRU的神经元数量、第二层BiGRU的神经元数量、学习率以及批处理大小作为寻优的参数，并确定每个参数寻优的大小范围；
S332、随机生成g1，g2，a及b的四维种群粒子，g1代表的是第一层BiGRU的神经元数量，g2代表的是第二层BiGRU的神经元数量，a代表的是学习率，b代表的是批处理大小，并完成粒子位置和速度的初始化；
S333、确定粒子的种群规模、加速度因子、惯性权值的初始值和最终值、粒子种群的最大迭代次数以及粒子的最大速度；
S334、以训练样本数据的均方误差作为粒子群算法的适应度函数，并计算粒子的适应度值；
其中，所述以训练样本数据的均方误差作为粒子群算法的适应度函数，并计算粒子的适应度值的计算公式为：
；
其中，fiti表示第i个粒子的适应度值；
N表示训练样本数据的总数；
K表示输出节点的个数；
Pjk表示第j个样本的第k个输出节点的实际输出值；
表示第j个样本的第k个输出节点的期望值。
S335、比较粒子的适应度值，并通过速度更新公式及位置更新公式更新粒子的个体最优位置和全局最优位置；
其中，所述速度更新公式为：
；
其中，Vi（m+1）表示第i个粒子在第m+1次迭代中的粒子速度；
Vi（m）表示第i个粒子在第m次迭代中的粒子速度；
Pi（m）表示第i个粒子在第m次迭代的个体最优解；
P l （m）表示粒子种群中所有粒子在第m次迭代中的最优位置；
Pg（m）表示粒子群在第m次迭代后的全局最优解；
c1和c2均表示粒子的加速学习因子，c1是用于让粒子意识到局部最优解，c2是用于让粒子意识到全局最优解；
r1和r2均表示在区间[0，1]内均匀分布的随机数；
α表示在区间[0，1]内的常数；
w表示惯性权值，是用于平衡粒子的全局搜索能力和局部搜索能力；
m表示迭代次数；
所述位置更新公式为：
；
其中，Xi（m+1）表示i个粒子在第m+1次迭代中的位置；
Vi（m+1）表示第i个粒子在第m+1次迭代中的粒子速度；
Xi（m）表示i个粒子在第m次迭代中的位置。
S336、当满足最大迭代次数时，则输出全局的最优值；若不满足最大迭代次数时，则返回执行步骤S334。
S4、将生成模型的输入值输入至所述光功率异常检测模型并得到预测值；
S5、基于得到的预测值与实际数据进行计算，并判断是否为异常数据。
其中，所述基于得到的预测值与实际数据进行计算，并判断是否为异常数据包括以下步骤：
S51、计算得到的PON光模块光功率预测值与PON光模块光功率实际值进行均方误差计算，得到的结果作为异常分数；
具体的，上述均方误差的计算公式为：
其中，D（t）表示PON光模块光功率预测值与PON光模块光功率实际值的均方误差值；
表示t时刻第i个变量的预测值；
表示t时刻第i个变量的实际值；
n表示数据的维度；
S53、将所述异常分数分别输入到预设的LOF模型和POT模型中，并利用LOF模型的局部离群因子值和POT模型生成的动态阈值考量PON光模块光功率是否异常。
具体的，局部离群因子（Local Outlier Factor，LOF）算法是通过分析数据分布的密度情况，探测数据集中存在的非集群点和噪声。LOF算法利用局部离群因子值来判断数据是否为异常值，正常数据点都集中分布在一起，意味着这些数据的局部离群因子值较小，而局部离群因子值越大的数据点，代表离群集越远，是异常点的可能性也就越大。LOF算法的具体过程是通过计算k-邻近距离、k-距离邻域、可达距离、局部可达密度和局部离群因子实现的。
极值理论（Extreme Value Theory，EVT）是统计学中处理概率问题的一种思想，研究数据集中存在的极端数据分布情况，通常极端值往往分布在概率模型的尾部。在异常检测问题中，目标任务是要寻找数据集里的异常值，而这些异常值也就是极值理论中所要挖掘的极值。极值理论中的超阈值模型（Peaks Over Threshold，POT）通过广义帕累托分布（Generalized Pareto Distribution，GPD）拟合超过阈值数据点的概率分布情况，可以利用POT模型学习异常分数阈值，将超过该阈值的数据判定为异常数据。
其中，所述将所述异常分数分别输入到预设的LOF模型和POT模型中，并利用LOF模型的局部离群因子值和POT模型生成的动态阈值考量PON光模块光功率是否异常包括以下步骤：
S531、将得到的异常分数按照时间顺序生成异常分数序列；
S532、将异常分数序列的顺序索引index作为另一维度的信息，形成二维数据；
S533、将二维数据输入到LOF模型中，输出每个数据的局部离群因子值，并通过局部离群因子值判断公式判断异常分数是否异常；
具体的，局部离群因子值判断公式为：
；
其中，labeli表示第i个数据点的判断结果，lofi表示是第i个数据点的局部离群因子值，thresholdlof表示的是LOF模型的阈值，并且值大于1。如果某个点的局部离群因子值超过这个阈值，就会被判定为异常值。
S534、对于生成的异常分数序列，选取前H个数据作为初始数据输入至POT模型中，得到POT模型的初始化阈值，并通过POT模型判断公式判断异常分数是否异常；
具体的，POT模型判断公式为：
；
其中，labeli表示第i个数据点的判断结果，thresholdlof表示POT模型的初始化阈值；di表示异常分数的峰值点。
S535、将LOF模型和POT模型判断的结果进行加权求和，得到异常分数的最终得分，并通过异常判断公式判断PON光模块光功率是否异常。
具体的，异常判断公式为：
；
其中，scorei表示第i个异常分数的最终得分，labeli表示第i个数据点的最终判断结果。
综上所述，借助于本发明的上述技术方案，本发明通过获取PON光模块光功率的时间序列数据并进行预处理以及归一化处理，然后通过光功率异常检测模型计算PON光模块光功率的预测值并与实际数据进行异常判断，从而能够将PON光模块光功率的异常值自动筛选处理，从而及时发现和排除故障模块，提高整个网络的稳定性，同时，采用自动化的筛选方法，可以大幅度减少运维人员的工作量，提高PON光模块光功率的运维效率，减少运营成本，提高用户的使用体验；本发明通过对采集的PON光模块光功率的时间序列数据进行数据清洗以及噪声消除，从而可以去除原始光功率数据可能存在各种噪声和异常值，提高数据的准确性和可信度，保证数据的质量，使得数据更加规范化和标准化，更容易理解和分析，有助于发现数据中隐藏的信息和趋势，为后续的决策提供依据；能够将数据量降低到最低限度，进而减少计算成本和存储成本；本发明通过采用改进的粒子群算法优化BiGRU-Attention网络模型的网络参数，从而能够优化网络参数，可以使模型更加准确地拟合数据，提高模型的预测性能；尤其是在处理复杂的非线性问题时，采用改进的粒子群算法可以有效地提高模型的性能；采用改进的粒子群算法，可以自动地搜索最优参数，减少了人工干预的需求，提高了效率；本发明利用LOF模型的局部离群因子值和POT模型生成的动态阈值考量PON光模块光功率是否异常，能够避免根据固定阈值判断异常可能会出现异常误判和异常漏判的现象，提高对异常数据筛选的准确性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于PON光模块光功率异常的自动筛选方法，其特征在于，该方法包括以下步骤：
S1、获取PON光模块光功率的时间序列数据并进行预处理；
S2、基于预处理后的时间序列数据进行归一化处理，并利用滑动窗口获取生成模型的输入值；
S3、构建BiGRU-Attention网络模型，并对所述BiGRU-Attention网络模型的网络参数进行优化，得到光功率异常检测模型；包括以下步骤：
S31、收集PON光模块光功率的历史数据，并将其作为训练样本数据；
S32、构建BiGRU-Attention网络模型；
S33、采用改进的粒子群算法优化BiGRU-Attention网络模型的网络参数，并得到光功率异常检测模型；包括以下步骤：
S331、将BiGRU-Attention网络模型中的第一层BiGRU的神经元数量、第二层BiGRU的神经元数量、学习率以及批处理大小作为寻优的参数，并确定每个参数寻优的大小范围；
S332、随机生成g1，g2，a及b的四维种群粒子，g1代表的是第一层BiGRU的神经元数量，g2代表的是第二层BiGRU的神经元数量，a代表的是学习率，b代表的是批处理大小，并完成粒子位置和速度的初始化；
S333、确定粒子的种群规模、加速度因子、惯性权值的初始值和最终值、粒子种群的最大迭代次数以及粒子的最大速度；
S334、以训练样本数据的均方误差作为粒子群算法的适应度函数，并计算粒子的适应度值；计算公式为：
其中，fiti表示第i个粒子的适应度值；
N表示训练样本数据的总数；
K表示输出节点的个数；
Pjk表示第j个样本的第k个输出节点的实际输出值；
表示第j个样本的第k个输出节点的期望值；
S335、比较粒子的适应度值，并通过速度更新公式及位置更新公式更新粒子的个体最优位置和全局最优位置；
所述速度更新公式为：
Vi(m+1)＝w(m)Vi(m)+c1(m)r1[(1-αm)(Pi(m)-Xi(m))+αm(Pl(m)-Xi(m))]+c2(m)r2(Pg(m)-Xi(m))；
其中，Vi(m+1)表示第i个粒子在第m+1次迭代中的粒子速度；
Vi(m)表示第i个粒子在第m次迭代中的粒子速度；
Pi(m)表示第i个粒子在第m次迭代的个体最优解；
Pl(m)表示粒子种群中所有粒子在第m次迭代中的最优位置；
Pg(m)表示粒子群在第m次迭代后的全局最优解；
c1和c2均表示粒子的加速学习因子，c1是用于让粒子意识到局部最优解，c2是用于让粒子意识到全局最优解；
r1和r2均表示在区间[0，1]内均匀分布的随机数；
α表示在区间[0，1]内的常数；
w表示惯性权值，是用于平衡粒子的全局搜索能力和局部搜索能力；
m表示迭代次数；
所述位置更新公式为：
Xi(m+1)＝Xi(m)+Vi(m+1)；
其中，Xi(m+1)表示i个粒子在第m+1次迭代中的位置；
Vi(m+1)表示第i个粒子在第m+1次迭代中的粒子速度；
Xi(m)表示i个粒子在第m次迭代中的位置；
S336、当满足最大迭代次数时，则输出全局的最优值；若不满足最大迭代次数时，则返回执行步骤S334；
S4、将生成模型的输入值输入至所述光功率异常检测模型并得到预测值；
S5、基于得到的预测值与实际数据进行计算，并判断是否为异常数据。
2.根据权利要求1所述的一种基于PON光模块光功率异常的自动筛选方法，其特征在于，所述获取PON光模块光功率的时间序列数据并进行预处理包括以下步骤：
S11、通过光功率计设备采集PON光模块光功率的时间序列数据；
S12、对采集的PON光模块光功率的时间序列数据进行数据清洗，将PON光模块光功率的时间序列数据中的缺失值及重复值进行剔除，将PON光模块光功率的时间序列数据中的异常值替换为合理值；
S13、利用中位数滤波法消除PON光模块光功率的时间序列数据中的噪声。
3.根据权利要求1所述的一种基于PON光模块光功率异常的自动筛选方法，其特征在于，所述基于预处理后的时间序列数据进行归一化处理，并利用滑动窗口获取生成模型的输入值包括以下步骤：
S21、采用最大最小值对预处理后的时间序列数据进行归一化处理，得到标准化时间序列数据；
S22、根据得到的标准化时间序列数据确定所述滑动窗口的大小以及步长；
S23、基于标准化时间序列数据的起始位置开始，并以所述滑动窗口的步长为间隔，将所述滑动窗口沿着时间轴的方向进行移动，直至所述滑动窗口到达标准化时间序列数据的末尾，并得到大小固定的窗口；
S24、基于得到的窗口进行特征提取，并将提取的特征拼接起来，作为生成模型的输入值。
4.根据权利要求1所述的一种基于PON光模块光功率异常的自动筛选方法，其特征在于，所述构建BiGRU-Attention网络模型包括以下步骤：
S321、基于Keras中的Bidirectional层构建双向GRU层，并确定GRU层的隐藏节点数和激活函数；
S322、基于构建的双向GRU层并利用注意力机制构建注意力层；
S323、采用均方误差损失函数作为激活函数构建输出层；
S324、将构建的所述双向GRU层、所述注意力层及所述输出层组合，并得到BiGRU-Attention网络模型。
5.根据权利要求1所述的一种基于PON光模块光功率异常的自动筛选方法，其特征在于，所述基于得到的预测值与实际数据进行计算，并判断是否为异常数据包括以下步骤：
S51、计算得到的PON光模块光功率预测值与PON光模块光功率实际值进行均方误差计算，得到的结果作为异常分数；
S53、将所述异常分数分别输入到预设的LOF模型和POT模型中，并利用LOF模型的局部离群因子值和POT模型生成的动态阈值考量PON光模块光功率是否异常。
6.根据权利要求5所述的一种基于PON光模块光功率异常的自动筛选方法，其特征在于，所述将所述异常分数分别输入到预设的LOF模型和POT模型中，并利用LOF模型的局部离群因子值和POT模型生成的动态阈值考量PON光模块光功率是否异常包括以下步骤：
S531、将得到的异常分数按照时间顺序生成异常分数序列；
S532、将异常分数序列的顺序索引index作为另一维度的信息，形成二维数据；
S533、将二维数据输入到LOF模型中，输出每个数据的局部离群因子值，并通过局部离群因子值判断公式判断异常分数是否异常；
S534、对于生成的异常分数序列，选取前H个数据作为初始数据输入至POT模型中，得到POT模型的初始化阈值，并通过POT模型判断公式判断异常分数是否异常；
S535、将LOF模型和POT模型判断的结果进行加权求和，得到异常分数的最终得分，并通过异常判断公式判断PON光模块光功率是否异常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310651716.7A CN116388865B (zh) | 2023-06-05 | 2023-06-05 | 一种基于pon光模块光功率异常的自动筛选方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310651716.7A CN116388865B (zh) | 2023-06-05 | 2023-06-05 | 一种基于pon光模块光功率异常的自动筛选方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116388865A CN116388865A (zh) | 2023-07-04 |
| CN116388865B true CN116388865B (zh) | 2023-09-15 |
Family
ID=86975440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310651716.7A Active CN116388865B (zh) | 2023-06-05 | 2023-06-05 | 一种基于pon光模块光功率异常的自动筛选方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116388865B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117014069B (zh) * | 2023-09-25 | 2024-01-12 | 腾讯科技（深圳）有限公司 | 故障预测方法、装置、电子设备、存储介质及程序产品 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104331635A (zh) * | 2014-11-24 | 2015-02-04 | 国网吉林省电力有限公司信息通信公司 | 电力光纤通信光功率预测的方法 |
| CN104866923A (zh) * | 2015-05-17 | 2015-08-26 | 天津理工大学 | 一种钢铁企业高炉副产煤气发生量预测方法 |
| CN107516150A (zh) * | 2017-08-25 | 2017-12-26 | 广东工业大学 | 一种短期风电功率的预测方法、装置及系统 |
| CN113496102A (zh) * | 2021-07-05 | 2021-10-12 | 华北电力大学（保定） | 一种基于改进BiGRU的配网超短期功率态势预测方法 |
| CN113705922A (zh) * | 2021-09-06 | 2021-11-26 | 内蒙古科技大学 | 一种改进的超短期风电功率预测算法及模型建立方法 |
| CN114004424A (zh) * | 2021-12-21 | 2022-02-01 | 南方电网科学研究院有限责任公司 | 一种光伏功率预测方法、系统、设备及存储介质 |
| CN114330094A (zh) * | 2021-11-18 | 2022-04-12 | 国家电网有限公司 | 一种基于tcn-gru联合模型的风电功率短期预测方法 |
| CN114462718A (zh) * | 2022-02-25 | 2022-05-10 | 盐城工学院 | 基于时间滑动窗口的cnn-gru风电功率预测方法 |
| CN115412455A (zh) * | 2022-07-28 | 2022-11-29 | 南京航空航天大学 | 一种基于时间序列的服务器多性能指标异常检测方法及装置 |
| CN115496384A (zh) * | 2022-09-30 | 2022-12-20 | 黄军 | 工业设备的监控管理方法、装置和计算机设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107506956B (zh) * | 2017-06-12 | 2018-06-15 | 合肥工业大学 | 基于改进粒子群算法供应链生产运输协同调度方法及系统 |
-
2023
- 2023-06-05 CN CN202310651716.7A patent/CN116388865B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104331635A (zh) * | 2014-11-24 | 2015-02-04 | 国网吉林省电力有限公司信息通信公司 | 电力光纤通信光功率预测的方法 |
| CN104866923A (zh) * | 2015-05-17 | 2015-08-26 | 天津理工大学 | 一种钢铁企业高炉副产煤气发生量预测方法 |
| CN107516150A (zh) * | 2017-08-25 | 2017-12-26 | 广东工业大学 | 一种短期风电功率的预测方法、装置及系统 |
| CN113496102A (zh) * | 2021-07-05 | 2021-10-12 | 华北电力大学（保定） | 一种基于改进BiGRU的配网超短期功率态势预测方法 |
| CN113705922A (zh) * | 2021-09-06 | 2021-11-26 | 内蒙古科技大学 | 一种改进的超短期风电功率预测算法及模型建立方法 |
| CN114330094A (zh) * | 2021-11-18 | 2022-04-12 | 国家电网有限公司 | 一种基于tcn-gru联合模型的风电功率短期预测方法 |
| CN114004424A (zh) * | 2021-12-21 | 2022-02-01 | 南方电网科学研究院有限责任公司 | 一种光伏功率预测方法、系统、设备及存储介质 |
| CN114462718A (zh) * | 2022-02-25 | 2022-05-10 | 盐城工学院 | 基于时间滑动窗口的cnn-gru风电功率预测方法 |
| CN115412455A (zh) * | 2022-07-28 | 2022-11-29 | 南京航空航天大学 | 一种基于时间序列的服务器多性能指标异常检测方法及装置 |
| CN115496384A (zh) * | 2022-09-30 | 2022-12-20 | 黄军 | 工业设备的监控管理方法、装置和计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于PSO优化的灰色神经网络预测算法的研究;江敏;钱磊;苏学满;;宁夏师范学院学报(第03期);第54-60页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116388865A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113505655B (zh) | 面向数字孪生系统的轴承故障智能诊断方法 | |
| CN116388865B (zh) | 一种基于pon光模块光功率异常的自动筛选方法 | |
| CN108333468B (zh) | 一种有源配电网下不良数据的识别方法及装置 | |
| CN113158722A (zh) | 基于多尺度深度神经网络的旋转机械故障诊断方法 | |
| CN115659665A (zh) | 一种基于野马优化算法的电压暂降源信号降噪与识别的方法 | |
| CN116361059B (zh) | 一种银行业务异常根因诊断方法及诊断系统 | |
| CN115409052A (zh) | 一种数据失衡下风力发电机组轴承的故障诊断方法及系统 | |
| CN118194136B (zh) | 一种机械设备的故障诊断方法 | |
| CN118051827A (zh) | 基于深度学习的电网故障预测方法 | |
| CN117251798A (zh) | 一种基于两层渐进式的气象设备异常检测方法 | |
| CN118052558B (zh) | 基于人工智能的风控模型决策方法及系统 | |
| CN112532652A (zh) | 一种基于多源数据的攻击行为画像装置及方法 | |
| CN117972547A (zh) | 一种风电机组关键部件的故障预警方法、装置及介质 | |
| CN115539277A (zh) | 基于水电机声纹识别的故障预警系统和方法 | |
| CN118133201A (zh) | 一种基于特征选择的轻梯度提升机风电功率预测方法及装置 | |
| US20170293608A1 (en) | Unusual score generators for a neuro-linguistic behavioral recognition system | |
| CN114441173A (zh) | 基于改进深度残差收缩网络的滚动轴承故障诊断方法 | |
| CN117194171A (zh) | 一种异构云资源全景式异常检测系统 | |
| Xu et al. | Optimization of Deep Belief Network Based on Sparrow Search Algorithm for Rolling Bearing Fault Diagnosis | |
| CN113049249A (zh) | 一种电机轴承故障诊断方法及系统 | |
| CN117170922A (zh) | 日志数据分析方法、装置、终端设备以及存储介质 | |
| CN112422546A (zh) | 一种基于变邻域算法和模糊聚类的网络异常检测方法 | |
| CN112269778B (zh) | 一种设备故障诊断方法 | |
| CN112434716B (zh) | 一种基于条件对抗神经网络的水下目标数据扩增方法及系统 | |
| CN117316184B (zh) | 一种基于音频信号的事件检测反馈处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |