CN113468823B - 一种基于机器学习的光模块损坏检测方法及系统 - Google Patents
一种基于机器学习的光模块损坏检测方法及系统 Download PDFInfo
- Publication number
- CN113468823B CN113468823B CN202110840858.9A CN202110840858A CN113468823B CN 113468823 B CN113468823 B CN 113468823B CN 202110840858 A CN202110840858 A CN 202110840858A CN 113468823 B CN113468823 B CN 113468823B
- Authority
- CN
- China
- Prior art keywords
- optical module
- sample
- performance data
- data
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 274
- 238000001514 detection method Methods 0.000 title claims abstract description 147
- 238000010801 machine learning Methods 0.000 title claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 51
- 230000002159 abnormal effect Effects 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 28
- 238000007637 random forest analysis Methods 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 20
- 238000004140 cleaning Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000007635 classification algorithm Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000005065 mining Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/08—Probabilistic or stochastic CAD
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供一种基于机器学习的光模块损坏检测方法及系统，通过光模块的历史性能数据检测结果生成一个光模块检测模型，利用该光模块检测模型在预测坏光模块性能数据上有一定的作用，可作为辅助手段帮助排查坏光模块。同时，为了保证光模块检测模型的泛化能力，还可以在生成光模块检测模型后，利用大量真实坏光模块数据以及更多特征的进行挖掘探索。本发明通过对离线的正常及损坏光模块历史性能数据分析，不仅可以对实时光模块性能数据进行检测，还可以通过机器学习算法实时监测光模块性能情况，并预测光模块是否存在损坏趋势。本发明基于机器学习的光模块检测来代替人工检测光模块，大大提高了检测准确性并降低了时间及人力的耗费。
Description
技术领域
本发明涉及机器学习技术领域，特别是涉及一种基于机器学习的光模块损坏检测方法及系统。
背景技术
光模块是进行光电和电光转换的光电子器件。光模块的发送端把电信号转换为光信号，接收端把光信号转换为电信号。光模块在基站、光纤网卡、光纤路由器等方向有着广泛应用，是光纤通信系统中的核心产品。然而针对此种用途范围广，用量大的主流产品，在检测方式上则通过肉眼观察、接口对接等人工检测方式测试光模块工作是否正常。此种检测方式流程繁琐，耗费大量时间及人力并且准确率极低。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于机器学习的光模块损坏检测方法及系统，用于解决现有技术中人工检测光模块流程繁琐、耗费时间多、准确率低的问题。
为实现上述目的及其他相关目的，本发明提供一种基于机器学习的光模块损坏检测方法，包括以下步骤：
获取正常光模块和非正常光模块的历史性能数据；
对所述正常光模块和非正常光模块的历史性能数据进行清洗和过滤；
选择目标特征，并通过信息增益算法计算每个目标特征对所述光模块的纯度影响，以及按照计算出的纯度影响进行排序，获取关键目标特征，用于模型的学习与训练；
获取历史性能数据中的正样本数据与负样本数据，并基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值；其中，正常光模块的性能数据为正样本数据，非正常光模块的性能数据为负样本数据；
基于分类算法人工神经网络和随机森林算法对数量比例达到目标值的样本性能数据进行训练学习，生成光模块检测模型；所述样本性能数据由正样本数据和负样本数据组成；
利用所述光模块检测模型检测一个或多个光模块，确定被检测的一个或多个光模块是否出现损坏。
可选地，在生成所述模块检测模型过程中，还包括：对所述随机森林算法进行调参优化，改变所述随机森林算法的训练参数；
基于改变训练参数后的随机森林算法对数量比例达到目标值的样本性能数据进行训练学习；并在生成光模块检测模型后检测所述光模块检测模块的召回率；
若所述光模块检测模型的召回率、检测准确率都高于预设阈值，则输出所述光模块检测模型，作为最终的光模块检测模型。
可选地，所述基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值，包括：
基于Smote算法根据光模块历史性能数据中的正样本和负样本比例确定采样比例，并根据所述采样比例确定采样倍率；
获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值。
可选地，若目标值为1∶1，则有：
xnew＝x+rand(0，1)*|x-xn|；
式中，xnew为对数量较少的样本类别增加样本后的新样本；
x为数量较少的样本类别中的样本；
xn表示与样本x相邻的多个样本。
可选地，所述正常光模块的历史性能数据为所述正常光模块在当前时刻前6个月的性能数据；
所述非正常光模块的历史性能数据为所述非正常光模块在当前时刻前6个月的性能数据；
其中，历史性能数据中正样本数据与负样本数据的比例为3000：1。
可选地，所述清洗包括剔除电流值、电压值、温度值、功率值中一个或多个值小于零的数据；
所述过滤包括对所述正常光模块和非正常光模块小于预设时间的历史性能数据进行过滤。
可选地，所述目标关键特征包括以下至少之一：
日电功率最大值、日电功率平均值、日电功率最小值、日电压最大值、日电压平均值、日电压最小值、日电流最大值、日电流平均值、日电流最小值、日温度最大值、日温度平均值、日温度最小值。
本发明还提供一种基于机器学习的光模块损坏检测系统，包括有：
采集单元，用于获取正常光模块和非正常光模块的历史性能数据；
清洗及过滤单元，用于对所述正常光模块和非正常光模块的历史性能数据进行清洗和过滤；
目标特征单元，用于选择目标特征，并通过信息增益算法计算每个目标特征对所述光模块的纯度影响，以及按照计算出的纯度影响进行排序，获取关键目标特征，用于模型的学习与训练；
样本比例调节单元，拥有获取历史性能数据中的正样本数据与负样本数据，并基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值；其中，正常光模块的性能数据为正样本数据，非正常光模块的性能数据为负样本数据；
模型生成单元，用于基于分类算法人工神经网络和随机森林算法对数量比例达到目标值的样本性能数据进行训练学习，生成光模块检测模型；所述样本性能数据由正样本数据和负样本数据组成；
检测单元，用于利用所述光模块检测模型检测一个或多个光模块，确定被检测的一个或多个光模块是否出现损坏。
可选地，在生成所述模块检测模型过程中，还包括：对所述随机森林算法进行调参优化，改变所述随机森林算法的训练参数；
基于改变训练参数后的随机森林算法对数量比例达到目标值的样本性能数据进行训练学习；并在生成光模块检测模型后检测所述光模块检测模块的召回率；
若所述光模块检测模型的召回率、检测准确率都高于预设阈值，则输出所述光模块检测模型，作为最终的光模块检测模型。
可选地，所述基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值，包括：
基于Smote算法根据光模块历史性能数据中的正样本和负样本比例确定采样比例，并根据所述采样比例确定采样倍率；
获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值；
若目标值为1∶1，则有：
xnew＝x+rand(0，1)*|x-xn|；
式中，xnew为对数量较少的样本类别增加样本后的新样本；
x为数量较少的样本类别中的样本；
xn表示与样本x相邻的多个样本。
如上所述，本发明提供一种基于机器学习的光模块损坏检测方法及系统，具有以下有益效果：本发明基于光模块的历史性能数据检测结果生成一个光模块检测模型，利用该光模块检测模型在预测坏光模块性能数据上有一定的作用，可作为辅助手段帮助排查坏光模块。同时，为了保证光模块检测模型的泛化能力，还可以在生成光模块检测模型后，利用大量真实坏光模块数据以及更多特征的进行挖掘探索。本发明通过对离线的正常及损坏光模块历史性能数据分析，不仅可以对实时光模块性能数据进行检测，还可以通过机器学习算法实时监测光模块性能情况，并预测光模块是否存在损坏趋势。本发明基于机器学习的光模块检测来代替人工检测光模块，大大提高了检测准确性并降低了时间及人力的耗费。本发明可通过对光模块运行时性能数据进行监测，预测其是否存在损坏趋势，并提前给出告警。
附图说明
图1为一实施例提供的基于机器学习的光模块损坏检测方法的流程示意图；
图2为一实施例提供的基于机器学习的光模块损坏检测系统的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种基于机器学习的光模块损坏检测方法，包括以下步骤：
S100，获取正常光模块和非正常光模块的历史性能数据；在本申请实施例中，除正常光模块以外，其他光模块统称为非正常光模块。
S200，对所述正常光模块和非正常光模块的历史性能数据进行清洗和过滤；
S300，选择目标特征，并通过信息增益算法计算每个目标特征对所述光模块的纯度影响，以及按照计算出的纯度影响进行排序，获取关键目标特征，用于模型的学习与训练；
S400，获取历史性能数据中的正样本数据与负样本数据，并基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值；其中，正常光模块的性能数据为正样本数据，非正常光模块的性能数据为负样本数据；
S500，基于分类算法人工神经网络和随机森林算法对数量比例达到目标值的样本性能数据进行训练学习，生成光模块检测模型；所述样本性能数据由正样本数据和负样本数据组成；
S600，利用所述光模块检测模型检测一个或多个光模块，确定被检测的一个或多个光模块是否出现损坏。
本方法基于光模块的历史性能数据检测结果生成一个光模块检测模型，利用该光模块检测模型在预测坏光模块性能数据上有一定的作用，可作为辅助手段帮助排查坏光模块。同时，为了保证光模块检测模型的泛化能力，还可以在生成光模块检测模型后，利用大量真实坏光模块数据以及更多特征的进行挖掘探索。本方法通过对离线的正常及损坏光模块历史性能数据分析，不仅可以对实时光模块性能数据进行检测，还可以通过机器学习算法实时监测光模块性能情况，并预测光模块是否存在损坏趋势。本方法基于机器学习的光模块检测来代替人工检测光模块，大大提高了检测准确性并降低了时间及人力的耗费。本方法可通过对光模块运行时性能数据进行监测，预测其是否存在损坏趋势，并提前给出告警。
根据上述记载，在一示例性实施例中，所述清洗包括剔除电流值、电压值、温度值、功率值中一个或多个值小于零的数据。所述过滤包括对所述正常光模块和非正常光模块小于预设时间的历史性能数据进行过滤，例如过滤掉光模块历史性能数据小于7天的光模块。
根据上述记载，在生成所述模块检测模型过程中，还包括：对所述随机森林算法进行调参优化，改变所述随机森林算法的训练参数；基于改变训练参数后的随机森林算法对数量比例达到目标值的样本性能数据进行训练学习；并在生成光模块检测模型后检测所述光模块检测模块的召回率；若所述光模块检测模型的召回率、检测准确率都高于预设阈值，则输出所述光模块检测模型，作为最终的光模块检测模型。作为示例，例如本申请实施例可以将光模块检测模型的召回率设置为80％，光模块检测模型的检测准确率设置为80％。当光模块检测模型的召回率高于80％，光模块检测模型的检测准确率高于80％时，说明利用训练学习生成的光模块检测模型来预测或检测光模块是否发生损坏的准确率可信度高。
根据上述记载，在一示例性实施例中，所述基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值，包括：基于Smote算法根据光模块历史性能数据中的正样本和负样本比例确定采样比例，并根据所述采样比例确定采样倍率；并获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值。其中，若目标值为1∶1，则有：
xnew＝x+rand(0，1)*|x-xn|；
式中，xnew为对数量较少的样本类别增加样本后的新样本；
x为数量较少的样本类别中的样本；
xn表示与样本x相邻的多个样本。
在一些示例性实施例中，所述正常光模块的历史性能数据为所述正常光模块在当前时刻前6个月的性能数据；所述非正常光模块的历史性能数据为所述非正常光模块在当前时刻前6个月的性能数据；其中，历史性能数据中正样本数据与负样本数据的比例为3000：1。
在一示例性实施例中，所述目标关键特征包括以下至少之一：日电功率最大值、日电功率平均值、日电功率最小值、日电压最大值、日电压平均值、日电压最小值、日电流最大值、日电流平均值、日电流最小值、日温度最大值、日温度平均值、日温度最小值。作为示例，本申请实施例通过信息增益算法对所有特征相关性进行排序，最终选择的目标关键特征为日电功率最大值，日电功率平均值，日电功率最小值，日电压最大值，日电压平均值，日电压最小值，日电流最大值，日电流平均值，日电流最小值，日温度最大值，日温度平均值，日温度最小值中一个或多个维度数据，并选取后10天的维度数据作为训练及测试数据。本申请实施例中，选取的总维度为120维。
本申请一具体实施例提供了一种基于机器学习算法的有监督光模块损坏检测方法，包括以下步骤：
步骤1：取良好光模块以及损坏光模块历史性能数据源；其中，历史数据为当前时刻前6个月的光模块性能数据，其中正负样本比例为3000：1。
步骤2：光模块性能数据清洗，剔除电流、电压、温度、功率最小值为0的数据，针对性能数据小于7天光模块数据进行过滤等；
步骤3：特征选择，通过信息增益算法计算每个特征对于影响好坏光模块的纯度进行排序，最终得到关键特征。例如通过信息增益算法对所有特征相关性进行排序，最终选择的目标关键特征为日电功率最大值，日电功率平均值，日电功率最小值，日电压最大值，日电压平均值，日电压最小值，日电流最大值，日电流平均值，日电流最小值，日温度最大值，日温度平均值，日温度最小值中一个或多个维度数据，并选取后10天的维度数据作为训练及测试数据。本申请实施例中，选取的总维度为120维。
步骤4：正负样本极度失衡，基于Smote过采样方式模拟坏光模块性能数据，使之正负样本数据数量达到1:1。例如，基于Smote算法根据光模块历史性能数据中的正样本和负样本比例确定采样比例，并根据所述采样比例确定采样倍率；并获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值。其中，若目标值为1∶1，则有：
xnew＝x+rand(0，1)*|x-xn|；
式中，xnew为对数量较少的样本类别增加样本后的新样本；x为数量较少的样本类别中的样本；xn表示与样本x相邻的多个样本。
步骤5：对数据进行有监督学习，基于分类算法人工神经网络以及随机森林算法对样本性能数据进行训练学习，生成光模块检测模型；
步骤6：对光模块检测模型进行评估，当光模块检测模型的召回率、精确率都达到预设效果时输出光模块检测模型。例如将处理好的数据输入随机森林算法中进行调参优化，保存训练好的模型参数，并利用测试机进行预测。当光模块检测模型在召回率、准确率上都高于80％时输出光模块检测模型。
综上所述，本发明提供一种基于机器学习的光模块损坏检测方法，基于光模块的历史性能数据检测结果生成一个光模块检测模型，利用该光模块检测模型在预测坏光模块性能数据上有一定的作用，可作为辅助手段帮助排查坏光模块。同时，为了保证光模块检测模型的泛化能力，还可以在生成光模块检测模型后，利用大量真实坏光模块数据以及更多特征的进行挖掘探索。本方法通过对离线的正常及损坏光模块历史性能数据分析，不仅可以对实时光模块性能数据进行检测，还可以通过机器学习算法实时监测光模块性能情况，并预测光模块是否存在损坏趋势。本方法基于机器学习的光模块检测来代替人工检测光模块，大大提高了检测准确性并降低了时间及人力的耗费。本方法可通过对光模块运行时性能数据进行监测，预测其是否存在损坏趋势，并提前给出告警。
如图2所示，本发明还提供一种基于机器学习的光模块损坏检测系统，包括有：
采集单元D10，用于获取正常光模块和非正常光模块的历史性能数据；
清洗及过滤单元D20，用于对所述正常光模块和非正常光模块的历史性能数据进行清洗和过滤；
目标特征单元D30，用于选择目标特征，并通过信息增益算法计算每个目标特征对所述光模块的纯度影响，以及按照计算出的纯度影响进行排序，获取关键目标特征，用于模型的学习与训练；
样本比例调节单元D40，拥有获取历史性能数据中的正样本数据与负样本数据，并基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值；其中，正常光模块的性能数据为正样本数据，非正常光模块的性能数据为负样本数据；
模型生成单元D50，用于基于分类算法人工神经网络和随机森林算法对数量比例达到目标值的样本性能数据进行训练学习，生成光模块检测模型；所述样本性能数据由正样本数据和负样本数据组成；
检测单元D60，用于利用所述光模块检测模型检测一个或多个光模块，确定被检测的一个或多个光模块是否出现损坏。
本系统基于光模块的历史性能数据检测结果生成一个光模块检测模型，利用该光模块检测模型在预测坏光模块性能数据上有一定的作用，可作为辅助手段帮助排查坏光模块。同时，为了保证光模块检测模型的泛化能力，还可以在生成光模块检测模型后，利用大量真实坏光模块数据以及更多特征的进行挖掘探索。本系统通过对离线的正常及损坏光模块历史性能数据分析，不仅可以对实时光模块性能数据进行检测，还可以通过机器学习算法实时监测光模块性能情况，并预测光模块是否存在损坏趋势。本系统基于机器学习的光模块检测来代替人工检测光模块，大大提高了检测准确性并降低了时间及人力的耗费。本系统可通过对光模块运行时性能数据进行监测，预测其是否存在损坏趋势，并提前给出告警。
根据上述记载，在一示例性实施例中，所述清洗包括剔除电流值、电压值、温度值、功率值中一个或多个值小于零的数据。所述过滤包括对所述正常光模块和非正常光模块小于预设时间的历史性能数据进行过滤，例如过滤掉光模块历史性能数据小于7天的光模块。
根据上述记载，在生成所述模块检测模型过程中，还包括：对所述随机森林算法进行调参优化，改变所述随机森林算法的训练参数；基于改变训练参数后的随机森林算法对数量比例达到目标值的样本性能数据进行训练学习；并在生成光模块检测模型后检测所述光模块检测模块的召回率；若所述光模块检测模型的召回率、检测准确率都高于预设阈值，则输出所述光模块检测模型，作为最终的光模块检测模型。作为示例，例如本申请实施例可以将光模块检测模型的召回率设置为80％，光模块检测模型的检测准确率设置为80％。当光模块检测模型的召回率高于80％，光模块检测模型的检测准确率高于80％时，说明利用训练学习生成的光模块检测模型来预测或检测光模块是否发生损坏的准确率可信度高。
根据上述记载，在一示例性实施例中，所述基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值，包括：基于Smote算法根据光模块历史性能数据中的正样本和负样本比例确定采样比例，并根据所述采样比例确定采样倍率；并获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值。其中，若目标值为1∶1，则有：
xnew＝x+rand(0，1)*|x-xn|；
式中，xnew为对数量较少的样本类别增加样本后的新样本；x为数量较少的样本类别中的样本；xn表示与样本x相邻的多个样本。
在一些示例性实施例中，所述正常光模块的历史性能数据为所述正常光模块在当前时刻前6个月的性能数据；所述非正常光模块的历史性能数据为所述非正常光模块在当前时刻前6个月的性能数据；其中，历史性能数据中正样本数据与负样本数据的比例为3000：1。
在一示例性实施例中，所述目标关键特征包括以下至少之一：日电功率最大值、日电功率平均值、日电功率最小值、日电压最大值、日电压平均值、日电压最小值、日电流最大值、日电流平均值、日电流最小值、日温度最大值、日温度平均值、日温度最小值。作为示例，本申请实施例通过信息增益算法对所有特征相关性进行排序，最终选择的目标关键特征为日电功率最大值，日电功率平均值，日电功率最小值，日电压最大值，日电压平均值，日电压最小值，日电流最大值，日电流平均值，日电流最小值，日温度最大值，日温度平均值，日温度最小值中一个或多个维度数据，并选取后10天的维度数据作为训练及测试数据。本申请实施例中，选取的总维度为120维。
本申请一具体实施例还提供了一种基于机器学习算法的有监督光模块损坏检测系统，具体实施过程参见上述描述，本申请实施例不再进行赘述。
综上所述，本发明提供一种基于机器学习的光模块损坏检测系统，基于光模块的历史性能数据检测结果生成一个光模块检测模型，利用该光模块检测模型在预测坏光模块性能数据上有一定的作用，可作为辅助手段帮助排查坏光模块。同时，为了保证光模块检测模型的泛化能力，还可以在生成光模块检测模型后，利用大量真实坏光模块数据以及更多特征的进行挖掘探索。本系统通过对离线的正常及损坏光模块历史性能数据分析，不仅可以对实时光模块性能数据进行检测，还可以通过机器学习算法实时监测光模块性能情况，并预测光模块是否存在损坏趋势。本系统基于机器学习的光模块检测来代替人工检测光模块，大大提高了检测准确性并降低了时间及人力的耗费。本系统可通过对光模块运行时性能数据进行监测，预测其是否存在损坏趋势，并提前给出告警。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (7)
1.一种基于机器学习的光模块损坏检测方法，其特征在于，包括以下步骤：
获取正常光模块和非正常光模块的历史性能数据；
对所述正常光模块和非正常光模块的历史性能数据进行清洗和过滤；
选择目标特征，并通过信息增益算法计算每个目标特征对所述光模块的纯度影响，以及按照计算出的纯度影响进行排序，获取关键目标特征，用于模型学习与训练；
获取历史性能数据中的正样本数据与负样本数据，并基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值；其中，正常光模块的性能数据为正样本数据，非正常光模块的性能数据为负样本数据；
基于分类算法人工神经网络和随机森林算法对数量比例达到目标值的样本性能数据进行训练学习，生成光模块检测模型；所述样本性能数据由正样本数据和负样本数据组成；
利用所述光模块检测模型检测一个或多个光模块，确定被检测的一个或多个光模块是否出现损坏；
在生成所述光模块检测模型过程中，还包括：对所述随机森林算法进行调参优化，改变所述随机森林算法的训练参数；
基于改变训练参数后的随机森林算法对数量比例达到目标值的样本性能数据进行训练学习；并在生成光模块检测模型后检测所述光模块检测模块的召回率；
若所述光模块检测模型的召回率、检测准确率都高于预设阈值，则输出所述光模块检测模型，作为最终的光模块检测模型；
所述基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值，包括：
基于Smote算法根据光模块历史性能数据中的正样本和负样本比例确定采样比例，并根据所述采样比例确定采样倍率；
获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值。
2.根据权利要求1所述的基于机器学习的光模块损坏检测方法，其特征在于，若目标值为1∶1，则有：
xnew＝x+rand(0，1)*|x-xn|；
式中，xnew为对数量较少的样本类别增加样本后的新样本；
x为数量较少的样本类别中的样本；
xn表示与样本x相邻的多个样本。
3.根据权利要求1所述的基于机器学习的光模块损坏检测方法，其特征在于，所述正常光模块的历史性能数据为所述正常光模块在当前时刻前6个月的性能数据；
所述非正常光模块的历史性能数据为所述非正常光模块在当前时刻前6个月的性能数据；
其中，历史性能数据中正样本数据与负样本数据的比例为3000∶1。
4.根据权利要求1所述的基于机器学习的光模块损坏检测方法，其特征在于，所述清洗包括剔除电流值、电压值、温度值、功率值中一个或多个值小于零的数据；
所述过滤包括对所述正常光模块和非正常光模块小于预设时间的历史性能数据进行过滤。
5.根据权利要求1所述的基于机器学习的光模块损坏检测方法，其特征在于，所述关键目标特征包括以下至少之一：
日电功率最大值、日电功率平均值、日电功率最小值、日电压最大值、日电压平均值、日电压最小值、日电流最大值、日电流平均值、日电流最小值、日温度最大值、日温度平均值、日温度最小值。
6.一种基于机器学习的光模块损坏检测系统，其特征在于，包括有：
采集单元，用于获取正常光模块和非正常光模块的历史性能数据；
清洗及过滤单元，用于对所述正常光模块和非正常光模块的历史性能数据进行清洗和过滤；
目标特征单元，用于选择目标特征，并通过信息增益算法计算每个目标特征对所述光模块的纯度影响，以及按照计算出的纯度影响进行排序，获取关键目标特征，用于模型的学习与训练；
样本比例调节单元，拥有获取历史性能数据中的正样本数据与负样本数据，并基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值；其中，正常光模块的性能数据为正样本数据，非正常光模块的性能数据为负样本数据；基于Smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值，包括：基于Smote算法根据光模块历史性能数据中的正样本和负样本比例确定采样比例，并根据所述采样比例确定采样倍率；获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值；
模型生成单元，用于基于分类算法人工神经网络和随机森林算法对数量比例达到目标值的样本性能数据进行训练学习，生成光模块检测模型；所述样本性能数据由正样本数据和负样本数据组成；在生成所述光模块检测模型过程中，还包括：对所述随机森林算法进行调参优化，改变所述随机森林算法的训练参数；基于改变训练参数后的随机森林算法对数量比例达到目标值的样本性能数据进行训练学习；并在生成光模块检测模型后检测所述光模块检测模块的召回率；若所述光模块检测模型的召回率、检测准确率都高于预设阈值，则输出所述光模块检测模型，作为最终的光模块检测模型；
检测单元，用于利用所述光模块检测模型检测一个或多个光模块，确定被检测的一个或多个光模块是否出现损坏。
7.根据权利要求6所述的基于机器学习的光模块损坏检测系统，其特征在于，若目标值为1：1，则有：
xnew＝x+rand(0,1)*|x-xn|；
式中，xnew为对数量较少的样本类别增加样本后的新样本；
x为数量较少的样本类别中的样本；
xn表示与样本x相邻的多个样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110840858.9A CN113468823B (zh) | 2021-07-26 | 2021-07-26 | 一种基于机器学习的光模块损坏检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110840858.9A CN113468823B (zh) | 2021-07-26 | 2021-07-26 | 一种基于机器学习的光模块损坏检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113468823A CN113468823A (zh) | 2021-10-01 |
| CN113468823B true CN113468823B (zh) | 2023-11-14 |
Family
ID=77882284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110840858.9A Active CN113468823B (zh) | 2021-07-26 | 2021-07-26 | 一种基于机器学习的光模块损坏检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468823B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113852417B (zh) * | 2021-11-29 | 2022-03-11 | 深圳市飞思卓科技有限公司 | 光模块故障定位方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447364A (zh) * | 2018-11-08 | 2019-03-08 | 国网湖南省电力有限公司 | 基于标签的电力客户投诉预测方法 |
| CN110175690A (zh) * | 2019-04-04 | 2019-08-27 | 中兴飞流信息科技有限公司 | 一种景区客流量预测的方法、装置、服务器和存储介质 |
| CN111294332A (zh) * | 2020-01-13 | 2020-06-16 | 交通银行股份有限公司 | 一种流量异常检测与dns信道异常检测系统及方法 |
| CN112257329A (zh) * | 2020-09-10 | 2021-01-22 | 泰豪软件股份有限公司 | 一种判定台风对线路影响的方法 |
| WO2021032292A1 (en) * | 2019-08-20 | 2021-02-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Fault classification |
| CN112700324A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 基于CatBoost与受限玻尔兹曼机结合的用户借贷违约预测方法 |
| CN112927061A (zh) * | 2021-03-26 | 2021-06-08 | 深圳前海微众银行股份有限公司 | 用户操作检测方法及程序产品 |
-
2021
- 2021-07-26 CN CN202110840858.9A patent/CN113468823B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447364A (zh) * | 2018-11-08 | 2019-03-08 | 国网湖南省电力有限公司 | 基于标签的电力客户投诉预测方法 |
| CN110175690A (zh) * | 2019-04-04 | 2019-08-27 | 中兴飞流信息科技有限公司 | 一种景区客流量预测的方法、装置、服务器和存储介质 |
| WO2021032292A1 (en) * | 2019-08-20 | 2021-02-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Fault classification |
| CN111294332A (zh) * | 2020-01-13 | 2020-06-16 | 交通银行股份有限公司 | 一种流量异常检测与dns信道异常检测系统及方法 |
| CN112257329A (zh) * | 2020-09-10 | 2021-01-22 | 泰豪软件股份有限公司 | 一种判定台风对线路影响的方法 |
| CN112700324A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 基于CatBoost与受限玻尔兹曼机结合的用户借贷违约预测方法 |
| CN112927061A (zh) * | 2021-03-26 | 2021-06-08 | 深圳前海微众银行股份有限公司 | 用户操作检测方法及程序产品 |
Non-Patent Citations (1)
| Title |
|---|
| 面向不平衡数据集的煤矿监测系统异常数据识别方法;冀汶莉等;《工矿自动化》;第46卷(第1期);第18-25页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113468823A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111459700B (zh) | 设备故障的诊断方法、诊断装置、诊断设备及存储介质 | |
| CN105574669B (zh) | 时空联合数据聚类分析的输变电设备状态异常检测方法 | |
| CN112669305B (zh) | 一种金属表面抗锈性能测试台及抗锈性能测评方法 | |
| CN116593495B (zh) | 烟气在线监测设备的运维智能控制系统及方法 | |
| CN116862081B (zh) | 一种污染治理设备运维方法及系统 | |
| CN112116198A (zh) | 数据驱动的流程工业状态感知网络关键节点筛选方法 | |
| CN111738348B (zh) | 一种电力数据异常检测方法和装置 | |
| CN113468823B (zh) | 一种基于机器学习的光模块损坏检测方法及系统 | |
| CN114359695A (zh) | 基于不确定性估计的绝缘子破损识别方法 | |
| CN107918704A (zh) | 电荷放大器贮存寿命预测方法、装置、存储介质和计算机设备 | |
| CN112365093A (zh) | 一种基于gru深度学习的多特征因子赤潮预测模型 | |
| CN111612149A (zh) | 一种基于决策树的主网线路状态检测方法、系统及介质 | |
| CN115987692A (zh) | 一种基于流量回溯分析的安全防护系统及方法 | |
| CN112508946B (zh) | 一种基于对抗神经网络的电缆隧道异常检测方法 | |
| CN112631900A (zh) | 接口的巡检方法、装置、电子设备和存储介质 | |
| CN111898314A (zh) | 湖泊水体参数检验方法、装置、电子设备及存储介质 | |
| CN117078232B (zh) | 一种基于大数据的加工设备故障预防系统及方法 | |
| CN116433034B (zh) | 一种基于机器学习的虚拟电厂运行风险检测方法 | |
| CN115566997B (zh) | 用于空压站的光伏组件衰减测试系统及方法 | |
| KR102667862B1 (ko) | 정보 시각화를 이용한 중전기기 모니터링 시스템 및 그 방법 | |
| CN117783769B (zh) | 基于可视平台的配电网络故障定位方法、系统、设备及存储介质 | |
| CN115901023A (zh) | 一种基于振动基频提取网络的桥梁索力实时监测方法及装置 | |
| CN117471346A (zh) | 用于确定退役电池模组剩余寿命和健康状态的方法及系统 | |
| CN117574298A (zh) | 一种时序数据异常检测方法及装置 | |
| CN117689114A (zh) | 一种面向地下水的污染监测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |