CN108229553B - 一种otdr曲线数据分析方法 - Google Patents
一种otdr曲线数据分析方法 Download PDFInfo
- Publication number
- CN108229553B CN108229553B CN201711475856.4A CN201711475856A CN108229553B CN 108229553 B CN108229553 B CN 108229553B CN 201711475856 A CN201711475856 A CN 201711475856A CN 108229553 B CN108229553 B CN 108229553B
- Authority
- CN
- China
- Prior art keywords
- data
- otdr
- optical fiber
- training
- svm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Monitoring And Testing Of Transmission In General (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
Abstract
一种OTDR曲线数据分析方法,涉及电力通信领域,解决现有通过OTDR获得的数据无法精确地反应光纤中各个特殊点的相关位置问题,对去噪后的数据进行相关处理,得到光纤信号中的各个细节;对光纤信号中的特征进行提取;对多个OTDR数据进行特征提取,将得到的特征向量作为改进的SVM算法的训练样本,将样本输入SVM分类器进行训练,得到可用于识别OTDR数据特征的模型,OTDR数据特征可以反映光纤特征;最终实现对光纤特殊位置的分类功能:将模型运用于对光纤的熔接点、断裂点、起始端、末端以及弯折过大点进行分类。本发明通过测度学习的方法,改进高斯径向机核函数,以此提高算法收敛速度,提升预测精度,提升了光纤监测的可靠性。
Description
技术领域
本发明涉及电力通信领域,具体涉及一种OTDR曲线数据分析方法,通过对OTDR数据分析实现对光纤特殊点进行分类。
背景技术
随着光纤通信技术的不断发展,光纤在电力系统通信中的应用越来越广泛。光纤传输网络运行的可靠性是电力系统安全生产、高效运行的重要保障。光纤传输网络运行的可靠性是电力系统安全生产、高效运行的重要保障。随着数据通信量的急剧增长,作为信息高速公路的主要传输媒介,光纤通信的作用越来越重要,由于其传输信息量大,光纤线路一旦发生故障,中断较长时间将会严重影响电力系统的安全生产。
当前主流的检测光纤故障设备就是OTDR,通过OTDR测量得到的数据分析光纤的相关故障点,并及时排除故障。
但是OTDR只能粗略的得到故障点的相关位置,并没有对OTDR数据进行精确分析,无法精确地反应光纤中各个特殊点的相关位置。
针对传统方法的弊端,提出一种基于支持向量机的OTDR曲线数据分析方法,对OTDR数据进行分析,能有效的解决这些问题。
发明内容
本发明为解决现有通过OTDR获得的数据无法精确地反应光纤中各个特殊点的相关位置问题,提供一种OTDR曲线数据分析方法。
一种OTDR曲线数据分析方法,该方法由以下步骤实现:
步骤一、采用OTDR对光纤线路进行多次测量,并对获得的OTDR数据进行去噪处理,获得去噪后的OTDR曲线数据;
步骤二、采用小波变换对步骤一获得去噪后的OTDR曲线数据进行处理,获取光纤信号特征点,并将获取的光纤信号特征点进行标记;
分别标记为:熔接点、断裂点、起始端、末端以及弯折过大点,各标记分别对应A、B、C、D以及E;
步骤三、将步骤二标记的数据分为两部分,用于训练SVM分类模型数据称为训练集,用于验证SVM分类模型的预测精度的数据称为验证集;
步骤四、将用于训练SVM分类模型的数据有监督的学习,获得能增加OTDR数据特征点区分度的投影矩阵;对投影矩阵中的特征点分配不同的权重,获得距离测度;并利用所述距离测度改进高斯径向基核函数,建立改进的SVM分类模型;
上述DM(xi,xj)的构建及投影矩阵L(LTL=M)的学习过程为:
求取距离的平方并用矩阵形式表示,则距离测度DM为:
令M=LTL,求解M可归结为求一个优化问题:
0≤αi≤C,i=1,...,p
式中,p为样本个数,α是拉格朗日系数,KM是改进后的高斯径向基核函数,C是错误分类的惩罚因子;
使用步骤三的训练集数据训练SVM分类模型,获得熔接点、断裂点、起始端、末端以及弯折过大点的训练结果,即五个SVM分类模型;
步骤五、使用步骤三中的验证集对步骤四训练出的SVM分类模型分别进行验证,选择在验证集上预测精度最高的模型作为最终的SVM分类器,运用该SVM分类器实现OTDR数据曲线特征点的识别,最终实现对光缆各个位置的特征点的识别。
本发明的有益效果:本发明提出一种利用SVM分类器的光纤线路特殊点的分类识别方法,通过该方法实现对OTDR数据进行分析,并准确识别光纤的熔接点、断裂点、起始端、末端以及弯折过大点。
本发明能将OTDR曲线中的各个特殊点分析出来,使操作人员能更直观的了解光纤的各个特殊位置,极大地提升了OTDR的测试精度,有效的分析出光纤故障点。对光纤通信故障检测有重大意义。
附图说明
图1为本发明所述的一种OTDR曲线数据分析方法的流程图;
图2为本发明所述的一种OTDR曲线数据分析方法中信号去噪的流程图;
图3为本发明所述的一种OTDR曲线数据分析方法中SVM分类模型的数据预处理部分流程图;
图4为本发明所述的一种OTDR曲线数据分析方法中改进高斯径向基核函数方法流程图;
图5为本发明所述的一种OTDR曲线数据分析方法中SVM分类模型的方法流程图;
图6为本发明所述的一种OTDR曲线数据分析方法最终分类的结果示意图。
具体实施方式
具体实施方式一、结合图1至图6说明本实施方式,一种OTDR曲线数据分析方法,该方法由以下步骤实现:
S1:利用OTDR对光纤线路进行测量,对OTDR数据进行去噪处理,使数据变得相对平滑。
S2:利用小波变换对去噪后的OTDR曲线数据进行处理,得到光纤信号中的所有细节;
结合图2,使用OTDR对光纤线路进行测量,并得到测量的数据。使用小波变换对测量的OTDR数据进行处理,得到小波系数,对光纤信号进行重构,求出各个尺度的能量。
S3:使用OTDR多次测量,并将得到的数据分成两部分,一部分数据用于训练SVM分模型,另一部分用于验证SVM分类器的预测精度。
结合图3,由于原始SVM分类器是二分类的,但本发明将OTDR曲线特征点分为五类(起始点、光纤断裂点、光纤弯折过大点、熔接点、光纤末端),为多分类问题,所以需要将SVM分类器进行扩展。
采用一对余方法,将SVM分类器扩展到多分类,对于一个5类分类问题,通过建立5个二分类的SVM分类模型,每一个SVM分类模型需要训练所有训练样本,训练样本需要将某一个类别标记为正,其余类别标记为负。训练集用于训练模型的输入,验证集用于验证模型的精度。
将光纤的各个特征点(熔接点、断裂点、起始端、末端以及弯折过大点)并将这五类分别对应为:A,B,C,D,E。在抽取训练集的时候,分别抽取:
A所对应的向量为正集,B,C,D,E为负集;
B所对应的向量为正集,A,C,D,E为负集;
C所对应的向量为正集,A,B,D,E为负集;
D所对应的向量为正集,A,B,C,E为负集;
E所对应的向量为正集,A,B,C,D为负集。
S4、将用于训练SVM分类模型的数据有监督的学习,获得能增加OTDR数据特征点区分度的投影矩阵;对投影矩阵中的特征点分配不同的权重,获得距离测度;并利用所述距离测度改进高斯径向基核函数,建立改进的SVM分类模型;
上述DM(xi,xj)的构建及投影矩阵L(LTL=M)的学习过程为:
求取距离的平方并用矩阵形式表示,则距离测度DM为:
令M=LTL,求解M可归结为求一个优化问题:
0≤αi≤C,i=1,...,p
式中,p为样本个数,α是拉格朗日系数,KM是改进后的高斯径向基核函数,C是错误分类的惩罚因子。
使用S3的训练集数据训练SVM分类模型,获得熔接点、断裂点、起始端、末端以及弯折过大点的训练结果,即五个SVM分类模型;
S5、使用S3中的验证集对S4训练出的SVM分类模型分别进行验证,选择在验证集上预测精度最高的模型作为最终的SVM分类器,运用该SVM分类器实现OTDR数据曲线特征点的识别,最终实现对光缆各个位置的特征点的识别。
结合图5,SVM分类模型训练过程流程图如图5所示:
具体操作步骤为:
将训练数据用于训练SVM分类模型,得到五个训练结果。在测试的时候,把对应的测试向量分别利用这五个训练结果文件进行测试。最后每个测试都有一个结果,分别得到五个分类器,分别记为:f1(x),f2(x),f3(x),f4(x),f5(x)。使用预留的测试集分别对这五个分类器进行测试,对原有模型进行相关修正,提高分类器的分类精度。并且使用事先预留的验证集数据对修正后的模型进行验证。每次用模型对预测点进行预测时分别将数据输入五个模型中,选取分类器最大的那一类作为输出。
结合图6说明本实施方式,最终的分类结果如图6所示:将最终得到的标准模型运用于OTDR曲线分析,并最终将光纤特殊点分析出来,通过这些数据提升光纤故障的定位精度。
本实施方式能将OTDR曲线中的各个特殊点分析出来,使操作人员能更直观的了解光纤的各个特殊位置,极大地提升了OTDR的测试精度,有效的分析出光纤故障点。对光纤通信故障检测有重大意义。
Claims (1)
1.一种OTDR曲线数据分析方法,采用改进SVM分类器的OTDR曲线特征识别方法,其特征是,该方法具体由以下步骤实现:
步骤一、采用OTDR对光纤线路进行多次测量,并对获得的OTDR数据进行去噪处理,获得去噪后的OTDR曲线数据;
步骤二、采用小波变换对步骤一获得去噪后的OTDR曲线数据进行处理,获取光纤信号特征点,并将获取的光纤信号特征点进行标记;
分别标记为:熔接点、断裂点、起始端、末端以及弯折过大点,各标记分别对应A、B、C、D以及E;
步骤三、将步骤二标记的数据分为两部分,用于训练SVM分类模型的数据称为训练集,用于验证SVM分类模型的预测精度的数据称为验证集;
步骤四、将用于训练SVM分类模型的数据有监督的学习,获得能增加OTDR数据特征点区分度的投影矩阵;对投影矩阵中的特征点分配不同的权重,获得距离测度;并利用所述距离测度改进高斯径向基核函数,建立改进的SVM分类模型;
求取距离的平方并用矩阵形式表示,则距离测度DM(xi,xj)为:
DM(xi,xj)=dL(xi,xj)2=[L(xi-xj)]T[L(xi-xj)]
=(xi-xj)TLTL(xi-xj)
=(xi-xj)M(xi-xj)
令M=LTL,求解M可归结为求一个优化问题:式中R表示全体实数,将该式最小化,利用网格搜索算法得到改进高斯径向基核函数参数的最优组合,实现改进高斯径向基核函数,通过改进的高斯径向基核函数,求解目标函数,过程如下:
式中,p为样本个数,αi和αj是拉格朗日系数,C是错误分类的惩罚因子;
使用步骤三的训练集数据训练SVM分类模型,获得熔接点、断裂点、起始端、末端以及弯折过大点的训练结果,即五个SVM分类模型;
步骤五、使用步骤三中的验证集对步骤四训练出的SVM分类模型分别进行验证,选择在验证集上预测精度最高的模型作为最终的SVM分类器,运用该SVM分类器实现OTDR数据曲线特征点的识别,最终实现对光缆各个位置的特征点的识别;
步骤三中,采用一对余方法,将SVM扩展到五分类,建立五个二分类的SVM分类模型,每一个SVM分类模型训练所有训练数据,训练数据需要将某一个类别标记为正,其余类别标记为负,验证集用于SVM分类模型的验证;
对光纤信号特征点熔接点A、断裂点B、起始端C、末端D以及弯折过大点E分别抽取:
A所对应的向量为正集,B,C,D,E为负集;
B所对应的向量为正集,A,C,D,E为负集;
C所对应的向量为正集,A,B,D,E为负集;
D所对应的向量为正集,A,B,C,E为负集;
E所对应的向量为正集,A,B,C,D为负集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711475856.4A CN108229553B (zh) | 2017-12-29 | 2017-12-29 | 一种otdr曲线数据分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711475856.4A CN108229553B (zh) | 2017-12-29 | 2017-12-29 | 一种otdr曲线数据分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108229553A CN108229553A (zh) | 2018-06-29 |
CN108229553B true CN108229553B (zh) | 2022-01-18 |
Family
ID=62646043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711475856.4A Active CN108229553B (zh) | 2017-12-29 | 2017-12-29 | 一种otdr曲线数据分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108229553B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109407514B (zh) * | 2018-12-14 | 2022-06-10 | 武汉理工光科股份有限公司 | 可自动调节φ-OTDR系统参数的装置及方法 |
CN109861746B (zh) * | 2018-12-17 | 2020-09-22 | 中博信息技术研究院有限公司 | 一种基于小波变换动态降噪的otdr曲线数据分析方法 |
CN109921847B (zh) * | 2019-04-15 | 2020-09-22 | 中国电力科学研究院有限公司 | 一种无源光网络中故障支路的定位方法和系统 |
CN111130635A (zh) * | 2019-12-13 | 2020-05-08 | 国网西藏电力有限公司 | 一种区分光时域反射仪上光纤接头盒和鬼影的方法及系统 |
CN111130634A (zh) * | 2019-12-13 | 2020-05-08 | 国网西藏电力有限公司 | 一种opgw中损耗事件的识别方法及系统 |
CN111510205B (zh) * | 2020-04-21 | 2022-07-12 | 北京邮电大学 | 一种基于深度学习的光缆故障定位方法、装置及设备 |
CN111814954B (zh) * | 2020-06-19 | 2023-09-08 | 武汉光迅科技股份有限公司 | 一种光纤质量分析方法、装置、电子设备及存储介质 |
CN114679216A (zh) * | 2022-04-13 | 2022-06-28 | 江苏韦纳迪信息科技有限公司 | 一种基于otdr提升分析精度的算法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102088315A (zh) * | 2011-03-18 | 2011-06-08 | 北京锐锋钝石科技有限公司 | 光纤故障定位系统及方法 |
CN104331635A (zh) * | 2014-11-24 | 2015-02-04 | 国网吉林省电力有限公司信息通信公司 | 电力光纤通信光功率预测的方法 |
CN106529576A (zh) * | 2016-10-20 | 2017-03-22 | 天津大学 | 基于测度学习改进支持向量机的钢琴乐谱难度识别算法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753207B (zh) * | 2008-12-16 | 2013-08-28 | 华为技术有限公司 | 光纤链路故障识别方法、装置及系统 |
CN105548862B (zh) * | 2016-01-25 | 2019-02-05 | 合肥工业大学 | 一种基于广义多核支持向量机的模拟电路故障诊断方法 |
-
2017
- 2017-12-29 CN CN201711475856.4A patent/CN108229553B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102088315A (zh) * | 2011-03-18 | 2011-06-08 | 北京锐锋钝石科技有限公司 | 光纤故障定位系统及方法 |
CN104331635A (zh) * | 2014-11-24 | 2015-02-04 | 国网吉林省电力有限公司信息通信公司 | 电力光纤通信光功率预测的方法 |
CN106529576A (zh) * | 2016-10-20 | 2017-03-22 | 天津大学 | 基于测度学习改进支持向量机的钢琴乐谱难度识别算法 |
Non-Patent Citations (2)
Title |
---|
基于测度学习支持向量机的钢琴乐谱难度等级识别;郭龙伟 等;《智能系统学报》;20170508;第2-6页 * |
小波变换在光缆监测系统中的研究与应用;周宏晟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20080815;第I140-232页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108229553A (zh) | 2018-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229553B (zh) | 一种otdr曲线数据分析方法 | |
CN111914883B (zh) | 一种基于深度融合网络的主轴轴承状态评估方法及装置 | |
CN110288032B (zh) | 一种车辆行驶轨迹类型检测方法及装置 | |
CN105426905A (zh) | 基于梯度直方图和支持向量机的机器人障碍物识别方法 | |
CN105244038A (zh) | 一种基于hmm的选矿设备故障异常音频分析与识别方法 | |
CN110118928B (zh) | 一种基于误差逆传播算法的断路器故障诊断方法 | |
CN106066907B (zh) | 基于多零件多模型判断的定损分等级方法 | |
CN116552306B (zh) | 直流桩的监控系统及其方法 | |
CN110689068B (zh) | 一种基于半监督svm的变压器故障类型诊断方法 | |
CN103824092A (zh) | 一种用于输变电设备状态在线监测的图像分类方法 | |
CN112507479B (zh) | 一种基于流形学习和softmax的石油钻机健康状态评估方法 | |
CN106951863B (zh) | 一种基于随机森林的变电站设备红外图像变化检测方法 | |
CN116383727A (zh) | 一种电厂系统测量粗大误差识别方法、系统、设备及介质 | |
CN110020190B (zh) | 一种基于多示例学习的可疑威胁指标验证方法及系统 | |
CN117056865B (zh) | 一种基于特征融合的机泵设备运行故障诊断方法及装置 | |
CN117274212A (zh) | 一种桥梁水下结构裂缝检测方法 | |
CN111415326A (zh) | 一种用于铁路接触网螺栓异常状态的检测方法及系统 | |
CN114679216A (zh) | 一种基于otdr提升分析精度的算法和装置 | |
CN111045415A (zh) | 一种基于局部概率密度双子空间的多模态过程故障检测方法 | |
CN115017828A (zh) | 基于双向长短时记忆网络的电力电缆故障识别方法及系统 | |
CN114839960A (zh) | 一种基于人工智能算法进行车辆故障检测方法及系统 | |
CN109583323B (zh) | 基于门控制循环单元的地铁振动信号识别方法 | |
CN112183745A (zh) | 基于粒子群算法和dbn的高压电缆局部放电模式识别方法 | |
CN110633874B (zh) | 一种变电站二次设备状态监测方法及可读存储介质 | |
CN116611850B (zh) | 发动机装配质量曲线的检测和追溯系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |