CN116499607B - 一种光纤传感信号降噪方法、装置和存储介质 - Google Patents
一种光纤传感信号降噪方法、装置和存储介质 Download PDFInfo
- Publication number
- CN116499607B CN116499607B CN202310762598.7A CN202310762598A CN116499607B CN 116499607 B CN116499607 B CN 116499607B CN 202310762598 A CN202310762598 A CN 202310762598A CN 116499607 B CN116499607 B CN 116499607B
- Authority
- CN
- China
- Prior art keywords
- signal
- noise
- optical fiber
- moment estimation
- sensing signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000013307 optical fiber Substances 0.000 title claims abstract description 30
- 230000009467 reduction Effects 0.000 title claims abstract description 27
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000001069 Raman spectroscopy Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 239000000835 fiber Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000000253 optical time-domain reflectometry Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K11/00—Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00
- G01K11/32—Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00 using changes in transmittance, scattering or luminescence in optical fibres
- G01K11/324—Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00 using changes in transmittance, scattering or luminescence in optical fibres using Raman scattering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K15/00—Testing or calibrating of thermometers
- G01K15/005—Calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Optical Communication System (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明涉及一种光纤传感信号降噪方法、装置和存储介质,方法包括以下步骤:基于光纤传感器获得多组传感信号,所述传感信号分为斯托克斯拉曼散射信号和反斯托克斯拉曼散射信号,每组传感信号与一种噪声对应,所述噪声为高斯噪声;针对每组传感信号,进行平均处理,获得与不同噪声对应的斯托克斯标签和反斯托克斯标签;将传感信号输入训练好的基于全卷积网络的变分自编码模型中,得到降噪的传感信号。与现有技术相比,本发明具有提高实时监测的准确性和可靠性等优点。
Description
技术领域
本发明涉及光纤传感信号降噪领域,尤其是涉及一种光纤传感信号降噪方法、装置和存储介质。
背景技术
光纤传感器可用于多种领域,如进行温度检测,进而应用到工业生产、航空航天、能源行业、钢铁制造业等领域中。比较常用的热电偶,光纤传感器具有许多优点,例如体积小、抗干扰性强、测量距离长等等,在近些年得到了快速发展。其中,光纤分布式温度传感(DTS)技术(DTS)尤为突出。
DTSDOFS技术具有测量距离长、监测范围广的突出优势,在是实现火灾预警、管道泄露监测、油气开发、电力设施健康等温度监测等领域得到了广泛应用。在光纤中,入射泵浦光在沿着光纤传输时会与介质分子相互作用,产生频率增大的Anti-stokes光和频率减小的Stokes,将这种光的非弹性散射过程称为拉曼散射。重要的是,沿着光纤产生的Anti-stokes光和Stokes,散射光的强度与光纤各点的所处温度有关。在光纤中,通过拉曼散射可以实现基于光纤的分布式温度传感技术(RTDS)(RDTS),该技术是光纤分布式温度传感DTS中最成熟和知名的技术之一。RDTS通常采用光时域反射(OTDR)技术实现,即探测光从光源发出,探测系统对探测光产生的后向拉曼散射信号进行实时采集记录,通过探测光的达到时间来进行定位,通过探测的光强的大小来解调出沿着光纤各点的温度分布情况。
然而,由于环境因素和设备本身的限制,RDTS技术也会受到系统噪声的影响。这些误差可能来自于光纤的损耗、光源的波动、光纤连接器的松动、环境温度变化等因素。此外,信号噪声还可能受到设备本身的限制影响,例如探头的灵敏度和分辨率等。在光纤分布式传感DTS系统中,信号噪声通常表现为温度测量值的随机波动。这种波动可能会对温度测量结果产生影响,并且在某些情况下可能会导致错误的结论。因此,在进行光纤分布式传感DTS测量时需要注意降低信号噪声水平,以提高测量的准确性和可靠性。
信号降噪是信号处理中的重要任务,可以减少噪声对信号的干扰,提高信号的质量和可靠性。在传统的信号降噪方法中,滤波是一种常见的方法。CN114650098A公开了一种基于光纤信能传输的声音传输系统,其中采用高通滤波器用来过滤掉交流电信号中的高频噪声,但是它存在一些缺点。首先,高通滤波器可以去除高频噪声,但是可能会导致信号失真或延迟。而如果采用低通滤波器,虽然可以平滑信号,但是可能会丢失一些重要的高频信息。另一种传统的信号降噪方法是平均法。CN115219059A公开了一种高空间分辨率的OTDR光纤测温系统,通过累加平均法对信号进行降噪处理。平均法通过多次测量传感数据,并采用简单平均、加权平均等不同形式来减少随机误差。然而,平均法可能会忽略掉系统偏差,并且多帧平均效率较低。近年来,小波去噪逐渐成为信号降噪领域的研究热点。小波去噪是一种数学模型降噪方法,它可以在保留信号重要信息的同时,有效地去除噪声。但是,小波去噪的计算复杂度较高,需要消耗大量的计算资源。
综上所述,目前的光纤信号去噪方法不能有效地还原出剥离系统噪声的高信噪比信号,往往需要多帧一起去噪,实时性差,复杂度高,且难以适应不断变化的噪声信号。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供的一种光纤传感信号降噪方法、装置和存储介质,通过结合全卷积网络和变分自编码模型,更准确的去除信号中的噪声。
本发明的目的可以通过以下技术方案来实现:
一种光纤传感信号降噪方法,包括以下步骤:
基于光纤传感器获得多组传感信号,所述传感信号分为斯托克斯拉曼散射信号和反斯托克斯拉曼散射信号,每组传感信号与一种噪声对应,所述噪声为高斯噪声;
针对每组传感信号,进行平均处理,获得与不同噪声对应的斯托克斯标签和反斯托克斯标签;
将传感信号输入训练好的基于全卷积网络的变分自编码模型中,得到降噪的传感信号,所述变分自编码模型包括全卷积网络、编码器和解码器,
其中,训练的具体步骤为:将训练集输入全卷积网络,所述训练集为传感信号,进行信号的波形特征提取,输出波形特征,波形特征输入编码器中进行编码,得到分布均值和方差对数,对分布均值和方差对数进行重参数化,得到隐信息,再将隐信息输入解码器进行解码,计算解码得到的信号与斯托克斯标签和反斯托克斯标签的损失函数,采用自适应矩估计优化器对模型的参数更新迭代,直至损失函数的值达到最优或达到迭代次数,得到训练好的基于全卷积网络的变分自编码模型。
进一步地,全卷积网络中,包括三层一维卷积,训练时,传感信号依次经过三层一维卷积,最后全卷积网络输出波形特征。
进一步地,编码器包括两个卷积层和一层激活层,波形特征输入激活层后输出激活特征,激活特征输入两个卷积层中,构造激活特征对应的分布均值和方差对数。
进一步地,对分布均值和方差对数进行重参数化的具体过程为:
基于方差计算标准差,从标准的正态分布中随机采样得到采样值n,计算采样值n和标准差的乘积,将该乘积与分布均值相加,得到的和为隐信息,其中,
标准差为0.5倍的自然常数的方差对数次幂。
进一步地,解码器包括两个反卷积层、一层激活层和一层输出层,将隐信息输入解码器进行解码的过程为:
隐信息输入第一反卷积层,生成第一信号;
第一信号输入激活层,生成激活后的信号;
激活后的信号输入第二反卷积层,生成第二信号;
第二信号输入输出层,输出解码得到的信号。
进一步地,损失函数由重构误差和相对熵两部分构成,所述重构误差为均方误差。
进一步地,相对熵部分的损失函数的计算过程为:计算解码得到的信号以及标签各自对应的均值和标准差,将解码得到的信号的标准差除以标签对应的标准差,得到商,计算该商的对数,将该对数作为第一部分;
计算解码得到的信号的平方,以及解码得到的信号的均值和标签的均值的差的平方,将两个平方求和,将该和除以标签对应的标准差的平方的2倍,将得到的商作为第二部分;
将第一部分和第二部分相加,然后减去0.5,将得到的结果作为相对熵部分的损失函数。
进一步地,采用自适应矩估计优化器对模型的参数更新迭代的具体步骤为:
初始化参数,具体为:设置学习率、动量、衰减率,并初始化一阶矩估计和二阶矩估计为0;
计算模型的参数的梯度,所述模型的参数为全卷积网络、编码器和解码器的权重;
根据动量计算一阶矩估计的指数加权移动平均,更新一阶矩估计;
根据衰减率计算二阶矩估计的指数加权移动平均,更新二阶矩估计;
对更新后的一阶矩估计和二阶矩估计进行偏差纠正,得到纠正后的一阶矩估计和二阶矩估计;
采用纠正后的一阶矩估计和二阶矩估计,结合学习率更新模型的参数;
重复上述步骤,直至达到预设的迭代次数或该模型的参数下损失函数的值达到最优。
本发明的另一方面,提出一种光纤传感信号降噪装置,包括存储器、处理器,以及存储于所述存储器中的程序,所述处理器执行所述程序时实现上述的方法。
本发明的另一方面,提出一种存储介质,其上存储有程序,所述程序被执行时实现上述的方法。
与现有技术相比,本发明具有以下有益效果:
本发明采用基于全卷积网络的变分自编码模型,通过全卷积网络提取出波形特征,再通过编码器将波形特征转化为低维表示,将特征压缩到潜在变量空间中,然后使用随机采样技术生成重建信号,经过解码器还原为降噪后的信号。相比传统的信号降噪方法,本发明将全卷积网络和变分自编码模型结合,本发明的全卷积网络可以自动学习输入信号中的相关特征,而编码器可以将特征降维,减少特征复杂度,再通过随机采样和解码器还原信号,具有自适应性,可以根据实际情况进行调整,从而实现更加准确的信号处理,更加准确地处理信号中的噪声,提高信号的质量和精度。同时,采用基于全卷积网络的变分自编码模型可以对信号的每一帧都进行还原,可以实现单帧传感信号的快速还原,提高实时监测的准确性和可靠性。
附图说明
图1为本发明的流程图;
图2为本发明采用的基于全卷积网络的变分自编码模型示意图;
图3为本发明训练全卷积网络的变分自编码模型的流程图;
图4为本发明的模型训练过程中解码器的解码流程图;
图5为本发明的模型训练过程中优化模型参数的流程图;
图6为实施例中采集的信号的噪声分布示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
本发明提出了一种光纤传感信号降噪方法,方法的流程图如图1所示。
S1、基于光纤传感器获得传感信号;
S2、针对每组传感信号,进行平均处理,获得与不同噪声对应的斯托克斯标签和反斯托克斯标签;
S3、将传感信号输入训练好的基于全卷积网络的变分自编码模型中,得到降噪的传感信号。
S1的传感信号分为斯托克斯(Stokes)拉曼散射信号和反斯托克斯(Anti-stokes)拉曼散射信号。在一些实施例中,传感信号的单帧信号长度为400。
S2中,针对每组不同噪声下的斯托克斯(Stokes)拉曼散射信号和反斯托克斯(Anti-stokes)拉曼散射信号,进行平均处理。平均处理具体为选择一定帧数长度的信号,取其中的平均值。在一些实施例中,对每30000帧的斯托克斯(Stokes)拉曼散射信号取平均值,得到对应噪声的斯托克斯标签;对每30000帧的反斯托克斯(Anti-stokes)拉曼散射信号取平均值,得到对应噪声的反斯托克斯标签。
S3中的变分自编码模型包括全卷积网络、编码器和解码器。变分自编码模型的结构图如图2所示。变分自编码模型的训练过程的流程图如图3所示。变分自编码模型的训练过程的具体步骤为:
A1、将训练集输入全卷积网络,所述训练集为传感信号,进行信号的波形特征提取,输出波形特征;
A2、将波形特征输入编码器中进行编码,得到分布均值和方差对数;
A3、对分布均值和方差对数进行重参数化,得到隐信息;
A4、将隐信息输入解码器进行解码,计算解码得到的信号与斯托克斯标签和反斯托克斯标签的损失函数;
A5、采用自适应矩估计优化器对模型的参数更新迭代,直至损失函数的值达到最优或达到迭代次数,得到训练好的基于全卷积网络的变分自编码模型。
A1中,全卷积网络由三层一维卷积和三个激活层构成。第一层一维卷积的输入通道设置为1,输出通道设置为64,卷积核大小设置为5,内边距设置为3;第二层一维卷积的输入通道设置为64,输出通道设置为128,卷积核大小设置为2,内边距设置为0;第三层一维卷积的输入通道设置为128,输出通道设置为64,卷积核大小设置为1,内边距设置为0。激活层,也就是激活函数为relu函数,表达式如下:
当传感信号的单帧信号长度为400时,全卷积网络的输出为长度为400的波形特征f。
A2中,编码器(Probabilistic-encoder,即编码网络)由一层激活层和两个卷积层构成。两个卷积层是两个相同的一维卷积,一维卷积的输入通道设置为64,输出通道设置为20,卷积核大小设置为1,内边距设置为0,跳格设置为1。将波形特征f输入编码器中进行编码后,得到维度为(20,401)的分布均值μ和方差对数logvar。
A3中,为了后续训练过程可以传递和优化模型参数,将A2得到的分布均值μ和方差对数logvar进行重参数化获得编码器的隐信息z,z的数据维度为(20,401)。具体的,重参数化的过程为:
首先基于方差对数计算标准差σ:
然后从标准的正态分布N(0,1)从随机采样得到n,则重参数化后的隐信息z可以表示为:
A4中,将A3得到的隐信息z输入解码器(Probabilistic-decoder,解码网络),进行解码,生成降噪后的长度为400的信号y。解码器由两个反卷积层、一层激活层和一层输出层构成。具体的,第一个反卷积层是一维的,输入通道设置为20,输出通道设置64,卷积核大小设置为1,跳格设置为1,内边距设置为0;第二个反卷积层是一维的,输入通道设置为64,输出通道设置1,卷积核大小设置为5,跳格设置为0,内边距设置为2。激活层为relu函数,输出层为sigmoid函数,sigmoid函数的表达式为:
A4的解码过程的流程图如图4所示,解码的过程具体为:
步骤1、将隐信息z先输入反卷积层生成信号z1;
步骤2、将信号z1输入激活层得到激活后的信号z2;
步骤3、将激活后的信号z2输入到第二个反卷积层生成信号z3;
步骤4、将信号z3输入输出层,输出最终解码生成的信号y。
A4中计算解码得到的信号与斯托克斯标签和反斯托克斯标签的损失函数,该损失函数由重构误差(reconstruction_loss)以及KL散度(KL_divergence,即相对熵)构成。
具体的算法公式为:
其中,重构误差(reconstruction_loss)的计算公式为:
KL散度的计算公式为:
其中,μ 1和σ 1分别为A4的第四步得到的y数据分布的均值和标准差分别,μ 2和σ 2分别为标签数据分布的均值和标准差。
A5中,采用自适应矩估计(Adam)优化器对算法中的参数(如卷积网络中的权重)进行更新迭代,获得最优化损失值下的基于全卷积网络的变分自编码模型。
A5中,损失值最优的判断条件为损失值小于等于预设的阈值,如果损失值大于阈值,则更新模型的参数,然后返回A1重新进行训练,同时将此时的迭代次数加1,直至迭代次数达到最大迭代值,或者损失值小于等于预设的阈值,此时停止迭代,将此时的模型作为训练好的基于全卷积网络的变分自编码模型。在一些实施例中,最大迭代值可以为500。
A5中,采用自适应矩估计优化器对模型的参数更新迭代的流程图如图5所示。迭代的具体步骤为:
步骤1.初始化参数:设置学习率α,动量β1,以及RMSProp衰减率β2,并初始化动量一阶矩估计m和二阶矩估计v为0。
步骤2.计算梯度:对于每个参数的梯度∇θJ(θ),其中∇θ是损失函数关于参数θ的梯度。
步骤3.更新动量:计算动量一阶矩估计的指数加权移动平均,更新:
m=β 1⋅m+(1−β 1)⋅∇θJ(θ);
步骤4.更新二阶矩估计:计算RMSProp的二阶矩估计的指数加权移动平均,更新:
v=β 2⋅v+(1−β 2)⋅( ∇θJ(θ))2
步骤5.纠正偏差:由于m和v在初始阶段被初始化为0,因此在初始阶段可能会存在偏差。为了解决这个问题,进行偏差校正:
其中t表示当前的迭代次数。
步骤6.更新参数:使用修正后的一阶和二阶矩估计,以及学习率α,来更新参数:
其中是一个小的常数,用于防止除0错误。
步骤7.重复步骤2到步骤6,直到达到指定的迭代次数。
现有技术对于变化的噪声的传感信号的降噪效果不佳,本发明采用基于全卷积网络的变分自编码模型对信号进行降噪,可以根据实际情况进行调整,从而实现更加准确的信号处理,提高信号的质量和精度。本发明可以实现单帧传感信号还原,高效地生成高信噪比的传感信号。在实际应用中,需要对传感信号进行实时处理,如果处理效率低下,将会对实时监测产生不良影响。而本发明采用的基于全卷积网络的变分自编码模型具有较高的处理效率,可以实现单帧传感信号的快速还原,从而提高实时监测的准确性和可靠性。
下面采用实验的方式对本发明采用的方法进行验证:
通过实验采集了光纤分布式传感系统中的传感信号,信号长度为400,采集到的噪声分布图可以如图6所示。本发明采用基于全卷积网络的变分自编码器结构,通过学习信号中的系统噪声,可以还原信噪比较高的原始信号。在实验中,设置变量z的维度z_dim为20,一维信息长度为400,批处理batch_size大小为64,Adam优化器学习率为0.0003,β1为0.9,β2为0.999,为10^-8,权重衰减设置为5e-3,训练轮数为500。通过该方法,可以有效地实现单帧光纤传感信号降噪,自适应不同高斯噪声背景下的信号曲线,实现单帧传感信号还原,生成高信噪比的传感信号。
下面进行不同模型对同一种噪声的比较,实验中的噪声采用高斯噪声进行描述。不同的模型包括三种情况,采用单独的全卷积网络(FCN)、单独的变分自编码模型(VAE)和本发明的基于全卷积网络的变分自编码模型(VAE--FCN)。比较的结果如表1所示。
表1 三种模型的比较结果
如表1所示,在低强度高斯噪声(噪声均值为0,标准差为0.1)、中等强度高斯噪声(噪声均值为0,标准差为0.5)和高强度高斯噪声(噪声均值为0,标准差为1)三种情况下,以及三种情况分别的不同信号长度下,单独使用变分自编码器网络,在生成信号的时候会出现信号抖动;单独使用FCN的时候,无法自适应不同传感数据波形的分布信息,而本发明的基于全卷积网络的变分自编码模型的降噪效果强于单独的全卷积网络(FCN)和单独的变分自编码模型(VAE),可以适应不同传感数据波形的分布信息的同时减少信号抖动。表1中的数值为各个模型对应各个情况下的重构误差,可以看出,单独实验FCN或者单独使用VAE模型时,模型输出的信号与真实曲线的重构误差,远大于VAE-FCN模型生成的降噪信号与真实信号的重构误差。
实施例2
本发明还提出一种光纤传感信号降噪装置,包括存储器、处理器,以及存储于所述存储器中的程序,所述处理器执行所述程序时实现如实施例1中的方法。在硬件层面,本发明的光纤传感信号降噪装置包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的降噪方法。当然,除了软件实现方式之外,本发明并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
实施例3
本发明还提出一种存储介质,其上存储有程序,所述程序被执行时实现如实施例1所述的方法。
计算机存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (8)
1.一种光纤传感信号降噪方法,其特征在于,包括以下步骤:
基于光纤传感器获得多组传感信号,所述传感信号分为斯托克斯拉曼散射信号和反斯托克斯拉曼散射信号,每组传感信号与一种噪声对应,所述噪声为高斯噪声;
针对每组传感信号,进行平均处理,获得与不同噪声对应的斯托克斯标签和反斯托克斯标签;
将传感信号输入训练好的基于全卷积网络的变分自编码模型中,得到降噪的传感信号,所述变分自编码模型包括全卷积网络、编码器和解码器,
其中,训练的具体步骤为:将训练集输入全卷积网络,所述训练集为传感信号,进行信号的波形特征提取,输出波形特征,波形特征输入编码器中进行编码,得到分布均值和方差对数,对分布均值和方差对数进行重参数化,得到隐信息,再将隐信息输入解码器进行解码,计算解码得到的信号与斯托克斯标签和反斯托克斯标签的损失函数,采用自适应矩估计优化器对模型的参数更新迭代,直至损失函数的值达到最优或达到迭代次数,得到训练好的基于全卷积网络的变分自编码模型;
全卷积网络中,包括三层一维卷积,训练时,传感信号依次经过三层一维卷积,最后全卷积网络输出波形特征;
对分布均值和方差对数进行重参数化的具体过程为:
基于方差计算标准差,从标准的正态分布中随机采样得到采样值n,计算采样值n和标准差的乘积,将该乘积与分布均值相加,得到的和为隐信息,其中,
标准差为0.5倍的自然常数的方差对数次幂。
2.根据权利要求1所述的一种光纤传感信号降噪方法,其特征在于,编码器包括两个卷积层和一层激活层,波形特征输入激活层后输出激活特征,激活特征输入两个卷积层中,构造激活特征对应的分布均值和方差对数。
3.根据权利要求1所述的一种光纤传感信号降噪方法,其特征在于,解码器包括两个反卷积层、一层激活层和一层输出层,将隐信息输入解码器进行解码的过程为:
隐信息输入第一反卷积层,生成第一信号;
第一信号输入激活层,生成激活后的信号;
激活后的信号输入第二反卷积层,生成第二信号;
第二信号输入输出层,输出解码得到的信号。
4.根据权利要求1所述的一种光纤传感信号降噪方法,其特征在于,损失函数由重构误差和相对熵两部分构成,所述重构误差为均方误差。
5.根据权利要求4所述的一种光纤传感信号降噪方法,其特征在于,相对熵部分的损失函数的计算过程为:计算解码得到的信号以及标签各自对应的均值和标准差,将解码得到的信号的标准差除以标签对应的标准差,得到商,计算该商的对数,将该商的对数作为第一部分;
计算解码得到的信号的平方,以及解码得到的信号的均值和标签的均值的差的平方,将两个平方求和,将两个平方的和除以标签对应的标准差的平方的2倍,将得到的商作为第二部分;
将第一部分和第二部分相加,然后减去0.5,将得到的结果作为相对熵部分的损失函数。
6.根据权利要求1所述的一种光纤传感信号降噪方法,其特征在于,采用自适应矩估计优化器对模型的参数更新迭代的具体步骤为:
初始化参数,具体为:设置学习率、动量、衰减率,并初始化一阶矩估计和二阶矩估计为0;
计算模型的参数的梯度,所述模型的参数为全卷积网络、编码器和解码器的权重;
根据动量计算一阶矩估计的指数加权移动平均,更新一阶矩估计;
根据衰减率计算二阶矩估计的指数加权移动平均,更新二阶矩估计;
对更新后的一阶矩估计和二阶矩估计进行偏差纠正,得到纠正后的一阶矩估计和二阶矩估计;
采用纠正后的一阶矩估计和二阶矩估计,结合学习率更新模型的参数;
重复上述步骤,直至达到预设的迭代次数或该模型的参数下损失函数的值达到最优。
7.一种光纤传感信号降噪装置,包括存储器、处理器,以及存储于所述存储器中的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~6中任一项所述的方法。
8.一种计算机可读存储介质,其上存储有程序,其特征在于,所述程序被执行时实现如权利要求1~6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310762598.7A CN116499607B (zh) | 2023-06-27 | 2023-06-27 | 一种光纤传感信号降噪方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310762598.7A CN116499607B (zh) | 2023-06-27 | 2023-06-27 | 一种光纤传感信号降噪方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116499607A CN116499607A (zh) | 2023-07-28 |
CN116499607B true CN116499607B (zh) | 2023-09-08 |
Family
ID=87328726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310762598.7A Active CN116499607B (zh) | 2023-06-27 | 2023-06-27 | 一种光纤传感信号降噪方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116499607B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022133962A1 (de) | 2022-12-19 | 2024-06-20 | Friedrich-Schiller-Universität Jena Körperschaft des öffentlichen Rechts | Aufbereitung gemessener raman-spektren mit neuronalen netzwerken |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117057239B (zh) * | 2023-08-14 | 2024-04-12 | 上海频准激光科技有限公司 | 一种基于激光器的光纤测温点定位系统 |
CN117290669B (zh) * | 2023-11-24 | 2024-02-06 | 之江实验室 | 基于深度学习的光纤温度传感信号降噪方法、装置和介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107202653A (zh) * | 2017-06-27 | 2017-09-26 | 广州市禹成消防科技有限公司 | 分布式光纤测温系统的降噪方法及装置 |
CN109974886A (zh) * | 2018-11-20 | 2019-07-05 | 福建成达兴智能科技股份有限公司 | 一种分布式拉曼光纤传感系统的解调方法 |
JP2020086434A (ja) * | 2018-11-29 | 2020-06-04 | コリア アドバンスド インスティチュート オブ サイエンス アンド テクノロジィ | 音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法および装置 |
CN111680666A (zh) * | 2020-06-30 | 2020-09-18 | 西安电子科技大学 | 欠采样跳频通信信号深度学习恢复方法 |
CN111885213A (zh) * | 2020-06-09 | 2020-11-03 | 中国科学院信息工程研究所 | 一种基于门控卷积变分自编码器的IPv6地址发现方法和装置 |
WO2021007812A1 (zh) * | 2019-07-17 | 2021-01-21 | 深圳大学 | 一种深度神经网络超参数优化方法、电子设备及存储介质 |
CN113094993A (zh) * | 2021-04-12 | 2021-07-09 | 电子科技大学 | 基于自编码神经网络的调制信号去噪方法 |
WO2021204010A1 (zh) * | 2020-11-19 | 2021-10-14 | 平安科技(深圳)有限公司 | 一种时序异常检测方法、装置、计算机设备及存储介质 |
CN113850013A (zh) * | 2021-07-09 | 2021-12-28 | 西北工业大学 | 一种舰船辐射噪声分类方法 |
CN115587290A (zh) * | 2022-09-15 | 2023-01-10 | 西北工业大学 | 基于变分自编码生成对抗网络的航空发动机故障诊断方法 |
TWI803243B (zh) * | 2022-03-16 | 2023-05-21 | 鴻海精密工業股份有限公司 | 圖像擴增方法、電腦設備及儲存介質 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10984315B2 (en) * | 2017-04-28 | 2021-04-20 | Microsoft Technology Licensing, Llc | Learning-based noise reduction in data produced by a network of sensors, such as one incorporated into loose-fitting clothing worn by a person |
US12033065B2 (en) * | 2018-06-04 | 2024-07-09 | Lightmatter, Inc. | Convolutional layers for neural networks using programmable nanophotonics |
KR20210076438A (ko) * | 2019-12-16 | 2021-06-24 | 한국과학기술원 | 딥러닝 기반 이상징후 감지 기법을 이용한 노이즈 분석 기반 초고감도 표적신호 검출 방법 및 시스템 |
US20210397945A1 (en) * | 2020-06-18 | 2021-12-23 | Nvidia Corporation | Deep hierarchical variational autoencoder |
US20220319689A1 (en) * | 2021-03-30 | 2022-10-06 | REHABILITATION INSTITUTE OF CHICAGO d/b/a Shirley Ryan AbilityLab | Systems and methods for improved interface noise tolerance of myoelectric pattern recognition controllers using deep learning and data augmentation |
-
2023
- 2023-06-27 CN CN202310762598.7A patent/CN116499607B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107202653A (zh) * | 2017-06-27 | 2017-09-26 | 广州市禹成消防科技有限公司 | 分布式光纤测温系统的降噪方法及装置 |
CN109974886A (zh) * | 2018-11-20 | 2019-07-05 | 福建成达兴智能科技股份有限公司 | 一种分布式拉曼光纤传感系统的解调方法 |
JP2020086434A (ja) * | 2018-11-29 | 2020-06-04 | コリア アドバンスド インスティチュート オブ サイエンス アンド テクノロジィ | 音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法および装置 |
WO2021007812A1 (zh) * | 2019-07-17 | 2021-01-21 | 深圳大学 | 一种深度神经网络超参数优化方法、电子设备及存储介质 |
CN111885213A (zh) * | 2020-06-09 | 2020-11-03 | 中国科学院信息工程研究所 | 一种基于门控卷积变分自编码器的IPv6地址发现方法和装置 |
CN111680666A (zh) * | 2020-06-30 | 2020-09-18 | 西安电子科技大学 | 欠采样跳频通信信号深度学习恢复方法 |
WO2021204010A1 (zh) * | 2020-11-19 | 2021-10-14 | 平安科技(深圳)有限公司 | 一种时序异常检测方法、装置、计算机设备及存储介质 |
CN113094993A (zh) * | 2021-04-12 | 2021-07-09 | 电子科技大学 | 基于自编码神经网络的调制信号去噪方法 |
CN113850013A (zh) * | 2021-07-09 | 2021-12-28 | 西北工业大学 | 一种舰船辐射噪声分类方法 |
TWI803243B (zh) * | 2022-03-16 | 2023-05-21 | 鴻海精密工業股份有限公司 | 圖像擴增方法、電腦設備及儲存介質 |
CN115587290A (zh) * | 2022-09-15 | 2023-01-10 | 西北工业大学 | 基于变分自编码生成对抗网络的航空发动机故障诊断方法 |
Non-Patent Citations (1)
Title |
---|
基于字典学习的碰摩声发射信号降噪算法;彭威 等;电子器件;第42卷(第1期);全文 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022133962A1 (de) | 2022-12-19 | 2024-06-20 | Friedrich-Schiller-Universität Jena Körperschaft des öffentlichen Rechts | Aufbereitung gemessener raman-spektren mit neuronalen netzwerken |
DE102022133962B4 (de) | 2022-12-19 | 2024-07-25 | Friedrich-Schiller-Universität Jena Körperschaft des öffentlichen Rechts | Aufbereitung gemessener raman-spektren mit neuronalen netzwerken |
Also Published As
Publication number | Publication date |
---|---|
CN116499607A (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116499607B (zh) | 一种光纤传感信号降噪方法、装置和存储介质 | |
CN111734961B (zh) | 一种天然气管道泄漏检测方法 | |
CN110147323B (zh) | 一种基于生成对抗网络的变更智能检查方法及装置 | |
CN109557429B (zh) | 基于改进小波阈值去噪的gis局部放电故障检测方法 | |
WO2020143379A1 (zh) | 异常数据的检测方法及其系统 | |
Sun et al. | A two-stage method for bearing fault detection using graph similarity evaluation | |
CN117574305B (zh) | 一种设备运行状态实时监测方法及系统 | |
Dehkordi et al. | Sound source localization using compressive sensing-based feature extraction and spatial sparsity | |
CN114079503A (zh) | 一种ceemdan-小波阈值去噪方法、装置、设备及光时域反射仪 | |
CN108459920B (zh) | 一种试验数据野值的辨识与修正方法 | |
CN117493778A (zh) | 一种供排水设备关联数据在线监测方法及系统 | |
CN110858072A (zh) | 设备运行状态的确定方法及装置 | |
CN118013191A (zh) | 基于lsm滤波、ceemdan联合小波检测绝缘子的去噪方法 | |
CN117611031B (zh) | 一种冷链物联网物流温度实时监控方法及系统 | |
US20140111701A1 (en) | Audio Data Spread Spectrum Embedding and Detection | |
CN117093857B (zh) | 一种智能戒指测试数据快速处理方法 | |
CN116979970A (zh) | 一种漏磁数据的压缩和重构方法、系统、电子设备及介质 | |
CN116257737A (zh) | 基于自动编码器的新型输电线路高频故障信号降噪方法 | |
CN116310644A (zh) | 一种基于归一化流网络和编码器的异常检测方法及设备 | |
CN114630207A (zh) | 基于降噪自编码器的多传感节点感知数据收集方法 | |
Jiao et al. | Lifting wavelet denoising algorithm for acoustic emission signal | |
CN105787444A (zh) | 基于v系统的信号去噪方法 | |
CN116861167B (zh) | 一种基于深度学习的fbg光谱循环去噪方法 | |
CN107506779A (zh) | 一种植物茎干含水量的估算方法及系统 | |
CN112597425B (zh) | 流速测量数据中异常数据的检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |