CN117743768A - 基于去噪生成对抗网络和扩散模型的信号去噪方法及系统 - Google Patents

基于去噪生成对抗网络和扩散模型的信号去噪方法及系统 Download PDF

Info

Publication number
CN117743768A
CN117743768A CN202410192446.2A CN202410192446A CN117743768A CN 117743768 A CN117743768 A CN 117743768A CN 202410192446 A CN202410192446 A CN 202410192446A CN 117743768 A CN117743768 A CN 117743768A
Authority
CN
China
Prior art keywords
denoising
signal
noise
network
diffusion model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410192446.2A
Other languages
English (en)
Other versions
CN117743768B (zh
Inventor
许奕东
王洪君
申言田
杨阳
刘云霞
王百洋
马良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202410192446.2A priority Critical patent/CN117743768B/zh
Publication of CN117743768A publication Critical patent/CN117743768A/zh
Application granted granted Critical
Publication of CN117743768B publication Critical patent/CN117743768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Image Processing (AREA)
  • Complex Calculations (AREA)

Abstract

本发明涉及基于去噪生成对抗网络和扩散模型的信号去噪方法及系统,属于人工智能技术领域。包括:通过信号采集获取原始含噪信号;通过根据不同含噪信号进行不同权重编码映射变换的自适应卷积自编码器处理原始含噪信号,提取信号特征、信号重构,实现低信噪比信号预处理;通过去噪生成对抗网络对低信噪比信号去噪;通过去噪扩散模型对低信噪比信号去噪;交互式网络选择融合模块对比去噪生成对抗网络和去噪扩散模型的去噪效果,网络调优,获得纯净信号,实现低信噪比信号去噪。本发明可以自动捕获、识别和分析大带宽电磁监测中的关键频带、不同类型和不同事件的信号。本发明可以高效去除信号中的随机噪声和异常噪声,这对于准确的信号分析至关重要。

Description

基于去噪生成对抗网络和扩散模型的信号去噪方法及系统
技术领域
本发明涉及基于去噪生成对抗网络和扩散模型的信号去噪方法及系统,属于人工智能技术领域。
背景技术
随着宽带通信信号频率范围越来越大,电磁环境也越来越复杂,电磁空间中的信号越来越多,背景噪声显着增加,各种干扰越来越严重,这些复杂的电磁环境对现有的信号检测技术提出了更高的要求和更严峻的挑战。
最近,小波变换在信号去噪方面应用趋于成熟,小波变换兼顾噪声滤除和基线漂移校正,具有较好去噪性能和普适性,但小波阈值法需预先设置基函数等参数,不同波形的信号选取的基函数、分解层数等参数不尽相同且影响降噪效果;VMD是一种不需要预先设置基函数的信号变分分解方法,但VMD中参数难以确定,需采取合理的策略优化参数;深度学习也在电磁信号领域得到了广泛应用,例如利用神经网络根据信号的频域和时域特征对其进行分类,但神经网络容易受到对抗样本的干扰,这些对抗样本可以轻易欺骗神经网络,导致分类错误。
发明内容
针对现实复杂的电磁空间环境、背景噪声和各种干扰越来越严重的问题,本发明的目的在于提供基于去噪生成对抗网络和扩散模型的信号去噪方法,以解决上述背景技术中提出的问题。
针对信号中的高噪声问题,本发明使用自适应卷积自编码器对采集的电磁信号预处理并重构后,对重构信号进行信号特征提取并利用去噪生成对抗网络和去噪扩散模型的预测噪声能力进行噪声去除。在多场景的前提下,本方法兼顾了准确性与高效性等多样性指标,减少了数据噪声大、信号类型复杂多变的影响,提升了信号检测系统的整体性能,为解决信号检测的有效性和准确性提供了有效手段。
本发明还提供了基于去噪生成对抗网络和扩散模型的信号去噪系统。
为实现上述目的,本发明提供如下技术方案:
基于去噪生成对抗网络和扩散模型的信号去噪方法,包括:
通过信号采集获取原始含噪信号;通过根据不同含噪信号进行不同权重编码映射变换的自适应卷积自编码器处理原始含噪信号,提取信号特征、信号重构,实现低信噪比信号预处理;
通过去噪生成对抗网络对低信噪比信号去噪;通过去噪扩散模型对低信噪比信号去噪;交互式网络选择融合模块对比去噪生成对抗网络和去噪扩散模型的去噪效果,网络调优,获得纯净信号,实现低信噪比信号去噪。
根据本发明优选的,信号采集,包括:
使用频谱仪从环境中采集原始含噪信号。
根据本发明优选的,对采集到的原始含噪信号进行初步处理,包括:
采用分段的方式对原始含噪信号进行分段;
对每段原始含噪信号进行FFT变换,得到含噪信号的功率谱,通过信号频率分量计数器统计信号频率的集中性,确定输入的信号所在的频段范围,得到含噪信号的主要频率范围,使用带通滤波器保留中间频率范围的信号,同时去除其他频率的噪声。
根据本发明优选的,自适应卷积自编码器(Adaptive ConvolutionalAutoencoder ,ACAE)包括编码器(Encoder)和解码器(Decoder),通过编码器将高维输入数据压缩至低维空间,通过解码器实现解压缩,将低维变量重构至输入维度,实现对输入数据的复现,进而实现非监督的特征学习。
根据本发明优选的,通过训练好的自适应卷积自编码器处理原始含噪信号提取信号特征、信号重构;包括:
通过训练好的自适应卷积自编码器对原始含噪信号进行重构,在编码重构阶段,处理过程如公式(1)所示:
(1);
式中,F为编码器实现数据压缩输出, 表示输入层和隐藏层的权值矩阵,/>为偏置,/>为编码器的激活函数;
在解码阶段,使用的解码函数如公式(2)所示:
(2);
式中, 是重构数据,/>是解码函数, />表示隐藏层和输出层的权值矩阵,为偏置, />为解码器的激活函数;
根据原始数据和重构数据/>,算法的优化目标函数也就是损失函数,通过均方误差(Mean Square Error, MSE)表示,均方误差的计算公式如公式(3)所示:
(3);
式中,n表示含噪信号a的样本数量, 为输入的第n个样本, />为第n个样本的重构数据。
根据本发明优选的,去噪生成对抗网络包括生成器和判别器;
去噪生成对抗网络的损失函数采用交叉熵损失函数;如式(4)、式(5)所示:
(4);
(5);
式中, 和/>表示真实数据和生成数据概率;/>表示判别器的输出;表示生成器的输出概率;/>是判别器的损失函数, />是生成器的损失函数。
根据本发明优选的,通过去噪生成对抗网络对低信噪比信号去噪,包括:
生成器(Generator)接收低信噪比信号,利用卷积层(Convolutional Layer,Conv)从输入中提取特征,通过增加批归一化层(BatchsizeNormalization Layer,BN)来规范卷积层的输出,使用ReLU激活函数增加非线性,使用Tanh激活函数的卷积层生成最终的输出;
判别器(Discriminator)输入层接收生成器产生的信号,通过卷积层从输入信号中提取特征。
根据本发明优选的,去噪扩散模型的训练过程包括:
训练去噪扩散模型的前向和反向过程,训练去噪扩散模型的前向过程是对信号加噪的过程,在前向过程中,重构数据逐渐被高斯噪声覆盖;用一系列马尔可夫链的步骤描述,并且每一步增加的噪声量/>是预先定义的;如公式(6)、(7)所示:
(6);
(7);
其中,和/>分别是前一时刻和当前时刻的信号状态,/>是预定义的噪声水平参数,确保/>,/>是单位矩阵,表示加入的噪声是各向同性的,通过引入噪声/>,使用重参数化技巧来采样/>,如公式(8)所示:
(8);
反向过程如公式(9)、(10)所示:
(9);
(10);
反向过程是从原始含噪信号开始,逐步去除噪声,还原出干净的信号/>
根据本发明优选的,通过交互式网络选择融合模块对比去噪生成对抗网络和去噪扩散模型的去噪效果,网络调优,获得纯净信号,实现低信噪比信号去噪;包括:
Step1:性能评估与初选:通过计算去噪生成对抗网络和去噪扩散模型的loss来确定这两个去噪网络的最终去噪效果;
Step2:收敛速度对比:通过比较两个去噪网络的下降曲线是否快速收敛,来确定去噪生成对抗网络和去噪扩散模型中较好的部分;
Step3:泛化能力检验:继续比较双分支网络的泛化能力;
Step4:效果融合与优化:
根据step 2的两个去噪网络的下降曲线,当某分支下降快但是收敛效果差,另一分支收敛慢但是收敛效果好,分支下降快但是收敛效果差为快速网络,分支收敛慢但是收敛效果好称为准确网络;使用拼接的方式来完成去噪,即前半部分使用快速网络,并保存网络去噪数据信息以及权重信息,后半部分采用准确网络完成整个去噪过程。
根据本发明优选的,通过权重参数来控制两个去噪网络输出的融合比例;具体来说,最终的输出由以下式(11)给出:
(11);
其中,是快速网络的去噪输出,/>是准确网络的去噪输出,
根据本发明优选的,损失函数采用均方误差,均方误差定义如下公式(12),选择Adam作为优化器;
(12)
表示均方误差损失,n表示样本的数量,/>表示实际值,/>表示去噪网络的预测值。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现基于去噪生成对抗网络和扩散模型的信号去噪方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现基于去噪生成对抗网络和扩散模型的信号去噪方法的步骤。
基于去噪生成对抗网络和扩散模型的信号去噪系统,包括:
低信噪比信号检测单元,被配置为:过信号采集获取原始含噪信号;通过根据不同含噪信号进行不同权重编码映射变换的自适应卷积自编码器处理原始含噪信号,提取信号特征、信号重构,实现低信噪比信号预处理;
信号去噪单元,被配置为:通过去噪生成对抗网络对低信噪比信号去噪;通过去噪扩散模型对低信噪比信号去噪;交互式网络选择融合模块对比去噪生成对抗网络和去噪扩散模型的去噪效果,网络调优,获得纯净信号,实现低信噪比信号去噪。
本发明与现有技术相比,具有以下优点:
第一,本发明的首要目标是应对现实中不断复杂化的电磁环境和背景噪声干扰问题,为了有效解决这个问题,本发明采用了一种创新的方法,即结合自适应卷积自编码器等去噪技术,将信号处理提升到了一个新的水平,通过高层次的特征提取和数据压缩,这项技术可以自动捕获、识别和分析大带宽电磁监测中的关键频带、不同类型和不同事件的信号。最重要的是,它可以高效去除信号中的随机噪声和异常噪声,这对于准确的信号分析至关重要。
第二,虽然去噪扩散模型在图像生成方面得到了广泛应用,但在电磁信号去噪方面的应用目前还相对较少,这是因为电磁信号处理与图像处理有很大的不同,需要针对不同的物理特性和信号类型来设计相应的算法,本发明的创新之处在于成功将去噪扩散模型应用于电磁信号处理领域,为这一领域带来了新的可能性和机会。
第三,在优化方面,本发明采用了去噪生成对抗网络(DGAN)和去噪扩散模型(DDPM)两种不同的新型去噪网络的双分支结构,这种双分支结构的设计有助于确保所实现的去噪结果是最佳网络完成的结果。同时,这两种网络进行了充分的比较,考虑了准确性与高效性等多样性指标,在多种场景下进行了验证。这一对比优化的方法不仅提高了数据噪声大、信号类型复杂多变情况下的性能,还提升了信号检测系统的整体性能。这为解决信号检测的有效性和准确性提供了一种非常有效的手段,有望在实际应用中产生显著的影响。
第四,本发明不仅适用于宽带通信信号的处理,还可以广泛应用于其他领域,例如,在医学成像领域,可以用于去除医学图像中的噪声,从而提高诊断的准确性,在无线通信领域,它可以帮助提高通信系统的性能,确保可靠的数据传输。这个多领域的适用性使得这项发明具有广泛的市场潜力,有望为各个领域的信号处理问题提供解决方案。
附图说明
图1为本发明基于去噪生成对抗网络和扩散模型的信号去噪方法的流程框图;
图2为自适应卷积自编码器ACAE数据处理流程示意图;
图3为去噪生成对抗网络处理噪声数据流程示意图;
图4为交互式网络选择融合模块设计原理框图示意图。
具体实施方式
为了对本发明的技术特征有更清楚的理解,下面结合附图说明本发明的具体实施方式。对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述,给出了本发明的若干实施例,但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例,相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
实施例1
基于去噪生成对抗网络和扩散模型的信号去噪方法,如图1所示,包括:
通过信号采集获取原始含噪信号;通过根据不同含噪信号进行不同权重编码映射变换的自适应卷积自编码器处理原始含噪信号,提取信号特征、信号重构,实现低信噪比信号预处理;
通过去噪生成对抗网络对低信噪比信号去噪;通过去噪扩散模型对低信噪比信号去噪;交互式网络选择融合模块对比去噪生成对抗网络和去噪扩散模型的去噪效果,网络调优,获得纯净信号,实现低信噪比信号去噪。其中,去噪生成对抗网络和去噪扩散模型可以用于扩展数据集,近年来少量应用于图像去噪,本发明使用该双分支网络结构进行电磁类一维信号进行去噪操作。
实施例2
根据实施例1所述的基于去噪生成对抗网络和扩散模型的信号去噪方法,其区别在于:
信号采集,包括:使用频谱仪从环境中采集原始含噪信号。从环境中采集原始含噪信号,对所需信号数据采集过程中,对信号发生器的设置如下:信号发生器与频谱仪设置相同的中心频率。
对采集到的原始含噪信号进行初步处理,包括:
采用分段的方式对原始含噪信号进行分段;对采集到的信号数据,每两千点分为一帧;
对每段原始含噪信号进行FFT变换,得到含噪信号的功率谱,由于噪声是随机噪声,存在在任何频率,而正常传输的信号是在一个频段,因此,在这部分,通过信号频率分量计数器统计信号频率的集中性,确定输入的信号所在的频段范围,得到含噪信号的主要频率范围,使用带通滤波器保留中间频率范围的信号,同时去除其他频率的噪声。
之后将初步处理的分段信号输入到自适应卷积自编码器,借助自适应卷积自编码器的特征提取能力,对预处理信号进行信号重构;这样可以快速并行处理大量数据,并保留信号的重要特征,同时去除更多的噪声。
ACAE作为一种非监督学习中使用的人工神经网络,自适应卷积自编码器(Adaptive Convolutional Autoencoder ,ACAE)作为一种非监督学习中使用的人工神经网络,包括编码器(Encoder)和解码器(Decoder)两个重要组成部分,如图2所示,通过编码器将高维输入数据压缩至低维空间,通过解码器实现解压缩,将低维变量重构至输入维度,实现对输入数据的复现,进而实现非监督的特征学习。
相较于传统的中值滤波等,自适应卷积自编码器可以根据不同含噪信号的独特优势进行变换权重的滤波操作,自适应卷积自编码器引入了卷积层、池化层代替部分或者全部的全连接层,以提高模型的特征提取能力,加强模型对输入和输出间潜在映射关系学习,自适应卷积自编码器结合了CNN中卷积滤波和反卷积滤波,以及传统自编码器的优点。
编码器包括1个输入层(Input Layer)、2个卷积层(Convolutional Layer){C1,C2}、2个最大池化层(Maximum poolingLayer){MP1,MP 2}和1个瓶颈层(BottleneckLayer)B组成,输入层用于降低将数据展平,即去除通道信息,并作为编码层的输出;解码器包括1个输入层/>、2个反卷积层(Deconvolution Layer){D1,D2}、2个上采样层(Upsampling Layer){U1,U2}和输出层(Output Layer)O。表1为自适应卷积自编码器详细参数表。
表1 自适应卷积自编码器详细参数表
表1中,None表示空。
自适应卷积自编码器的训练、验证即测试过程具体如下:
输入:训练数据集,/>
输出: ,/>
Step 1:将数据集x划分为训练集、验证集和测试集;
Step 2:基于搭建的压缩模型,设置其批处理样本数量batchsize为 256,迭代次数epoch为50,优化器选择 Adam;
Step 3:设置学习率learning rate更新和训练早停策略,监测训练过程中验证集的损失函数val_loss,当 5 个epoch过去而模型性能没有提升时,learning rate将自动以缩放为原来的 0.1 倍,learning rate最小值设为,当验证集损失函数在 20 个epoch没有减少 0.001 时,训练提前终止;
Step 4:随机初始化自适应卷积自编码器网络所有层权重和偏差。
Step 5:For epoch in 50
输入训练集数据;
计算编码器输出特征;
计算解码器重构数据;
训练集的损失函数loss和验证集的损失函数val_loss;
求解参数梯度,并更新各层的权重和偏置;
Step 6:保存编码器模型。
通过训练好的自适应卷积自编码器处理原始含噪信号提取信号特征、信号重构;包括:
通过训练好的自适应卷积自编码器对原始含噪信号进行重构,在编码重构阶段,处理过程如公式(1)所示:
(1);
式中,F为编码器实现数据压缩输出,表示输入层和隐藏层的权值矩阵,/>为偏置, />为编码器的激活函数;通常为Sigmoid函数;
在解码阶段,使用的解码函数如公式(2)所示:
(2);
式中, 是重构数据, />是解码函数, />表示隐藏层和输出层的权值矩阵,为偏置,/>为解码器的激活函数;通常也为sigmoid函数,通过解码也就实现了将降维数据F映射到原始高维空间;
根据原始数据和重构数据/>,算法的优化目标函数也就是损失函数,通过均方误差(Mean Square Error, MSE)表示,常见的二元交叉熵,均方误差的计算公式如公式(3)所示:
(3);
式中,n表示含噪信号a的样本数量,为输入的第n个样本,/>为第n个样本的重构数据。/>在表示损失函数的同时,也会被用来度量编码器重建输入观测值的好坏,即重构误差(Reconstruction Error, RE)。
在训练去噪生成对抗网络之前,需要从自适应卷积自编码器重构信号中获取噪声样本,假设噪声概率密度分布的期望值为0,则可以将提取的子序列减去其均值作为噪声样本。去噪生成对抗网络包括生成器和判别器;
在去噪生成对抗网络的训练中,训练生成器的目的是使生成的数据尽可能地欺骗判别器,使判别器将生成的数据视为真实数据。训练判别器的目的是使其准确区分真实数据和生成数据。经过多次迭代后,生成器将生成与训练数据具有相同特征的数据。去噪生成对抗网络的损失函数采用交叉熵损失函数;如式(4)、式(5)所示:
(4);
(5);
式中,和/>表示真实数据和生成数据概率;/>表示判别器的输出;表示生成器的输出概率; />是判别器的损失函数,/>是生成器的损失函数。对判别器而言,希望/>趋近于1,即/>,这样,就可以认为判别器可以完全分辨哪些是真实数据,哪些是生成的虚假数据,对于公式(5)想要使得生成的数据可以骗过判别器的判别,所以就需要使得/>,即生成的数据通过判别器。
通过去噪生成对抗网络对低信噪比信号去噪,包括:
如图3所示,上框Generator代表去噪生成器,Input代表含噪信号输入,Conv代表卷积层,BN代表批归一化层,Relu代表ReLU激活函数,Tanh代表Tanh激活函数,Generatednoise代表产生的噪声信号。下框Discriminator代表去噪判别器,Generated noise代表产生的噪声信号,Output代表输出信号。
去噪生成器(Generator)接收低信噪比信号,利用卷积层(Convolutional Layer,Conv)从输入中提取特征,通过增加批归一化层(Batchsize Normalization Layer,BN)来规范卷积层的输出,加速训练过程,提高模型的稳定性;使用ReLU激活函数增加非线性,使用Tanh激活函数的卷积层生成最终的输出;
生成器网络层参数详细介绍为:批标准化层:用于归一化卷积层的输出;ReLU激活层:用于引入非线性;自左向右四个卷积层参数详细介绍为:第一个卷积层:1@64 × 5;第二个卷积层:64@128 × 5;第三个卷积层:128@256 × 5第四个卷积层:256@1 × 5;
去噪判别器(Discriminator)输入层接收生成器产生的信号,通过卷积层从输入信号中提取特征。判别器网络层中自左向右卷积层参数详细介绍为:第一个卷积层:1@128× 5;第二个卷积层:128@256 × 5;第三个卷积层:256@1 × 5;
去噪扩散模型的训练过程包括:
与此同时,通过一系列真实信号,训练去噪扩散模型的前向和反向过程,当网络训练到可以完全生成真实信号时,保存去噪扩散模型网络模型。训练去噪扩散模型的前向过程是对信号加噪的过程,在前向过程中,重构数据逐渐被高斯噪声覆盖;用一系列马尔可夫链的步骤描述,并且每一步增加的噪声量/>是预先定义的;如公式(6)、(7)所示:
(6);
(7)
其中,和/>分别是前一时刻和当前时刻的信号状态, />是预定义的噪声水平参数,通常是逐渐增加的,确保/>,/>是单位矩阵,表示加入的噪声是各向同性的,通过引入噪声/>,使用重参数化技巧来采样/>,如公式(8)所示:
(8);
反向过程如公式(9)、(10)所示:
(9);
(10)
反向过程是从原始含噪信号开始,逐步去除噪声,还原出干净的信号/>。这个过程需要估计每一步去噪声后的信号/>,由于不知道/>,因此,需要通过神经网络来估计这个条件分布,在去噪扩散模型中,不需要计算方差/>,而是通过神经网络估计均值/>,然后使用这个均值来生成 />
去噪扩散模型的前向过程是从原始信号开始并对/>逐步加入噪声,在每步t中,都使用预先定义的高斯噪声/>而且,每次添加的高斯噪声/>都是基于前一步生成的信号而来,Gaussian Diffusion负责生成噪声,并添加到信号中,依次生成含噪信号,这个信号用来训练逆向过程的V-Unet,使其可以很好的预测每一步中添加的噪声。
在前向和反向过程中,V-Unet的职责是预测噪声,训练过程中,V-Unet网络的参数被优化以更好地预测这个噪声,在本发明中,V-Unet采用网络层可变的结构设计,根据含噪信号预处理过程分段数量,以及训练过程中网络稳定的时间,动态调整V-Unet的网络层,当输入分段数量超过20000段语言信号,V-Unet的上下采样层设计为7层;当输入分段在[10000,20000]的范围内,V-Unet的网络层动态调整为5层,当输入分段数量低于10000,V-Unet的网络层动态调整为3层,这样的可变的网络层可以使得模型适应更复杂的电磁信号,同时,这样的动态调整也能更快的使网络收敛。与此同时,GaussianDiffusion是一个添加高斯噪声的类,它负责在信号上加入噪声,并在反向过程中负责逐步去除噪声,最终恢复出干净的信号,通过训练,网络学习到如何从带有高水平噪声的图像中恢复出干净的信号。
去噪扩散模型的逆向过程从完全的随机噪声信号开始,逐步去除噪声,尝试从噪声信号中恢复出干净的信号,这个过程使用一个训练好的神经网络V-Unet,来估计每一步的噪声。
去噪扩散模型包括时间嵌入层、向下采样块、中间块、上采样块;
时间嵌入层包括两层线性层,第一层线性层把时间信息映射成一个(2000,1)的特征向量in_features=(2000,1),out_features=(256,1),偏置项bias=True,引入非线性SiLU激活函数;第二层线性层进一步处理保持它的维度不变,也就是输入输出都是1维;
向下采样块,这部分的作用是为减小图像的尺寸并提取特征,第一个卷积核1×256×1;第二个卷积核1×64×1;第三个卷积核1×20×1;为确保边缘信息的完整性,在卷积时,使用padding=(1, 1)对边缘进行填充,后续的块包括残差块,残差运算过程中还有一次数据处理以增强去噪扩散模型的特征提取能力;如GroupNorm、SiLU激活、卷积层和Dropout。
中间块,中间块是网络进行深度特征处理的核心,它位于网络的最底层,处理的是最抽象的特征;
上采样块,为了恢复图像的原始尺寸,与下采样块相反,在这部分使用残差块和上采样来增加图像的尺寸,同时保留重要特征;
在这个过程中,V-Unet逐步学习预测噪声,而Gaussian Diffusion在逆向过程中可以用于去噪,目标是训练V-Unet使V-Unet达到最大化去噪的能力,从而能够从一个随机噪声状态恢复出清晰、干净的原始信号。这个训练过程通常是通过最小化预测噪声和真实噪声之间的差异来完成的,这个差异可以通过损失函数来衡量。
通过交互式网络选择融合模块对比去噪生成对抗网络和去噪扩散模型的去噪效果,网络调优,获得纯净信号,实现低信噪比信号去噪;如图4所示,包括:
Step1:性能评估与初选:判断两去噪网络的最终去噪效果;通过计算去噪生成对抗网络和去噪扩散模型的loss来确定这两个去噪网络的最终去噪效果;同时,输出这两个去噪网络的loss结果以及筛选过程;
当这两个去噪网络的loss相差不足0.1%时,自动启用Step2,否则,选择loss最低的去噪网络作为最终的去噪网络完成去噪过程;同时,与用户交换命令,让用户看到自动选择结果,并寻求用户的确定,是否启用Step2,同时,用户选择启用融合过程Step4,来融合这两个去噪网络的去噪效果;
Step2:收敛速度对比:由于这两个去噪网络去噪结果相差无几,此步骤中,通过比较两个去噪网络的下降曲线是否快速收敛,来确定去噪生成对抗网络和去噪扩散模型中较好的部分;如果经过5个训练周期(epoch),某分支的去噪效果已经趋于稳定,即loss的变化量低于10-3,就认为该去噪网络达到了稳定,因此,通过比较双分支结构即去噪生成对抗网络和去噪扩散模型的收敛速度来确定网络效果的优劣,此步骤中,如双分支结构收敛速度相差高于2个epoch,那么自动选择速度更快的分支作为最终的去噪网络以完成去噪过程;同时与用户交换命令,让用户看到模块的自动选择结果,并寻求用户的确定,是否启用Step3,同时,用户可以选择启用融合过程Step 4,来融合这两个去噪网络的去噪效果;
Step3:泛化能力检验:若双分支结构在准确度方面差别无几,本发明继续比较双分支网络的泛化能力;通过交互设计,让用户选择减少训练量(训练量变为原来的90%,80%,70%等),来比较最终的收敛速度和准确度,即重复Step 1-2,完成泛化能力的判断,当训练量变少之后,某分支去噪准确度高于另外一个分支1%,即可说明该分支泛化能力更强,即可选择该分支作为最终的去噪网络以完成去噪过程;同时与用户交换命令,让用户看到模块的自动选择结果,并寻求用户的确定,是否启用Step 4。
Step4:效果融合与优化:
根据step 2的两个去噪网络的下降曲线,当某分支下降快但是收敛效果差,另一分支收敛慢但是收敛效果好,分支下降快但是收敛效果差为快速网络,分支收敛慢但是收敛效果好称为准确网络;针对此种情况,可以使用两个网络拼接的方式来完成去噪,即前半部分使用快速网络,并保存网络去噪数据信息以及权重信息,后半部分采用准确网络完成整个去噪过程。
在双分支结构的去噪效果融合过程中,结合两个网络各自的优势进行融合,一个为了实现这一目标,本发明设计了一个权重参数,通过权重参数来控制两个去噪网络输出的融合比例;具体来说,最终的输出由以下式(11)给出:
(11);
其中,是快速网络的去噪输出,/>是准确网络的去噪输出,。通过调整/>的值,可以灵活地在两个网络的快速收敛和高去噪准确度之间找到最佳平衡点。具体实施:
在开始融合之前,首先确保两个网络的输出是可比较的,即它们在相同的输入条件下产生输出。这需要对网络的输出进行标准化或归一化处理,确保它们在同一尺度上。通过交叉验证来确定最优的值,即在一系列预先定义的/>值中选择那个能够使融合后的输出达到最佳去噪效果的值。权重参数/>可以根据输入数据的特性动态调整。例如,如果输入信号的噪声水平较高,需要更多地依赖去噪效果更好的网络(即减小/>的值);反之,则可以增加/>的值,利用快速网络的优势。通过这样的融合策略,本发明不仅能够利用快速网络的优势来加速初期的去噪过程,还能通过准确网络的优势来确保最终的去噪效果。最终,这种交互式网络选择融合模块将实现对去噪网络的全面优化,提供更为高效和准确的去噪解决方案。
损失函数采用均方误差,均方误差定义如下公式(12),优化器方面,因Adam在调整学习率方面的优势,选择Adam作为优化器;
(12);
表示均方误差损失,n表示样本的数量, />表示实际值,/>表示去噪网络的预测值。
实施例3
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现实施例1或2所述的基于去噪生成对抗网络和扩散模型的信号去噪方法的步骤。
实施例4
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现实施例1或2所述的基于去噪生成对抗网络和扩散模型的信号去噪方法的步骤。
实施例5
基于去噪生成对抗网络和扩散模型的信号去噪系统,包括:
低信噪比信号检测单元,被配置为:过信号采集获取原始含噪信号;通过根据不同含噪信号进行不同权重编码映射变换的自适应卷积自编码器处理原始含噪信号,提取信号特征、信号重构,实现低信噪比信号预处理;
信号去噪单元,被配置为:通过去噪生成对抗网络对低信噪比信号去噪;通过去噪扩散模型对低信噪比信号去噪;交互式网络选择融合模块对比去噪生成对抗网络和去噪扩散模型的去噪效果,网络调优,获得纯净信号,实现低信噪比信号去噪。

Claims (10)

1.基于去噪生成对抗网络和扩散模型的信号去噪方法,其特征在于,包括:
通过信号采集获取原始含噪信号;通过根据不同含噪信号进行不同权重编码映射变换的自适应卷积自编码器处理原始含噪信号,提取信号特征、信号重构,实现低信噪比信号预处理;
通过去噪生成对抗网络对低信噪比信号去噪;通过去噪扩散模型对低信噪比信号去噪;交互式网络选择融合模块对比去噪生成对抗网络和去噪扩散模型的去噪效果,网络调优,获得纯净信号,实现低信噪比信号去噪。
2.根据权利要求1所述的基于去噪生成对抗网络和扩散模型的信号去噪方法,其特征在于,信号采集,包括:
使用频谱仪从环境中采集原始含噪信号;
对采集到的原始含噪信号进行初步处理,包括:
采用分段的方式对原始含噪信号进行分段;
对每段原始含噪信号进行FFT变换,得到含噪信号的功率谱,通过信号频率分量计数器统计信号频率的集中性,确定输入的信号所在的频段范围,得到含噪信号的主要频率范围,使用带通滤波器保留中间频率范围的信号,同时去除其他频率的噪声。
3.根据权利要求1所述的基于去噪生成对抗网络和扩散模型的信号去噪方法,其特征在于,自适应卷积自编码器包括编码器和解码器,通过编码器将高维输入数据压缩至低维空间,通过解码器实现解压缩,将低维变量重构至输入维度,实现对输入数据的复现,进而实现非监督的特征学习。
4.根据权利要求3所述的基于去噪生成对抗网络和扩散模型的信号去噪方法,其特征在于,通过训练好的自适应卷积自编码器处理原始含噪信号提取信号特征、信号重构;包括:
通过训练好的自适应卷积自编码器对原始含噪信号进行重构,在编码重构阶段,处理过程如公式(1)所示:
(1);
式中,F为编码器实现数据压缩输出,表示输入层和隐藏层的权值矩阵,/>为偏置,为编码器的激活函数;
在解码阶段,使用的解码函数如公式(2)所示:
(2);
式中,是重构数据,/>是解码函数,/>表示隐藏层和输出层的权值矩阵,/>为偏置,/>为解码器的激活函数;
根据原始数据和重构数据/>,算法的优化目标函数也就是损失函数,通过均方误差表示,均方误差的计算公式如公式(3)所示:
(3);
式中,n表示含噪信号a的样本数量,为输入的第n个样本,/>为第n个样本的重构数据。
5.根据权利要求1所述的基于去噪生成对抗网络和扩散模型的信号去噪方法,其特征在于,去噪生成对抗网络包括生成器和判别器;
去噪生成对抗网络的损失函数采用交叉熵损失函数;如式(4)、式(5)所示:
(4);
(5);
式中,和/>表示真实数据和生成数据概率;/>表示判别器的输出;/>表示生成器的输出概率;/>是判别器的损失函数,/>是生成器的损失函数;
通过去噪生成对抗网络对低信噪比信号去噪,包括:
生成器接收低信噪比信号,利用卷积层从输入中提取特征,通过增加批归一化层来规范卷积层的输出,使用ReLU激活函数增加非线性,使用Tanh激活函数的卷积层生成最终的输出;
判别器输入层接收生成器产生的信号,通过卷积层从输入信号中提取特征。
6.根据权利要求1所述的基于去噪生成对抗网络和扩散模型的信号去噪方法,其特征在于,去噪扩散模型的训练过程包括:
训练去噪扩散模型的前向和反向过程,训练去噪扩散模型的前向过程是对信号加噪的过程,在前向过程中,重构数据逐渐被高斯噪声覆盖;并且每一步增加的噪声量/>是预先定义的;如公式(6)、(7)所示:
(6);
(7);
其中,和/>分别是前一时刻和当前时刻的信号状态,/>是预定义的噪声水平参数,确保/>,/>是单位矩阵,表示加入的噪声是各向同性的,通过引入噪声/>,使用重参数化技巧来采样/>,如公式(8)所示:
(8);
反向过程如公式(9)、(10)所示:
(9);
(10);
反向过程是从原始含噪信号开始,逐步去除噪声,还原出干净的信号/>
7.根据权利要求1所述的基于去噪生成对抗网络和扩散模型的信号去噪方法,其特征在于,通过交互式网络选择融合模块对比去噪生成对抗网络和去噪扩散模型的去噪效果,网络调优,获得纯净信号,实现低信噪比信号去噪;包括:
Step1:性能评估与初选:通过计算去噪生成对抗网络和去噪扩散模型的loss来确定这两个去噪网络的最终去噪效果;
Step2:收敛速度对比:通过比较两个去噪网络的下降曲线是否快速收敛,来确定去噪生成对抗网络和去噪扩散模型中较好的部分;
Step3:泛化能力检验:继续比较双分支网络的泛化能力;
Step4:效果融合与优化:
根据step 2的两个去噪网络的下降曲线,当某分支下降快但是收敛效果差,另一分支收敛慢但是收敛效果好,分支下降快但是收敛效果差为快速网络,分支收敛慢但是收敛效果好称为准确网络;使用拼接的方式来完成去噪,即前半部分使用快速网络,并保存网络去噪数据信息以及权重信息,后半部分采用准确网络完成整个去噪过程。
8.根据权利要求7所述的基于去噪生成对抗网络和扩散模型的信号去噪方法,其特征在于,通过权重参数来控制两个去噪网络输出的融合比例;具体来说,最终的输出由以下式(11)给出:
(11);
其中,是快速网络的去噪输出,/>是准确网络的去噪输出,
9.根据权利要求7所述的基于去噪生成对抗网络和扩散模型的信号去噪方法,其特征在于,损失函数采用均方误差,均方误差定义如下公式(12),选择Adam作为优化器;
(12);
表示均方误差损失,n表示样本的数量,/>表示实际值,/>表示去噪网络的预测值。
10.基于去噪生成对抗网络和扩散模型的信号去噪系统,其特征在于,包括:
低信噪比信号检测单元,被配置为:过信号采集获取原始含噪信号;通过根据不同含噪信号进行不同权重编码映射变换的自适应卷积自编码器处理原始含噪信号,提取信号特征、信号重构,实现低信噪比信号预处理;
信号去噪单元,被配置为:通过去噪生成对抗网络对低信噪比信号去噪;通过去噪扩散模型对低信噪比信号去噪;交互式网络选择融合模块对比去噪生成对抗网络和去噪扩散模型的去噪效果,网络调优,获得纯净信号,实现低信噪比信号去噪。
CN202410192446.2A 2024-02-21 2024-02-21 基于去噪生成对抗网络和扩散模型的信号去噪方法及系统 Active CN117743768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410192446.2A CN117743768B (zh) 2024-02-21 2024-02-21 基于去噪生成对抗网络和扩散模型的信号去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410192446.2A CN117743768B (zh) 2024-02-21 2024-02-21 基于去噪生成对抗网络和扩散模型的信号去噪方法及系统

Publications (2)

Publication Number Publication Date
CN117743768A true CN117743768A (zh) 2024-03-22
CN117743768B CN117743768B (zh) 2024-05-17

Family

ID=90259599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410192446.2A Active CN117743768B (zh) 2024-02-21 2024-02-21 基于去噪生成对抗网络和扩散模型的信号去噪方法及系统

Country Status (1)

Country Link
CN (1) CN117743768B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992927A (zh) * 2024-04-07 2024-05-07 中国科学技术大学 一种基于控制噪声扩散网络的目标检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109884018A (zh) * 2019-03-22 2019-06-14 华中科技大学 一种基于神经网络的亚微米级无透镜显微成像方法及系统
CN110879254A (zh) * 2018-09-05 2020-03-13 哈尔滨工业大学 一种基于改进最小二乘生成式对抗网络的钢轨裂纹声发射信号检测方法
CN113094993A (zh) * 2021-04-12 2021-07-09 电子科技大学 基于自编码神经网络的调制信号去噪方法
CN115293976A (zh) * 2022-06-29 2022-11-04 中国人民解放军61540部队 基于自监督学习的卫星高光谱影像去噪方法、装置及设备
CN115345872A (zh) * 2022-09-05 2022-11-15 南京理工大学 一种基于自适应降噪的刀具损伤灰度图像智能分类方法
US20230033666A1 (en) * 2020-12-10 2023-02-02 Shenzhen Institutes Of Advanced Technology Medical image noise reduction method, system, terminal, and storage medium
US11599972B1 (en) * 2021-12-22 2023-03-07 Deep Render Ltd. Method and system for lossy image or video encoding, transmission and decoding
CN116051396A (zh) * 2022-11-07 2023-05-02 中国矿业大学 一种基于特征增强网络和gru网络的图像去噪方法
US20230342886A1 (en) * 2022-03-09 2023-10-26 University Of Virginia Patent Foundation Method and system for low-field mri denoising with a deep complex-valued convolutional neural network
CN117240303A (zh) * 2023-10-25 2023-12-15 北京理工大学 一种基于扩散模型的数据压缩方法
CN117522694A (zh) * 2023-11-24 2024-02-06 南京邮电大学 一种基于扩散模型的图像超分辨率重建方法及系统
WO2024032158A1 (zh) * 2022-08-10 2024-02-15 大连大学 基于混合频域通道注意力的深度图像水印方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879254A (zh) * 2018-09-05 2020-03-13 哈尔滨工业大学 一种基于改进最小二乘生成式对抗网络的钢轨裂纹声发射信号检测方法
CN109884018A (zh) * 2019-03-22 2019-06-14 华中科技大学 一种基于神经网络的亚微米级无透镜显微成像方法及系统
US20230033666A1 (en) * 2020-12-10 2023-02-02 Shenzhen Institutes Of Advanced Technology Medical image noise reduction method, system, terminal, and storage medium
CN113094993A (zh) * 2021-04-12 2021-07-09 电子科技大学 基于自编码神经网络的调制信号去噪方法
US11599972B1 (en) * 2021-12-22 2023-03-07 Deep Render Ltd. Method and system for lossy image or video encoding, transmission and decoding
US20230342886A1 (en) * 2022-03-09 2023-10-26 University Of Virginia Patent Foundation Method and system for low-field mri denoising with a deep complex-valued convolutional neural network
CN115293976A (zh) * 2022-06-29 2022-11-04 中国人民解放军61540部队 基于自监督学习的卫星高光谱影像去噪方法、装置及设备
WO2024032158A1 (zh) * 2022-08-10 2024-02-15 大连大学 基于混合频域通道注意力的深度图像水印方法
CN115345872A (zh) * 2022-09-05 2022-11-15 南京理工大学 一种基于自适应降噪的刀具损伤灰度图像智能分类方法
CN116051396A (zh) * 2022-11-07 2023-05-02 中国矿业大学 一种基于特征增强网络和gru网络的图像去噪方法
CN117240303A (zh) * 2023-10-25 2023-12-15 北京理工大学 一种基于扩散模型的数据压缩方法
CN117522694A (zh) * 2023-11-24 2024-02-06 南京邮电大学 一种基于扩散模型的图像超分辨率重建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANYANG HUANG: "Micro-Doppler Spectrogram Denoising Based on Generative Adversarial Network", IEEE, 22 November 2018 (2018-11-22) *
蔡霖康: "面向电力巡检图像去模糊的改进生成对抗网络算法研究", CNKI, 31 August 2020 (2020-08-31) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992927A (zh) * 2024-04-07 2024-05-07 中国科学技术大学 一种基于控制噪声扩散网络的目标检测方法

Also Published As

Publication number Publication date
CN117743768B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN117743768B (zh) 基于去噪生成对抗网络和扩散模型的信号去噪方法及系统
CN111460956A (zh) 一种基于数据增强与损失加权的不平衡心电样本分类方法
CN111444963B (zh) 一种基于ssa-svr模型的高炉铁水硅含量预测方法
CN112884149B (zh) 一种基于随机敏感度st-sm的深度神经网络剪枝方法及系统
CN113295702B (zh) 电气设备故障诊断模型训练方法和电气设备故障诊断方法
CN115984979A (zh) 一种面向未知对抗攻击的人脸伪造识别方法及装置
CN114707577A (zh) 一种基于自对抗变分自编码器的异常检测方法及系统
CN116898455A (zh) 一种基于深度学习模型的睡眠脑电信号检测方法及系统
CN116595465A (zh) 基于自编码器和数据增强的高维稀疏数据离群点检测方法及系统
CN111104876A (zh) 一种基于神经网络的红外光谱反卷积方法
CN110751082B (zh) 一种智能家庭娱乐系统手势指令识别方法
Wang et al. Image denoising using an improved generative adversarial network with Wasserstein distance
Lin et al. A self-supervised denoising method based on deep noise estimation
CN117095208B (zh) 一种面向光电吊舱侦察图像的轻量化场景分类方法
CN116777793B (zh) 基于对数引导对比学习的医学影像提示去噪技术
CN111861907B (zh) 一种高动态范围激光焦斑图像的去噪方法
CN112861796B (zh) 特征自适应的动作识别方法
Wen et al. Overview of traditional denoising and deep learning-based denoising
Li et al. Image Denoising Based on Median Filter and UNet
CN115346061A (zh) 基于多保真度贝叶斯优化的图像识别方法
CN118096567A (zh) 基于贝叶斯方法的dbn模型自适应图像去噪方法和系统
CN112507817A (zh) 一种基于特征监督生成对抗网络的去雨方法
He et al. Adversarial Defense based on Image Style Transfer
CN116911189A (zh) 应用持续学习精准检测动态时变直流故障电弧的方法
CN118277797A (zh) 一种贝叶斯变分自编码器模型及其建立方法、应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant