CN108492258B - 一种基于生成对抗网络的雷达图像去噪方法 - Google Patents
一种基于生成对抗网络的雷达图像去噪方法 Download PDFInfo
- Publication number
- CN108492258B CN108492258B CN201810043282.1A CN201810043282A CN108492258B CN 108492258 B CN108492258 B CN 108492258B CN 201810043282 A CN201810043282 A CN 201810043282A CN 108492258 B CN108492258 B CN 108492258B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- radar
- training
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000005070 sampling Methods 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims abstract description 7
- 238000004088 simulation Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 101100333773 Rattus norvegicus Esrrg gene Proteins 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于生成对抗网络的雷达图像去噪方法，包括：雷达仿真数据集的构建；雷达时频图像中噪声的加入；生成对抗网络模型的构建：生成对抗网络由生成网络和判别网络两个网络构成，两个网络均采用卷积神经网络的结构，构建以残差网络为基础的卷积神经网络作为生成网络，将网络中的前两层卷积层设成以2为步长的卷积核从而实现下采样，减少运算量并提取抽象特征；后接保持特征图尺度不变的残差网络中的单元，并且将网络中的池化层用特征图尺度不变的卷积层代替；删除卷积层之后用于图像分类的全连接层，用两层反卷积层实现图像的上采样，并且将浅层卷积层输出的特征与深层卷积层输出的特征进行相加然后进一步处理，实现特征的重复利用。生成对抗网络的训练。
Description
技术领域
本发明属于雷达图像处理、信号处理与深度学习领域，涉及基于雷达图像的人体探测、追踪等相关应用。
背景技术
微多普勒雷达在军事领域素来有着很广泛的应用，在军事探测、反恐行动及安保活动中扮演着至关重要的角色。随着信号处理和雷达相关应用的飞速发展，微多普勒雷达的应用领域逐渐向民用倾斜。微多普勒雷达依据多普勒原理，主动发射出电磁波信号，当探测区域包含运动的物体时，就会对雷达发射的信号进行调制，产生多普勒效应从而反射携带目标运动信息的回波信号。当探测物体并非刚体，而是包含多部分的复杂运动时，目标各个部分的微动都会对雷达信号产生多普勒效应，从而使得回波信号中携带目标各个部分的微动信息。
当前图像处理的发展主要偏重于由光学传感器采集到的自然图像，图像作为一种有效的数据被广泛应用于模式识别、目标检测等领域。但是由于外界环境的影响和光学传感器的自身限制，导致某些情况下自然图像并不能支撑相关应用的实施，这就往往需要其它类型传感器数据的支持。雷达作为一种典型的传感器与光学传感器相比具有一些得天独厚的优势：相比于光学传感器，雷达由于其电磁波信号波长较长，因此能够探测的距离大于光学传感器，可以完成一系列遥感任务；其次雷达探测并对周围环境并不敏感，天气、温度、湿度以及光照等因素不会对雷达探测造成很大的影响；并且雷达并不受物体遮挡的影响，可以穿透墙壁和障碍物对目标进行探测。因此基于雷达视频图像的研究在许多应用中得到了长足的发展，譬如军事行动、反恐行动、安保监控和灾后救援工作；另外在无人机相关应用以及无人驾驶汽车中雷达也扮演着重要的角色。
在实际的雷达探测中也往往存在问题，由于探测目标较远或者目标回波信号较弱时会得到处于较低信噪比条件下的雷达图像，在这种质量较差的雷达图像中，探测目标的运动信号往往被淹没在噪声中。由于基于雷达的应用大多对雷达时频图像中的目标运动信息进行提取和分析，低信噪比环境下的雷达图像会对目标的探测、追踪以及分析造成影响。雷达图像去噪旨在利用机器学习、深的学习和图像处理的方法对雷达时频图像进行处理，将其中的噪声进行抑制，从而恢复出一个包含较多目标运动信息和较少噪声的高质量雷达时频图像。
生成对抗网络(Generative Adversarial Networks，GAN)是深度学习算法中的一种新型的网络，通过由卷积神经网络(Convolutional Neural Network，CNN)构建的生成网络和判别网络进行对抗式的训练，利用二元零和博弈的原理完成生成模型的建模，被广泛地应用到图像转换、图像处理等领域。
[1]Kim Y,Ling H.Human Activity Classification Based on Micro-DopplerSignatures Using a Support Vector Machine[J].IEEE Transactions on Geoscience&Remote Sensing,2009,47(5):1328-1337.
[2]Isola P,Zhu J Y,Zhou T,et al.Image-to-Image Translation withConditional Adversarial Networks[J].2016.
[3]Du L,Wang B,Wang P,et al.Noise Reduction Method Based on PrincipalComponent Analysis With Beta Process for Micro-Doppler Radar Signatures[J].IEEE Journal of Selected Topics in Applied Earth Observations&RemoteSensing,2015,8(8):4028-4040.
发明内容
本发明的目的是提供一种效果较好的雷达图像去噪方法。本发明利用深度学习算法中的生成对抗网络实现了低信噪比环境下的雷达时频图像的去噪，针对雷达数据获得为困难的条件，通过仿真雷达图像实现生成对抗网络的训练，改善雷达图像噪声干扰严重，质量低下的情况。技术方案如下：
一种基于生成对抗网络的雷达图像去噪方法，包括下列步骤：
(1)雷达仿真数据集的构建：选取动作捕捉数据库(Motion Capture，MOCAP)中的七种人体动作数据进行雷达人体行为动作数据的仿真，将MOCAP数据库中测量人体运动数据基于人体关节之间的椭球形建模，利用信号散射公式进行人体目标雷达回波的计算，将仿真雷达回波信号进行处理得到仿真雷达时频图像，并在每种动作的数据中随机挑选出一定数量的雷达图像作为训练数据、验证数据和测试数据，完成数据集的构建；
(2)雷达时频图像中噪声的加入：通过对雷达信号中加入高斯白噪声，从而构建特定信噪比环境下的雷达时频图像数据集，并且每种信噪比环境的含噪声雷达图像和不含噪声雷达图像之间一一对应，构建出图像对用于模型的训练以及去噪效果的评估。
(3)生成对抗网络模型的构建：生成对抗网络由生成网络和判别网络两个网络构成，两个网络均采用卷积神经网络的结构，构建以残差网络为基础的卷积神经网络作为生成网络，将网络中的前两层卷积层设成以2为步长的卷积核从而实现下采样，减少运算量并提取抽象特征；后接保持特征图尺度不变的残差网络中的单元，并且将网络中的池化层用特征图尺度不变的卷积层代替；删除卷积层之后用于图像分类的全连接层，用两层反卷积层实现图像的上采样，并且将浅层卷积层输出的特征与深层卷积层输出的特征进行相加然后进一步处理，实现特征的重复利用。
(4)生成对抗网络的训练：对于某种特定信噪比环境下的雷达图像数据集，将上述构建好的图像对输入到生成对抗网络中，对于数据集中的图像对，每次训练随机选取一批图像对作为网络的输入，分别对生成网络和判别网络的权重进行训练；将所有训练数据按批次输入到网络进行一次训练定义为一个epoch，训练过程利用批梯度下降法和反向回传算法经过200个epoch的迭代使网络达到收敛，在训练过程中，每种动作选取雷达图像对进行训练，用以训练一个针对特定信噪比环境的去噪模型；每次从训练数据集中随机选取32个雷达图像对输入进网络对生成网络和判别网络进行交替训练，首先把图像对连接成6通道图像输入判别网络中，对判别网络的输出与图像对的真实标签进行损失计算，然后将损失数值方向输出进网络计算网络参数迭代的梯度，并按照特定的学习率进行参数的迭代更新；然后把含有噪声的雷达图像输入到生成网络，得到去噪后的图像，将去噪后图像与去噪前图像输出到判别网络中得到判别标签，计算判别标签与假标签之间的二元互熵损失以及去噪后图像与不含噪声图像之间的范数损失，将两种损失进行加权平均后反向输入到生成网络中计算出参数迭代梯度，实现生成网络参数的更新；两个网络进行交替训练，最终达到收敛。
附图说明
图1 MOCAP数据库传感器放置示意图
图2雷达图像示意图(跑步)
图3雷达图像对示意图(从左到右再从上到下的三个图：10dB，0dB，-20dB)
图4残差网络单元示意图
图5生成网络模型示意图
图6雷达图像的去噪对比图(10dB)
具体实施方式
为了对本发明进行更清楚的进一步阐述，将对发明的每个实施步骤进行详细描述：
1.雷达时频图像数据集构建
本发明采用的数据集来自卡耐基梅隆大学Graphics Lab实验室建立的动作捕捉数据库(Motion Capture，MOCAP)。MOCAP数据库利用Vicon动作捕捉系统，在人体各个主要关节包括头部，肩膀，躯干以及四肢放置多个红外传感器，如图1，对处于运动状态的人体利用12个帧频率为120Hz的MX-40红外相机进行拍摄，最终得出人体运动期间每个放置传感器的主要节点的时变空间位置信息。MOCAP包含23种分类的2605组实验数据，数据丰富和质量很高，足以支持雷达数据的仿真。本发明选取MOCAP数据库中七种动作：行走、跳跃、跑步、拳击、站立、爬行和谨慎行走七种动作共63组实验数据用以构建雷达时频图像数据集。
本发明基于一种经验无参模型对人体各部分进行椭球形建模，建立基于长椭球的反向散射模型。本文选取MOCAP数据中31个人体节点进行建模，将人体每两个传感器之间的部分近似为一个椭球，如下式所示：
式中(x0,y0,z0)表示人体放置传感器的两个节点之间的中点，a，b，c分别代表三个半主轴的长度，当a＝c的时候，式中便定义了轴对称椭球。椭球的体积即为：
人身体各部分体积可以基于经验得到，已知椭球的半主长轴b时，就可以利用椭球的体积求出半主长轴a和c，然后利用经典的椭球散射信号公式求出人体各部分的仿真雷达回波信号，将人体各部分的回波信号整合就得出人体运动的仿真雷达信号。
本发明选取MOCAP数据库中七种人体动作数据，分别是跑步、行走、站立、拳击、跳跃、爬行和踱步。共包含63组实验数据，每种动作生成700张雷达时频图像，其中400张雷达图像构成训练数据集，200张图像用于构成验证数据集，100张图像用于测试去噪算法的性能。生成的雷达时频图像为120×120像素的RGB彩色图像，时频图像的横轴坐标代表时间，纵轴表示运动速度，每个像素位置上的灰度值表示信号的强度，颜色越偏向红色表示回波信号越强，颜色越偏向蓝色表示回波信号越弱。雷达图像如图2.
2.雷达时频图像噪声的加入。
通常情况下，信号的噪声被认为近似符合高斯分布。为了实现噪声环境的模拟，本发明利用MATLAB程序对雷达回波信号加入特定强度的高斯白噪声，生成特定信噪比环境下的雷达图像。将雷达图像的生成严格控制一一对应，使得每一张不含噪声的雷达时频图像都能对应一张处于特定信噪比环境下的雷达时频图像，并且在这一对雷达图像对中唯一的变量就是信噪比环境，而两种雷达图像包含的人体运动信息完全一致，如图3。本发明构建了-10dB，0dB和10dB三种信噪比情况下的雷达数据集，对用来去噪的生成对抗网络进行训练。
3.生成对抗网络模型的构建。
生成对抗网络是近几年比较火热的深度学习算法中的一类网络，是一种半监督式的生成模型，其原理来自于博弈论中的二元零和博弈。生成对抗网络中包含两个子网络：生成网络和判别网络。生成网络和判别网络均由卷积神经网络构建而成，其中生成网络的输入是含噪声的雷达图像，目标输出是与不含噪声的原始雷达图像尽可能相似的去噪后图像；判别网络的输入是一个图像对，图像对可以是含有噪声的雷达图像和不含噪声的雷达图像构成，也可以是含有噪声的雷达图像和通过生成网络去噪后的雷达图像。判别网络的目标输出是对图像对进行判别：是真实雷达图像对还是生成网络生成的去噪后图像。生成网络在训练过程中尽可能地“欺骗”判别网络，而判别网络尽可能对图像做出正确判别。
本发明基于残差网络进行生成网络的构建。生成网络共由18个卷积层构成：前三层卷积层和最后三层卷积层构成类似全卷积网络的下采样-上采样的对称结构。第一层卷积层的卷积核尺寸为7×7，卷积步长为1，用于对图像利用较大的感受野进行特征提取。第二层和第三层分别是3×3尺寸的卷积核进行以2为步长的卷积，在特征提取的同时实现下采样，缩小特征图的尺寸，同时还能减少网络的运算量。中间连接6个残差网络单元，即构成残差网络的基本卷积层单元，如图4所示。残差网络单元由两层卷积层组成，其中卷积核尺寸为3×3，卷积步长为1，每次卷积对特征图做1长度的延展，从而实现特征图经过残差网络单元保持尺寸不变，残差网络单元的最终输出为输入的特征图与经过两次卷积特征图之和，这样的加和操作不仅降低了网络的运算量，减少了网络过拟合的风险，并且能实现浅层特征图的重复利用，大大提高了网络的性能。网络的最后三层中的前两层由卷积核尺寸为3，步长为2的反卷积层组成，目的是与第二层和第三层的卷积层实现对称操作，在特征整合的同时进行上采样，使输出图像保存尺度不变。最后一层是卷积核尺寸为7×7，步长为1的卷积层。整个网络中除最后一层外的卷积层后接非线性运算单元(Rectified LinearUnits，ReLu)激活层，用以为网络增加非线性单元，降低网络过拟合的风险，实现复杂的建模；同时后接归一化层用于批梯度归一化，使网络的收敛更加理想。最后一层卷积层后接Tanh层进行归一化。最终整体的网络结构如图5所示。
生成对抗网络中的判别网络由5个卷积核尺寸为4×4，卷积步长为1的卷积层堆叠而成。
4.生成对抗网络的训练。
为了得到具有高性能的生成网络，需要利用构雷达图像数据集对生成对抗网络进行充分的训练，使网络中的权重参数收敛到全局最优。训练过程如下：
选定一种特定信噪比环境下的雷达数据集，对应7种动作的400×7张不含噪声的雷达图像，从含有特定噪声的雷达图像中寻找出与之一一对应的400×7张含噪声雷达图像，构成400×7对雷达图像对，作为训练数据。网络的训练主要利用深度学习框架Pytorch完成。
(1)对判别网络进行训练。
对判别网络训练时先将一批含有噪声和不含噪声的图像对读入，将每对图像通过连接生成为一个6通道图像。将6通道图像输入判别网络，得到输出的判别标签。设置‘1’标签代表图像对由含噪声图像和不含噪声图像构成；‘0’标签代表图像对由含噪声图像和去噪后图像构成。将真实图像对输出的标签与标签‘1’通过二元互熵损失函数计算损失，二元互熵损失的定义公式如下：
式中oi代表第图像对的实际标签，ti代表第i个图像对的输出判别标签。将真实图像对输出标签的损失记为ErrD_real，将生成网络生成的图像对输出标签的损失记为ErrD_fake，将ErrD_real和ErrD_fake取均值作为判别网络的整体损失进行反向回传(BackPropagation，BP)进行网络的训练。网络的训练策略选取随机梯度下降法(Stochasticgradient descent，SGD)。
(2)对生成网络进行训练。
对生成网络的训练过程中，首先将读入的含有噪声的雷达图像输入到生成网络中，输出一张去噪后的雷达图像。将输出的去噪后的雷达图像与图像对中不含噪声的雷达图像做一范数损失，定义如下：
然后将图像对输入进判别网络，得到判别网络的输出标签，然后对输出的标签和错误的标签，即标签‘1’做二元互熵损失。记为LB。最后将两种损失进行加权求和：
errG＝LB+λL1
得到总体的生成网络损失errG，其中上式的λ设为100。将其利用BP算法进行回传，实现生成网络的训练。
在整个网络的训练过程中判别网络和生成网络是交替进行训练的。训练数据成批输入进网络进行训练，实验中设置批的大小为32。将所有训练数据按批次输入到网络进行一次训练定义为一个epoch，训练过程利用随机梯度下降法(Stochastic gradientdescent，SGD)和反向回传算法(Back Propagation，BP)，整个训练过程经过200个epoch的训练完成。
训练过程采用Adam(Adaptive Moment Estimation)优化策略，设置初始的学习率为0.0002。Adam优化器利用梯度的一阶矩估计和二阶矩估计动态调整网络中每个参数的学习率。其公式如下：
nt＝μ*mt-1+(1-μ)*gt
式中mt和nt是对回传梯度的一阶矩估计和二阶矩估计；
和
是对一阶矩估计和二阶矩估计的矫正。实验所依赖的环境系统为Linux Ubuntu14.04操作系统，基于CUDA和Cudnn的GPU加速，利用NVIDIA公司的GTX 1080Ti GPU和Intel公司的E3 1231-v3CPU进行网络的训练。
5.去噪性能的评估。
本发明针对0dB，-10dB和10dB信噪比环境下的雷达时频图像分别训练对应的去噪网络，并将算法应用在每种动作100张，总共700张测试图像上。将去噪后图像和不含噪声的雷达图像计算PSNR进行对比，实现去噪效果的评估。最终结果如表1所示：
表1
本发明选取Block-matching and 3D filtering(BM3D)，基于小波的去噪方法(Wavelet)以及双边滤波(Bilateral filter)作为对比算法，通过对雷达图像的去噪进行对比和评估。本发明提出的基于生成对抗网络的雷达图像去噪方法相比于传统的去噪方法，在雷达图像上的性能高出超过9dB；并且在图像去噪前后实现平均17.92dB的PSNR增益，大大改善雷达图像质量。利用本发明提出的方法进行去噪后的图像如图6所示。
Claims (1)
1.一种基于生成对抗网络的雷达图像去噪方法，包括下列步骤：
（1）雷达仿真数据集的构建：选取动作捕捉数据库（Motion Capture，MOCAP）中的七种人体动作数据进行雷达人体行为动作数据的仿真，利用MOCAP数据库中的人体运动数据对人体各部分进行椭球形建模，建立基于长椭球的反向散射模型，将人体每两个传感器之间的部分近似为一个椭球；利用信号散射公式进行人体目标雷达回波的计算，将仿真雷达回波信号进行处理得到仿真雷达时频图像，并在每种动作的数据中随机挑选出一定数量的雷达图像作为训练数据、验证数据和测试数据，完成数据集的构建；
（2）雷达时频图像中噪声的加入：通过对雷达信号中加入高斯白噪声，从而构建特定信噪比环境下的雷达时频图像数据集，并且每种信噪比环境的含噪声雷达图像和不含噪声雷达图像之间一一对应，构建出图像对用于模型的训练以及去噪效果的评估；
（3）生成对抗网络模型的构建：生成对抗网络由生成网络和判别网络两个网络构成，两个网络均采用卷积神经网络的结构，构建以残差网络为基础的卷积神经网络作为生成网络，将网络中的前两层卷积层设成以2为步长的卷积核从而实现下采样，减少运算量并提取抽象特征；后接保持特征图尺度不变的残差网络中的单元，并且将网络中的池化层用特征图尺度不变的卷积层代替；删除卷积层之后用于图像分类的全连接层，用两层反卷积层实现图像的上采样，并且将浅层卷积层输出的特征与深层卷积层输出的特征进行相加然后进一步处理，实现特征的重复利用；
（4）生成对抗网络的训练：对于某种特定信噪比环境下的雷达图像数据集，将上述构建好的图像对输入到生成对抗网络中，对于数据集中的图像对，每次训练随机选取一批图像对作为网络的输入，分别对生成网络和判别网络的权重进行训练；将所有训练数据按批次输入到网络进行一次训练定义为一个epoch，训练过程利用批梯度下降法和反向回传算法经过200个epoch的迭代使网络达到收敛，在训练过程中，每种动作选取雷达图像对进行训练，用以训练一个针对特定信噪比环境的去噪模型；每次从训练数据集中随机选取32个雷达图像对输入进网络对生成网络和判别网络进行交替训练，首先把图像对连接成6通道图像输入判别网络中，对判别网络的输出与图像对的真实标签进行损失计算，然后将损失数值方向输出进网络计算网络参数迭代的梯度，并按照特定的学习率进行参数的迭代更新；然后把含有噪声的雷达图像输入到生成网络，得到去噪后的图像，将去噪后图像与去噪前图像输出到判别网络中得到判别标签，计算判别标签与假标签之间的二元互熵损失以及去噪后图像与不含噪声图像之间的范数损失，将两种损失进行加权平均后反向输入到生成网络中，计算出参数迭代梯度，实现生成网络参数的更新；两个网络进行交替训练，最终达到收敛；
（5）利用训练好的网络对雷达图像进行去噪处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810043282.1A CN108492258B (zh) | 2018-01-17 | 2018-01-17 | 一种基于生成对抗网络的雷达图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810043282.1A CN108492258B (zh) | 2018-01-17 | 2018-01-17 | 一种基于生成对抗网络的雷达图像去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108492258A CN108492258A (zh) | 2018-09-04 |
| CN108492258B true CN108492258B (zh) | 2021-12-07 |
Family
ID=63344256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810043282.1A Expired - Fee Related CN108492258B (zh) | 2018-01-17 | 2018-01-17 | 一种基于生成对抗网络的雷达图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108492258B (zh) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410240A (zh) * | 2018-10-09 | 2019-03-01 | 电子科技大学中山学院 | 一种量体特征点定位方法、装置及其存储介质 |
| CN109544652B (zh) * | 2018-10-18 | 2024-01-05 | 上海威豪医疗科技有限公司 | 基于深度生成对抗神经网络的核磁共振多加权成像方法 |
| CN109657545B (zh) * | 2018-11-10 | 2022-12-20 | 天津大学 | 一种基于多任务学习的行人检测方法 |
| CN109472757B (zh) * | 2018-11-15 | 2020-06-09 | 央视国际网络无锡有限公司 | 一种基于生成对抗神经网络的图像去台标方法 |
| CN109544479B (zh) * | 2018-11-27 | 2021-06-15 | 中国科学院深圳先进技术研究院 | 一种时频图像的增强方法及相关设备 |
| CN109636746B (zh) * | 2018-11-30 | 2020-09-08 | 上海皓桦科技股份有限公司 | 图像噪声去除系统、方法及设备 |
| CN110782397B (zh) * | 2018-12-13 | 2020-08-28 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法、生成式对抗网络、电子设备及存储介质 |
| CN110782398B (zh) * | 2018-12-13 | 2020-12-18 | 北京嘀嘀无限科技发展有限公司 | 图像处理方法、生成式对抗网络系统和电子设备 |
| CN109711473A (zh) * | 2018-12-29 | 2019-05-03 | 北京沃东天骏信息技术有限公司 | 物品识别方法、设备和系统 |
| CN109919862B (zh) * | 2019-02-01 | 2021-08-20 | 北京佳格天地科技有限公司 | 雷达图像去噪系统、方法及计算机设备 |
| CN110045335A (zh) * | 2019-03-01 | 2019-07-23 | 合肥工业大学 | 基于生成对抗网络的雷达目标航迹识别方法和装置 |
| CN109993707B (zh) * | 2019-03-01 | 2023-05-12 | 华为技术有限公司 | 图像去噪方法和装置 |
| US11024013B2 (en) * | 2019-03-08 | 2021-06-01 | International Business Machines Corporation | Neural network based enhancement of intensity images |
| CN109993710B (zh) * | 2019-03-20 | 2022-03-11 | 西北工业大学 | 一种基于生成对抗网络的水下图像去噪方法 |
| CN110084757B (zh) * | 2019-04-15 | 2023-03-07 | 南京信息工程大学 | 一种基于生成对抗网络的红外深度图像增强方法 |
| CN110197205B (zh) * | 2019-05-09 | 2022-04-22 | 三峡大学 | 一种多特征来源残差网络的图像识别方法 |
| CN111951171A (zh) * | 2019-05-16 | 2020-11-17 | 武汉Tcl集团工业研究院有限公司 | Hdr图像生成方法、装置、可读存储介质及终端设备 |
| CN111798416B (zh) * | 2019-06-20 | 2023-04-18 | 太原理工大学 | 基于病理图像与深度学习的肾小球智能检测方法及系统 |
| CN110264428A (zh) * | 2019-06-27 | 2019-09-20 | 东北大学 | 一种基于3d卷积反卷积和生成对抗网络的医学图像降噪方法 |
| CN110288547A (zh) * | 2019-06-27 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 用于生成图像去噪模型的方法和装置 |
| CN110245459B (zh) * | 2019-06-28 | 2021-06-01 | 北京师范大学 | 激光清洗效果预览方法及装置 |
| CN110555811A (zh) * | 2019-07-02 | 2019-12-10 | 五邑大学 | 一种sar图像数据增强方法、装置及存储介质 |
| CN112434780B (zh) * | 2019-08-26 | 2023-05-30 | 上海高德威智能交通系统有限公司 | 目标对象识别网络模型及其训练方法、目标对象识别方法 |
| CN110634103A (zh) * | 2019-08-28 | 2019-12-31 | 天津大学 | 基于生成对抗网络的图像去马赛克方法 |
| CN110728377B (zh) * | 2019-10-21 | 2020-06-09 | 山东大学 | 一种面向机电设备的智能故障诊断方法及系统 |
| CN110853005A (zh) * | 2019-11-06 | 2020-02-28 | 杭州迪英加科技有限公司 | 一种免疫组化膜染色切片诊断方法及装置 |
| CN111008650B (zh) * | 2019-11-13 | 2024-03-19 | 江苏大学 | 一种基于深度卷积对抗神经网络的金相组织自动评级方法 |
| CN110910329B (zh) * | 2019-11-27 | 2022-09-02 | 中国科学技术大学 | 一种以需求为导向的图像去噪方法 |
| CN111008738B (zh) * | 2019-12-04 | 2023-05-30 | 云南锡业集团（控股）有限责任公司研发中心 | 基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法 |
| CN111178260B (zh) * | 2019-12-30 | 2023-04-07 | 山东大学 | 一种基于生成对抗网络的调制信号时频图分类系统及其运行方法 |
| CN111275174B (zh) * | 2020-02-13 | 2020-09-18 | 中国人民解放军32802部队 | 一种面向博弈的雷达对抗策略生成方法 |
| CN111398955B (zh) * | 2020-03-13 | 2022-04-08 | 中国科学院电子学研究所苏州研究院 | 一种基于生成对抗神经网络的sar图像去旁瓣方法 |
| CN111640073B (zh) * | 2020-05-15 | 2021-06-01 | 哈尔滨工业大学 | 图像盲去噪系统 |
| CN111931570B (zh) * | 2020-07-03 | 2022-07-01 | 电子科技大学 | 一种基于全卷积网络的穿墙成像雷达人体目标检测方法 |
| CN111999731B (zh) * | 2020-08-26 | 2022-03-22 | 合肥工业大学 | 一种基于感知生成对抗网络的电磁逆散射成像方法 |
| CN112230210B (zh) * | 2020-09-09 | 2022-07-29 | 南昌航空大学 | 一种基于改进的lsgan和cnn的hrrp雷达目标识别方法 |
| CN112487914B (zh) * | 2020-11-25 | 2021-08-31 | 山东省人工智能研究院 | 一种基于深度卷积生成对抗网络的ecg降噪方法 |
| CN112634176B (zh) * | 2021-01-05 | 2022-02-25 | 西南石油大学 | 基于多感知对抗生成网络的手机拍摄图像去噪方法 |
| CN113030950A (zh) * | 2021-03-10 | 2021-06-25 | 电子科技大学 | 一种基于深度学习技术的小型无人机分类方法 |
| CN113077451B (zh) * | 2021-04-13 | 2023-04-18 | 中山大学 | 基于无监督学习的单张图片本征图像分解方法、系统及介质 |
| CN113376600B (zh) * | 2021-05-10 | 2024-04-05 | 西安电子科技大学 | 一种基于RSDNet的行人雷达回波去噪方法 |
| CN113222017A (zh) * | 2021-05-12 | 2021-08-06 | 中国科学院空天信息创新研究院 | 探地雷达数据生成方法、控制装置、系统及存储介质 |
| CN113296087B (zh) * | 2021-05-25 | 2023-09-22 | 沈阳航空航天大学 | 一种基于数据增强的调频连续波雷达人体动作识别方法 |
| CN114609631B (zh) * | 2022-03-08 | 2023-12-22 | 电子科技大学 | 一种基于生成对抗网络的合成孔径雷达欠采样成像方法 |
| CN116430347B (zh) * | 2023-06-13 | 2023-08-22 | 成都实时技术股份有限公司 | 一种雷达数据采集与存储方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204467A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| CN107145908A (zh) * | 2017-05-08 | 2017-09-08 | 江南大学 | 一种基于r‑fcn的小目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10319076B2 (en) * | 2016-06-16 | 2019-06-11 | Facebook, Inc. | Producing higher-quality samples of natural images |
-
2018
- 2018-01-17 CN CN201810043282.1A patent/CN108492258B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204467A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| CN107145908A (zh) * | 2017-05-08 | 2017-09-08 | 江南大学 | 一种基于r‑fcn的小目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Sharpness-aware Low dose CT denoising using conditional generative adversarial network;Xin Yi etal.;《http:arXiv:1708.06453v1》;20170822;全文 * |
| 用神经网络恢复残差的图像超分辨率算法;潘逢治等;《电子学报》;20040131;第32卷(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108492258A (zh) | 2018-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108492258B (zh) | 一种基于生成对抗网络的雷达图像去噪方法 | |
| CN108226892B (zh) | 一种基于深度学习的复杂噪声环境下的雷达信号恢复方法 | |
| CN110210563B (zh) | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 | |
| WO2022036777A1 (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| CN110472483B (zh) | 一种面向sar图像的小样本语义特征增强的方法及装置 | |
| CN107169435B (zh) | 一种基于雷达仿真图像的卷积神经网络人体动作分类方法 | |
| CN109492556B (zh) | 面向小样本残差学习的合成孔径雷达目标识别方法 | |
| CN108830157B (zh) | 基于注意力机制和3d卷积神经网络的人体行为识别方法 | |
| CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| Yonel et al. | Deep learning for passive synthetic aperture radar | |
| CN111667399A (zh) | 风格迁移模型的训练方法、视频风格迁移的方法以及装置 | |
| CN110462680A (zh) | 用于改善图像纹理的系统和方法 | |
| CN108509910A (zh) | 基于fmcw雷达信号的深度学习手势识别方法 | |
| CN104899866B (zh) | 一种智能化的红外小目标检测方法 | |
| CN111046967A (zh) | 一种基于卷积神经网络和注意力机制的水下图像分类方法 | |
| CN111819568A (zh) | 人脸旋转图像的生成方法及装置 | |
| CN111914997A (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| CN111781599B (zh) | 基于CV-EstNet的SAR运动舰船目标速度估算方法 | |
| CN113111758B (zh) | 一种基于脉冲神经网络的sar图像舰船目标识别方法 | |
| CN108470139A (zh) | 一种基于数据增强的小样本雷达图像人体动作分类方法 | |
| CN110569916A (zh) | 用于人工智能分类的对抗样本防御系统及方法 | |
| CN114897728A (zh) | 图像增强方法、装置、终端设备以及存储介质 | |
| Yang et al. | An adaptive contourlet HMM–PCNN model of sparse representation for image denoising | |
| CN113191489A (zh) | 二值神经网络模型的训练方法、图像处理方法和装置 | |
| CN110275147B (zh) | 基于迁移深度神经网络的人体行为微多普勒的分类识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211207 |