CN115186814B - 对抗生成网络的训练方法、装置、电子设备和存储介质 - Google Patents
对抗生成网络的训练方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115186814B CN115186814B CN202210876250.6A CN202210876250A CN115186814B CN 115186814 B CN115186814 B CN 115186814B CN 202210876250 A CN202210876250 A CN 202210876250A CN 115186814 B CN115186814 B CN 115186814B
- Authority
- CN
- China
- Prior art keywords
- network
- generator
- training
- layer
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000010586 diagram Methods 0.000 claims abstract description 74
- 230000006870 function Effects 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请公开了一种对抗生成网络的训练方法、装置、电子设备和存储介质，该方法和装置应用于电子设备，具体为构建对抗生成网络，并初始化对抗生成网络，对抗生成网络包括生成器网络和判别器网络；采集N组RF热力图样本和N组真值样本；固定生成器网络，将N组RF热力图样本与N组真值样本输入到判别器网络，对判别器网络进行训练，得到判别器；固定判别器，利用N组RF热力图对生成器网络进行训练，得到生成器，并通过反复训练得到最优化的生成器。通过上述方案得到的生成器可以基于合成孔径雷达的雷达数据得到清晰的雷达图像，从而解决了其无法有效识别交通目标的问题。
Description
技术领域
本申请涉及雷达技术领域，更具体地说，涉及一种对抗生成网络的训练方法、装置、电子设备和存储介质。
背景技术
SAR(Synthetic Aperture Radar,合成孔径雷达)，是一种主动式的对地观测设备，可安装在飞机、卫星、宇宙飞船等飞行平台上，全天时、全天候对地实施观测、并具有一定的地表穿透能力。因此，SAR系统在灾害监测、环境监测、海洋监测、资源勘查、农作物估产、测绘和军事等方面的应用上具有独特的优势，可发挥其他遥感手段难以发挥的作用，因此越来越受到世界各国的重视。但是，在交通场景下应用SAR进行成像时，其存在分辨率低、成像模糊问题，导致其无法有效识别交通目标。
发明内容
有鉴于此，本申请提供一种对抗生成网络的训练方法、装置、电子设备和存储介质，用于训练一种处理合成孔径雷达的雷达数据的对抗生成网络，以得到能够对雷达数据进行处理的生成器，以解决合成孔径雷达无法有效识别交通目标的问题。
为了实现上述目的，现提出的方案如下：
一种对抗生成网络的训练方法，应用于电子设备，所述训练方法包括步骤：
构建对抗生成网络，并初始化所述对抗生成网络，所述对抗生成网络包括生成器网络和判别器网络；
采集N组RF热力图样本和分别与所述RF热力图样本对应的N组真值样本，N为大于1的整数；
固定所述生成器网络，将所述N组RF热力图样本与所述N组真值样本输入到所述判别器网络，对所述判别器网络进行训练，得到判别器；
固定所述判别器，利用所述N组RF热力图对所述生成器网络进行训练，得到生成器；
在所述判别器网络和所述生成器网络训练过程中，基于预设的损失函数对训练效果进行评价，根据所述训练效果对所述生成器网络和所述判别器网络进行反复训练。
可选的，所述编码器包括P层卷积网络，所述解码器包括Q层反卷积网络所述残差连接被配置为连接第一层所述卷积网络与S层所述反卷积网络，P、Q和S为大于1的整数，且P小于Q，S小于Q。
可选的，所述卷积网络包括卷积层、激活函数和批量归一化层。
可选的，所述反卷积网络包括反卷积层、激活函数和批量归一化层。
可选的，所述生成器网络用于将高维数据映射到低维数据，所述残差连接用于建立从所述高维数据到所述低维数据之间的映射关系。
可选的，所述生成器网络包括编码器和解码器，所述编码器的输入层与所述解码器的输出层通过残差连接直接相连。
可选的，所述判别器的架构为双流卷积网络。
可选的，所述损失函数如下：
L1＝|y-G(x)|
Lp＝|VGG(y)-VGG(G(x))|
LH＝L+λ1L1+λpLpx
x为所述RF热力图样本，
y为所述真值样本，
G(x)为所述生成器的生成样本，
Lp为感知损失函数，用于通过一个预训练的VGG网络，以衡量所述生成器输出与真值之间风格与内容的感知差距，
L为所述对抗生成网络的基础损失函数，形式如下：
一种对抗生成网络的训练装置，应用于电子设备，所述训练装置包括：
网络构建模块，被配置为构建对抗生成网络，并初始化所述对抗生成网络，所述对抗生成网络包括生成器网络和判别器网络；
样本采集模块，被配置为采集N组RF热力图样本和分别与所述RF热力图样本对应的N组真值样本，N为大于1的整数；
第一训练模块，被配置为固定所述生成器网络，将所述N组RF热力图样本与所述N组真值样本输入到所述判别器网络，对所述判别器网络进行训练，得到判别器；
第二训练模块，被配置为固定所述判别器，利用所述N组RF热力图对所述生成器网络进行训练，得到生成器；
训练控制模块，被配置为在所述判别器网络和所述生成器网络训练过程中，基于预设的损失函数对训练效果进行评价，根据所述训练效果控制第一训练模块和所述第二训练模块对所述生成器网络和所述判别器网络进行反复训练。
可选的，所述生成器网络包括编码器和解码器，所述编码器的输入层与所述解码器的输出层通过残差连接直接相连接。
可选的，所述编码器包括P层卷积网络，所述解码器包括Q层反卷积网络所述残差连接被配置为连接第一层所述卷积网络与S层所述反卷积网络，P、Q和S为大于1的整数，且P小于Q，S小于Q。
可选的，所述生成器网络用于将高维数据映射到低维数据，所述残差连接用于建立从所述高维数据到所述低维数据之间的映射关系。
可选的，所述判别器的架构为双流卷积网络。
可选的，所述损失函数如下：
L1＝|y-G(x)|
Lp＝|VGG(y)-VGG(G(x))|
LH＝L+λ1L1+λpLpx
x为所述RF热力图样本，
y为所述真值样本，
G(x)为所述生成器的生成样本，
Lp为感知损失函数，用于通过一个预训练的VGG网络，以衡量所述生成器输出与真值之间风格与内容的感知差距，
L为所述对抗生成网络的基础损失函数，形式如下：
一种电子设备，包括至少一个处理器和与所述处理器连接的存储器，其中：
所述存储器用于存储计算机程序或指令；
所述处理器用于执行所述计算机程序或指令，以使所述电子设备实现如上所述的对抗生成网络的训练方法。
一种存储介质，应用于电子设备，所述存储介质承载有一个或多个计算机程序，当所述一个或多个计算机程序被所述电子设备执行时，能够使得所述电子设备实现如上所述的对抗生成网络的训练方法。
从上述的技术方案可以看出，本申请公开了一种对抗生成网络的训练方法、装置、电子设备和存储介质，该方法和装置应用于电子设备，具体为构建对抗生成网络，并初始化对抗生成网络，对抗生成网络包括生成器网络和判别器网络；采集N组RF热力图样本和N组真值样本；固定生成器网络，将N组RF热力图样本与N组真值样本输入到判别器网络，对判别器网络进行训练，得到判别器；固定判别器，利用N组RF热力图对生成器网络进行训练，得到生成器，并通过反复训练得到最优化的生成器。通过上述方案得到的生成器可以基于合成孔径雷达的雷达数据得到清晰的雷达图像，从而解决了其无法有效识别交通目标的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种对抗生成网络的训练方法的流程图；
图2为SAR成像的RF热力图；
图3为本申请实施例的一种对抗生成网络的训练装置的框图；
图4为本申请实施例的一种电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
图1为本申请实施例的一种对抗生成网络的训练方法的流程图。
如图1所示，本实施例提供的训练方法应用于电子设备，用于通过对抗生成网络的训练得到一个生成器，以便利用该生成器对SAR成像的原始RF热力图进行处理，将分辨率较低、成像模糊的输入图还原成分辨率较高且轮廓清晰的输出图。该电子设备可以理解为具有数据计算和信息处理能力的计算机或服务器，该训练方法包括如下步骤：
S1、构建一个对抗生成网络。
基于上述电子设备构建一个对抗生成网络，并对该对抗生成网络的参数进行初始化。该对抗生成网络包括生成器网络和判别器网络。
本申请的生成器网络采用一种自编码器(Autoencoder)结构的神经网络，由编码器和解码器组成。本申请的编码器采用六层网络结构，利用其外部输入的三维矩阵输出一个一维张量。每层网络由卷积层、Leaky_ReLU激活函数和批量归一化(BatchNorm)层组成。编码器的编码过程由高维向低维卷积，最终生成一维张量输入，并将该一维张量输入到解码器。
解码器由八层网络构成。每层网络包含反卷积层、ReLU激活函数和批量归一化(BatchNorm)层。解码器从一维张量向二维矩阵反卷积，最终再通过一个双曲正切函数和线性变换的映射，最终输出一张二维深度图。
考虑到之后对抗生成网络训练效率的问题，本申请在生成器网络中加入残差连接。在本申请的生成器网络中，残差连接直接将编码器的输入层与解码器的第六层相连接，将输入的高分辨率深度信息直接连接至输出层，保留了输入数据中的高频深度细节(创新点)。由于生成器系从三维向二维的映射，故建立残差连接也需要一个从三维向二维的映射，因此，这里残差连接所建立的映射关系与生成器网络对数据的映射关系相匹配，具体来说，生成器网络用于将三维数据映射到二维数据，残差连接则用于建立将该高维数据映射到该低维数据之间的映射关系。
本申请中编码器的输入为由SAR成像的RF热力图，RF热力图反映的是空间内每个单位空间(voxel)的反射能量强度。沿雷达波束传播方向，每道波束取m＝8个反射能量最大的单位空间，如此便将三维的输出映射到了8通道的二维平面，具体表达式如下：
x2D(φ,θ)＝argmaxrx3D(φ,θ,r)。
本申请的判别器网络采用一种双流卷积网络机构。其一侧是三维编码器，结构与生成器中的编码器相同，输入SAR成像的RF热力图，输出一维张量，在输出层后添加512*1*1的全连接层。另一侧是二维编码器，结构与生成器中的解码器相同，传播方向相反。输入为生成器的输出(虚假值)或真值，输出为256*1*2的张量，将其展开为512*1*1的张量。至此，双流网络的输出整合成了相同的数据尺寸(512*1*1)，将其直接拼接成1024*1*1的张量。该张量经过256*1*1、1*1*1的两层全连接层，最终输出一个概率值，表示判别器中二维编码器的输入量为真值的概率。
S2、采集多组RF热力图样本和对应的多组真值样本。
这里RF热力图样本和真值样本的数量相同且一一对应。其中，RF热力图由SAR成像得到，在进行样本采集时，利用SAR成像系统对一个场景进行扫描，最终获取这个场景的RF热力图。该图表示了一个三维空间内雷达接收到的目标反射强度，如图2所示。
(r,φ,θ)表示空间内一个点的坐标，x(r,φ,θ)表示以该点为中心的单位空间(voxel)内雷达获取的反射能量值。由许多这样的能量值组成的一个描述特定空间范围内每个单位空间能量值的三维矩阵，即为SAR成像采集到的数据。以这样的三维矩阵绘制出来的3D热力图即为SAR成像的RF热力图。
然后利用深度相机对同一场景进行拍摄，从而得到对应的多组真值样本。深度相机拍摄的图像中的每个像素都带有该像素与摄像头的距离，这样基于该点在2D图像中的坐标，就能获取图像中每个像素的三维空间坐标，即多组真值样本。
S3、对判别器网络进行训练。
即固定上述生成器网络的网络参数，并将上述多组RF热力图样本和真值样本输入到判别器网络进行训练，从而得到判别器。
S4、对生成器网络进行训练。
即在上述已经判别器的基础上对其参数进行固定，并将上述多组RF热力图样本和真值样本输入到生成器网络进行训练，从而得到生成器。
S5、基于损失函数对训练结果进行评价。
即在对判别器网络和生成器网络进行训练过程中，基于预设的损失函数对训练效果进行评价，并根据训练效果对生成器网络和所述判别器网网络进行训练，具体为返回到上述步骤S3，从对判别器的训练开始实现对生成器的反复训练。
本申请所采用的损失函数如下：
L1＝|y-G(x)|
Lp＝|VGG(y)-VGG(G(x))|
LH＝L+λ1L1+λpLpx
x为所述RF热力图样本，
y为所述真值样本，
G(x)为所述生成器的生成样本，
Lp为感知损失函数，用于通过一个预训练的VGG网络，以衡量所述生成器输出与真值之间风格与内容的感知差距，
L为所述对抗生成网络的基础损失函数，形式如下：
从上述技术方案可以看出，本实施例提供了一种对抗生成网络的训练方法，该方法应用于电子设备，具体为构建对抗生成网络，并初始化对抗生成网络，对抗生成网络包括生成器网络和判别器网络；采集N组RF热力图样本和N组真值样本；固定生成器网络，将N组RF热力图样本与N组真值样本输入到判别器网络，对判别器网络进行训练，得到判别器；固定判别器，利用N组RF热力图对生成器网络进行训练，得到生成器，并通过反复训练得到最优化的生成器。通过上述方案得到的生成器可以基于合成孔径雷达的雷达数据得到清晰的雷达图像，从而解决了其无法有效识别交通目标的问题。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机。
实施例二
图3为本申请实施例的一种对抗生成网络的训练装置的框图。
如图3所示，本实施例提供的训练装置应用于电子设备，用于通过对抗生成网络的训练得到一个生成器，以便利用该生成器对SAR成像的原始RF热力图进行处理，将分辨率较低、成像模糊的输入图还原成分辨率较高且轮廓清晰的输出图。该电子设备可以理解为具有数据计算和信息处理能力的计算机或服务器，该训练装置包括网络构建模块10、样本采集模块20、第一训练模块30、第二训练模块40和训练控制模块50。
网络构建模块用于构建一个对抗生成网络。
具体用于基于上述电子设备构建一个对抗生成网络，并对该对抗生成网络的参数进行初始化。该对抗生成网络包括生成器网络和判别器网络。
本申请的生成器网络采用一种自编码器(Autoencoder)结构的神经网络，由编码器和解码器组成。本申请的编码器采用六层网络结构，利用其外部输入的三维矩阵输出一个一维张量。每层网络由卷积层、Leaky_ReLU激活函数和批量归一化(BatchNorm)层组成。编码器的编码过程由高维向低维卷积，最终生成一维张量输入，并将该一维张量输入到解码器。
解码器由八层网络构成。每层网络包含反卷积层、ReLU激活函数和批量归一化(BatchNorm)层。解码器从一维张量向二维矩阵反卷积，最终再通过一个双曲正切函数和线性变换的映射，最终输出一张二维深度图。
考虑到之后对抗生成网络训练效率的问题，本申请在生成器网络中加入残差连接。在本申请的生成器网络中，残差连接用于将编码器的输入层与解码器的第六层相连接，将输入的高分辨率深度信息直接连接至输出层，保留了输入数据中的高频深度细节(创新点)。由于生成器系从三维向二维的映射，故建立残差连接也需要一个从三维向二维的映射。因此，这里残差连接所建立的映射关系与生成器网络对数据的映射关系相匹配，具体来说，生成器网络用于将三维数据映射到二维数据，残差连接则用于建立将该高维数据映射到该低维数据之间的映射关系。
本申请中编码器的输入为由SAR成像的RF热力图，RF热力图反映的是空间内每个单位空间(voxel)的反射能量强度。沿雷达波束传播方向，每道波束取m＝8个反射能量最大的单位空间，如此便将三维的输出映射到了8通道的二维平面，具体表达式如下：
x2D(φ,θ)＝argmaxrx3D(φ,θ,r)。
本申请的判别器网络采用一种双流卷积网络机构。其一侧是三维编码器，结构与生成器中的编码器相同，输入SAR成像的RF热力图，输出一维张量，在输出层后添加512*1*1的全连接层。另一侧是二维编码器，结构与生成器中的解码器相同，传播方向相反。输入为生成器的输出(虚假值)或真值，输出为256*1*2的张量，将其展开为512*1*1的张量。至此，双流网络的输出整合成了相同的数据尺寸(512*1*1)，将其直接拼接成1024*1*1的张量。该张量经过256*1*1、1*1*1的两层全连接层，最终输出一个概率值，表示判别器中二维编码器的输入量为真值的概率。
样本采集模块用于采集多组RF热力图样本和对应的多组真值样本。
这里RF热力图样本和真值样本的数量相同且一一对应。其中，RF热力图由SAR成像得到，在进行样本采集时，利用SAR成像系统对一个场景进行扫描，最终获取这个场景的RF热力图。该图表示了一个三维空间内雷达接收到的目标反射强度，如图2所示。
(r,φ,θ)表示空间内一个点的坐标，x(r,φ,θ)表示以该点为中心的单位空间(voxel)内雷达获取的反射能量值。由许多这样的能量值组成的一个描述特定空间范围内每个单位空间能量值的三维矩阵，即为SAR成像采集到的数据。以这样的三维矩阵绘制出来的3D热力图即为SAR成像的RF热力图。
然后利用深度相机对同一场景进行拍摄，从而得到对应的多组真值样本。深度相机拍摄的图像中的每个像素都带有该像素与摄像头的距离，这样基于该点在2D图像中的坐标，就能获取图像中每个像素的三维空间坐标，即多组真值样本。
第一训练模块用于对判别器网络进行训练。
即固定上述生成器网络的网络参数，并将上述多组RF热力图样本和真值样本输入到判别器网络进行训练，从而得到判别器。
第二训练模块用于对生成器网络进行训练。
即在上述已经判别器的基础上对其参数进行固定，并将上述多组RF热力图样本和真值样本输入到生成器网络进行训练，从而得到生成器。
训练控制模块基于损失函数对训练结果进行评价。
即在对判别器网络和生成器网络进行训练过程中，基于预设的损失函数对训练效果进行评价，并根据训练效果对生成器网络和所述判别器网网络进行训练，具体为控制第一训练模块和第二训练模块对生成器进行反复训练。
本申请所采用的损失函数如下：
L1＝|y-G(x)|
Lp＝|VGG(y)-VGG(G(x))|
LH＝L+λ1L1+λpLpx
x为所述RF热力图样本，
y为所述真值样本，
G(x)为所述生成器的生成样本，
Lp为感知损失函数，用于通过一个预训练的VGG网络，以衡量所述生成器输出与真值之间风格与内容的感知差距，
L为所述对抗生成网络的基础损失函数，形式如下：
从上述技术方案可以看出，本实施例提供了一种对抗生成网络的训练装置，该装置应用于电子设备，具体为构建对抗生成网络，并初始化对抗生成网络，对抗生成网络包括生成器网络和判别器网络；采集N组RF热力图样本和N组真值样本；固定生成器网络，将N组RF热力图样本与N组真值样本输入到判别器网络，对判别器网络进行训练，得到判别器；固定判别器，利用N组RF热力图对生成器网络进行训练，得到生成器，并通过反复训练得到最优化的生成器。通过上述方案得到的生成器可以基于合成孔径雷达的雷达数据得到清晰的雷达图像，从而解决了其无法有效识别交通目标的问题。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
实施例三
本实施例提供了一种电子设备，参照图4所示，其示出了适于用来实现本公开实施例中的电子设备的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。该电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
电子设备可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置406加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有电子设备操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置406；以及通信装置409。通信装置409可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
实施例四
本实施例提供了一种计算机可读的存储介质，该存储介质应用于相应的电子设备，如上一实施例所提供的电子设备，该存储介质承载有一个或者多个计算机程序，当一个或多个计算机程序被该电子设备执行时，能够使该电子设备构建对抗生成网络，并初始化对抗生成网络，对抗生成网络包括生成器网络和判别器网络；采集N组RF热力图样本和N组真值样本；固定生成器网络，将N组RF热力图样本与N组真值样本输入到判别器网络，对判别器网络进行训练，得到判别器；固定判别器，利用N组RF热力图对生成器网络进行训练，得到生成器，并通过反复训练得到最优化的生成器。通过上述方案得到的生成器可以基于合成孔径雷达的雷达数据得到清晰的雷达图像，从而解决了其无法有效识别交通目标的问题。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种对抗生成网络的训练方法，应用于电子设备，其特征在于，所述训练方法包括步骤：
构建对抗生成网络，并初始化所述对抗生成网络，所述对抗生成网络包括生成器网络和判别器网络，所述生成器网络中包含残差连接，所述残差连接将生成器网络中的编码器的输入层与解码器的输出层相连接，将输入的高分辨率深度信息直接连接至输出层，以及保留输入数据中的高频深度细节；
采集N组RF热力图样本和分别与所述RF热力图样本对应的N组真值样本，N为大于1的整数；
固定所述生成器网络，将所述N组RF热力图样本与所述N组真值样本输入到所述判别器网络，对所述判别器网络进行训练，得到判别器；
固定所述判别器，利用所述N组RF热力图对所述生成器网络进行训练，得到生成器；
在所述判别器网络和所述生成器网络训练过程中，基于预设的损失函数对训练效果进行评价，根据所述训练效果对所述生成器网络和所述判别器网络进行反复训练；
所述生成器网络由编码器和解码器组成，所述编码器包括P层卷积网络，利用其外部输入的三维矩阵输出一个一维张量，每层网络由卷积层、激活函数和批量归一化层组成，所述编码器的编码过程由高维向低维卷积，最终生成一维张量输入，并将该一维张量输入到解码器；所述解码器包括Q层反卷积网络，每层网络包含反卷积层、激活函数和批量归一化层，所述解码器从一维张量向二维矩阵反卷积，最终再通过双曲正切函数和线性变换的映射，输出一张二维深度图；P和Q为大于1的整数，且P小于Q；
所述判别器网络为双流卷积网络，其一侧是三维编码器，结构与生成器中的编码器相同，输入SAR成像的RF热力图，输出一维张量，在输出层后添加全连接层；另一侧是二维编码器，结构与所述生成器中的解码器相同，传播方向相反；所述判别器输入为生成器的输出或真值，输出一个概率值，表示判别器中二维编码器的输入量为真值的概率；
所述损失函数如下：
L1＝|y-G(x)|
Lp＝|VGG(y)-VGG(G(x))|
LH＝L+λ1L1+λpLpx
x为所述RF热力图样本，
y为所述真值样本，
G(x)为所述生成器的生成样本，
Lp为感知损失函数，用于通过一个预训练的VGG网络，以衡量所述生成器输出与真值之间风格与内容的感知差距，
L为所述对抗生成网络的基础损失函数，形式如下：
2.如权利要求1所述的训练方法，其特征在于，所述残差连接被配置为连接第一层所述卷积网络与S层所述反卷积网络，P、Q和S为大于1的整数，S小于Q。
3.如权利要求2所述的训练方法，其特征在于，所述生成器网络用于将高维数据映射到低维数据，所述残差连接用于建立从所述高维数据到所述低维数据之间的映射关系。
4.一种对抗生成网络的训练装置，应用于电子设备，其特征在于，所述训练装置包括：
网络构建模块，被配置为构建对抗生成网络，并初始化所述对抗生成网络，所述对抗生成网络包括生成器网络和判别器网络，所述生成器网络中包含残差连接，所述残差连接将生成器网络中的编码器的输入层与解码器的输出层相连接，将输入的高分辨率深度信息直接连接至输出层，以及保留输入数据中的高频深度细节；
样本采集模块，被配置为采集N组RF热力图样本和分别与所述RF热力图样本对应的N组真值样本，N为大于1的整数；
第一训练模块，被配置为固定所述生成器网络，将所述N组RF热力图样本与所述N组真值样本输入到所述判别器网络，对所述判别器网络进行训练，得到判别器；
第二训练模块，被配置为固定所述判别器，利用所述N组RF热力图对所述生成器网络进行训练，得到生成器；
训练控制模块，被配置为在所述判别器网络和所述生成器网络训练过程中，基于预设的损失函数对训练效果进行评价，根据所述训练效果控制第一训练模块和所述第二训练模块对所述生成器网络和所述判别器网络进行反复训练；
所述生成器网络由编码器和解码器组成，所述编码器包括P层卷积网络，利用其外部输入的三维矩阵输出一个一维张量，每层网络由卷积层、激活函数和批量归一化层组成，所述编码器的编码过程由高维向低维卷积，最终生成一维张量输入，并将该一维张量输入到解码器；所述解码器包括Q层反卷积网络，每层网络包含反卷积层、激活函数和批量归一化层，所述解码器从一维张量向二维矩阵反卷积，最终再通过双曲正切函数和线性变换的映射，输出一张二维深度图；P和Q为大于1的整数，且P小于Q；
所述判别器网络为双流卷积网络，其一侧是三维编码器，结构与生成器中的编码器相同，输入SAR成像的RF热力图，输出一维张量，在输出层后添加全连接层；另一侧是二维编码器，结构与所述生成器中的解码器相同，传播方向相反；所述判别器输入为生成器的输出或真值，输出一个概率值，表示判别器中二维编码器的输入量为真值的概率；
所述损失函数如下：
L1＝|y-G(x)|
Lp＝|VGG(y)-VGG(G(x))|
LH＝L+λ1L1+λpLpx
x为所述RF热力图样本，
y为所述真值样本，
G(x)为所述生成器的生成样本，
Lp为感知损失函数，用于通过一个预训练的VGG网络，以衡量所述生成器输出与真值之间风格与内容的感知差距，
L为所述对抗生成网络的基础损失函数，形式如下：
5.如权利要求4所述的训练装置，其特征在于，所述残差连接被配置为连接第一层所述卷积网络与S层所述反卷积网络，P、Q和S为大于1的整数，S小于Q。
6.如权利要求5所述的训练装置，其特征在于，所述生成器网络用于将高维数据映射到低维数据，所述残差连接用于建立从所述高维数据到所述低维数据之间的映射关系。
7.一种电子设备，其特征在于，包括至少一个处理器和与所述处理器连接的存储器，其中：
所述存储器用于存储计算机程序或指令；
所述处理器用于执行所述计算机程序或指令，以使所述电子设备实现如权利要求1～3任一项所述的对抗生成网络的训练方法。
8.一种存储介质，应用于电子设备，其特征在于，所述存储介质承载有一个或多个计算机程序，当所述一个或多个计算机程序被所述电子设备执行时，能够使得所述电子设备实现如权利要求1～3任一项所述的对抗生成网络的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210876250.6A CN115186814B (zh) | 2022-07-25 | 2022-07-25 | 对抗生成网络的训练方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210876250.6A CN115186814B (zh) | 2022-07-25 | 2022-07-25 | 对抗生成网络的训练方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115186814A CN115186814A (zh) | 2022-10-14 |
| CN115186814B true CN115186814B (zh) | 2024-02-13 |
Family
ID=83520843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210876250.6A Active CN115186814B (zh) | 2022-07-25 | 2022-07-25 | 对抗生成网络的训练方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115186814B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546848B (zh) * | 2022-10-26 | 2024-02-02 | 南京航空航天大学 | 一种对抗生成网络训练方法、跨设备掌纹识别方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103596009A (zh) * | 2012-08-13 | 2014-02-19 | 古如罗技微系统公司 | 解码器及解码方法 |
| CN107862293A (zh) * | 2017-09-14 | 2018-03-30 | 北京航空航天大学 | 基于对抗生成网络的雷达生成彩色语义图像系统及方法 |
| CN109636742A (zh) * | 2018-11-23 | 2019-04-16 | 中国人民解放军空军研究院航空兵研究所 | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 |
| CN112597896A (zh) * | 2020-12-23 | 2021-04-02 | 中国科学技术大学 | 基于无线信号的人体姿势成像方法及装置 |
| CN112925932A (zh) * | 2021-01-08 | 2021-06-08 | 浙江大学 | 一种高清晰的水下激光图像处理系统 |
| CN114240735A (zh) * | 2021-11-17 | 2022-03-25 | 西安电子科技大学 | 任意风格迁移方法、系统、存储介质、计算机设备及终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021041772A1 (en) * | 2019-08-30 | 2021-03-04 | The Research Foundation For The State University Of New York | Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising |
-
2022
- 2022-07-25 CN CN202210876250.6A patent/CN115186814B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103596009A (zh) * | 2012-08-13 | 2014-02-19 | 古如罗技微系统公司 | 解码器及解码方法 |
| CN107862293A (zh) * | 2017-09-14 | 2018-03-30 | 北京航空航天大学 | 基于对抗生成网络的雷达生成彩色语义图像系统及方法 |
| CN109636742A (zh) * | 2018-11-23 | 2019-04-16 | 中国人民解放军空军研究院航空兵研究所 | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 |
| CN112597896A (zh) * | 2020-12-23 | 2021-04-02 | 中国科学技术大学 | 基于无线信号的人体姿势成像方法及装置 |
| CN112925932A (zh) * | 2021-01-08 | 2021-06-08 | 浙江大学 | 一种高清晰的水下激光图像处理系统 |
| CN114240735A (zh) * | 2021-11-17 | 2022-03-25 | 西安电子科技大学 | 任意风格迁移方法、系统、存储介质、计算机设备及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115186814A (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109801293B (zh) | 遥感影像分割方法、装置及存储介质、服务器 | |
| CN112258512B (zh) | 点云分割方法、装置、设备和存储介质 | |
| Wang et al. | Simulation of ISAR imaging for a space target and reconstruction under sparse sampling via compressed sensing | |
| CN112288853B (zh) | 三维重建方法、三维重建装置、存储介质 | |
| CN113327318B (zh) | 图像显示方法、装置、电子设备和计算机可读介质 | |
| CN115186814B (zh) | 对抗生成网络的训练方法、装置、电子设备和存储介质 | |
| Musallam et al. | Spacecraft recognition leveraging knowledge of space environment: simulator, dataset, competition design and analysis | |
| CN111292420A (zh) | 用于构建地图的方法和装置 | |
| CN114399588A (zh) | 三维车道线生成方法、装置、电子设备和计算机可读介质 | |
| US11609332B2 (en) | Method and apparatus for generating image using LiDAR | |
| CN111967332B (zh) | 用于自动驾驶的能见度信息生成方法和装置 | |
| CN116704200A (zh) | 图像特征提取、图像降噪方法及相关装置 | |
| CN111063017B (zh) | 一种光照估计方法及装置 | |
| CN115830001B (zh) | 肠道图像处理方法、装置、存储介质及电子设备 | |
| CN113688928B (zh) | 图像匹配方法、装置、电子设备和计算机可读介质 | |
| CN115100536A (zh) | 建筑物识别方法、装置、电子设备和计算机可读介质 | |
| Li et al. | Band contour-extraction method based on conformal geometrical algebra for space tumbling targets | |
| CN111539524B (zh) | 轻量级自注意力模块和神经网络构架的搜索方法 | |
| CN116843842A (zh) | 三维地图分布式构建方法、装置及电子设备 | |
| Roeber et al. | Assessment of structure from motion for reconnaissance augmentation and bandwidth usage reduction | |
| CN114841970B (zh) | 检查图像的识别方法、装置、可读介质和电子设备 | |
| Garrison | Introducing the December Issue [From the Editor] | |
| CN117912007A (zh) | 基于特征增强的目标检测方法、装置、设备和可读介质 | |
| CN117496170A (zh) | Sar图像特征提取方法、装置、设备、介质和程序产品 | |
| CN117082226A (zh) | 图像处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Training methods, devices, electronic devices, and storage media for adversarial generative networks Granted publication date: 20240213 Pledgee: Bank of China Limited by Share Ltd. Nanjing Jiangning branch Pledgor: NANJING HURYS INTELLIGENT TECHNOLOGY Co.,Ltd. Registration number: Y2024980010482 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |