CN115861044A - 基于生成对抗网络的复杂云层背景仿真方法、装置和设备 - Google Patents
基于生成对抗网络的复杂云层背景仿真方法、装置和设备 Download PDFInfo
- Publication number
- CN115861044A CN115861044A CN202310129001.5A CN202310129001A CN115861044A CN 115861044 A CN115861044 A CN 115861044A CN 202310129001 A CN202310129001 A CN 202310129001A CN 115861044 A CN115861044 A CN 115861044A
- Authority
- CN
- China
- Prior art keywords
- network
- background
- cloud layer
- complex cloud
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000007704 transition Effects 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 230000001629 suppression Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 12
- 230000003321 amplification Effects 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000036961 partial effect Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种基于生成对抗网络的复杂云层背景仿真方法、装置和设备。方法包括：获取经预处理后的真实复杂云层背景样本和多维随机噪声向量；构建仿真模型；通过输入层对输入的多维随机噪声向量进行线性处理，得到初始特征图，通过伪影去除模块对初始特征图进行上采样，得到尺寸放大后的初始特征图，根据当前卷积核大小对初始特征图边缘进行镜像填充后卷积，得到特征图；通过灰度过渡模块对特征图进行多层卷积，输出仿真复杂云层背景；根据预先构建的损失函数、仿真复杂云层背景和判别器网络输出的判别结果对仿真模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行仿真。采用本方法能够得到逼真度高的复杂云层背景仿真图像。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于生成对抗网络的复杂云层背景仿真方法、装置和设备。
背景技术
在现有实测图像的复杂背景中，云层背景有着强起伏性、非平稳性和随机性的特点，严重干扰了空间碎片的检测工作。现有的背景抑制算法在云层背景上的抑制效果不佳，导致云层背景数据集匮乏，无法用于神经网络训练和相关算法验证，阻碍了算法结构的优化。为了解决复杂云层背景的抑制难题，对云层背景进行仿真是一种可行的方法。
传统的星图仿真算法，大多关注云层进入视场的条件，并以高斯分布等模型对其进行拟合，获得最终的仿真成像结果。但云层进入视场的条件无法计算，简单的数学模型难以描述其起伏特性和灰度分布。并且，云层形态多变，灰度值远高于图像中的弱小空间碎片，传统的建模方法很难仿真出大量形态各异的云层类型。
发明内容
基于此，有必要针对上述技术问题，提供一种基于生成对抗网络的复杂云层背景仿真方法、装置和设备。
一种基于生成对抗网络的复杂云层背景仿真方法，所述方法包括：
获取经预处理后的真实复杂云层背景样本和多维随机噪声向量；
构建用于进行复杂云层背景仿真的仿真模型；所述仿真模型包括生成器网络和判别器网络；所述生成器网络包括输入层、伪影去除模块和灰度过渡模块；
通过输入层对输入的多维随机噪声向量进行线性处理，得到初始特征图，通过伪影去除模块对初始特征图进行上采样，得到尺寸放大后的初始特征图，根据当前卷积核大小对尺寸放大后的初始特征图边缘进行镜像填充后卷积，以去除边框伪影，得到特征图；
通过灰度过渡模块对尺寸和维度调整后的特征图进行多层卷积以平稳过渡云层边缘灰度，输出仿真复杂云层背景；
将所述仿真复杂云层背景以及所述真实复杂云层背景样本分别输入所述判别器网络，通过所述判别器网络输出对应的判别结果；
根据预先构建的损失函数、训练样本和判别器网络输出的判别结果对所述仿真模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行复杂云层背景仿真。
在其中一个实施例中，还包括：所述生成器网络至少包括两个依次连接的卷积核大小不同的伪影去除模块。
在其中一个实施例中，还包括：所述伪影去除模块和灰度过渡模块之间还包括用于调整所述特征图尺寸和维度的上采样层、镜像处理层和卷积层。
在其中一个实施例中，还包括：根据当前卷积核大小，得到当前特征图边缘的待填充像素值为：
其中，height和width分别表示图像的长宽，下标kernel表示卷积核的尺寸，padding表示待填充像素值，stride表示步长；根据所述待填充像素值对当前特征图进行镜像填充。
在其中一个实施例中，还包括：获取包含云层背景的实测图像；分割所述实测图像，得到分割图像，计算所述分割图像的每一像素点灰度值的平均值，得到所述平均值大于预设阈值的候选分割图像，基于形态学方法对方差最大的所述候选分割图像进行背景抑制，根据所述实测图像和背景抑制后的候选分割图像，得到真实复杂云层背景样本。
在其中一个实施例中，还包括：所述判别器网络包括输入层、多个卷积层和输出层；通过输入层输入所述生成器网络输出的仿真复杂云层背景；通过多个卷积层对所述仿真复杂云层背景进行特征提取，得到判别器网络的特征图；卷积层的数目由所述生成器网络中初始特征图的维度和尺寸决定；通过输出层对所述判别器网络的特征图进行线性处理，输出所述仿真复杂云层背景的判别结果。
在其中一个实施例中，还包括：所述判别器网络还用于通过输入层输入所述真实复杂云层背景样本；通过多个卷积层对所述真实复杂云层背景样本进行特征提取，得到判别器网络的特征图；通过输出层对所述判别器网络的特征图进行线性处理，输出所述真实复杂云层背景样本的判别结果。
在其中一个实施例中，还包括：根据生成器网络输出的仿真复杂云层背景的维度调整判别器网络的网络深度，并对判别器网络输入接口的尺寸进行调整，以使判别器网络的输入接口能够匹配输入判别器网络的图像的大小。
一种基于生成对抗网络的复杂云层背景仿真装置，所述装置包括：
数据获取模块，用于获取经预处理后的真实复杂云层背景样本和多维随机噪声向量；
模型构建模块，用于构建用于进行复杂云层背景仿真的仿真模型；所述仿真模型包括生成器网络和判别器网络；所述生成器网络包括输入层、伪影去除模块和灰度过渡模块；
伪影去除模块，用于通过输入层对输入的多维随机噪声向量进行线性处理，得到初始特征图，通过伪影去除模块对初始特征图进行上采样，得到尺寸放大后的初始特征图，根据当前卷积核大小对尺寸放大后的初始特征图边缘进行镜像填充后卷积，以去除边框伪影，得到特征图；
灰度过渡模块，用于通过灰度过渡模块对尺寸和维度调整后的特征图进行多层卷积以平稳过渡云层边缘灰度，输出仿真复杂云层背景；
判别器结果输出模块，用于将所述仿真复杂云层背景以及所述真实复杂云层背景样本分别输入所述判别器网络，通过所述判别器网络输出对应的判别结果；
生成器网络训练模块，用于根据预先构建的损失函数、训练样本和判别器网络输出的判别结果对所述仿真模型进行训练，得到训练好的生成器网络；
复杂云层背景仿真模块，用于通过训练好的生成器网络进行复杂云层背景仿真。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取经预处理后的真实复杂云层背景样本和多维随机噪声向量；
构建用于进行复杂云层背景仿真的仿真模型；所述仿真模型包括生成器网络和判别器网络；所述生成器网络包括输入层、伪影去除模块和灰度过渡模块；
通过输入层对输入的多维随机噪声向量进行线性处理，得到初始特征图，通过伪影去除模块对初始特征图进行上采样，得到尺寸放大后的初始特征图，根据当前卷积核大小对尺寸放大后的初始特征图边缘进行镜像填充后卷积，以去除边框伪影，得到特征图；
通过灰度过渡模块对尺寸和维度调整后的特征图进行多层卷积以平稳过渡云层边缘灰度，输出仿真复杂云层背景；
将所述仿真复杂云层背景以及所述真实复杂云层背景样本分别输入所述判别器网络，通过所述判别器网络输出对应的判别结果；
根据预先构建的损失函数、训练样本和判别器网络输出的判别结果对所述仿真模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行复杂云层背景仿真。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取经预处理后的真实复杂云层背景样本和多维随机噪声向量；
构建用于进行复杂云层背景仿真的仿真模型；所述仿真模型包括生成器网络和判别器网络；所述生成器网络包括输入层、伪影去除模块和灰度过渡模块；
通过输入层对输入的多维随机噪声向量进行线性处理，得到初始特征图，通过伪影去除模块对初始特征图进行上采样，得到尺寸放大后的初始特征图，根据当前卷积核大小对尺寸放大后的初始特征图边缘进行镜像填充后卷积，以去除边框伪影，得到特征图；
通过灰度过渡模块对尺寸和维度调整后的特征图进行多层卷积以平稳过渡云层边缘灰度，输出仿真复杂云层背景；
将所述仿真复杂云层背景以及所述真实复杂云层背景样本分别输入所述判别器网络，通过所述判别器网络输出对应的判别结果；
根据预先构建的损失函数、训练样本和判别器网络输出的判别结果对所述仿真模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行复杂云层背景仿真。
上述基于生成对抗网络的复杂云层背景仿真方法、装置和设备，通过对DCGAN（DeepConvolution Generative Adversarial Networks，卷积生成对抗网络）中的生成器网络进行改进，得到仿真模型，仿真模型的生成器网络包括伪影去除模块和灰度过渡模块，伪影去除模块能够避免出现棋盘格伪影和边框阴影，使云层仿真更加逼真，更便于使用不同尺度的卷积核，能够仿真云层背景细节信息和整体形态，实现云层强起伏与非平稳的灰度特性，灰度去除网络能够使边缘灰度平稳过渡，输出仿真复杂云层背景，通过仿真模型的生成器网络对随机噪声进行处理，能够使生成的仿真复杂云层背景中云层形态更加多样，从而为实际应用提供大量仿真复杂云层背景。本发明实施例，仿真的复杂云层背景贴近云层背景的整体形态，逼真度高，云层分布方式和云层分布范围多变，符合云层背景仿真的实际需求。
附图说明
图1为一个实施例中基于生成对抗网络的复杂云层背景仿真方法的流程示意图；
图2为一个实施例中生成对抗网络模型的结构示意图；
图3为一个实施例中仿真模型生成器网络的结构示意图；
图4为一个实施例中组件1对应的伪影去除模块的结构示意图；
图5为一个实施例中仿真模型判别器网络的结构示意图；
图6为一个实施例中不同卷积核大小和卷积核步长下的非均匀重叠现象和均匀重叠现象示意图，其中，（a）为卷积核大小与卷积核步长不能整除时的非均匀重叠现象示意图，（b）为卷积核大小与卷积核步长能够整除时的均匀重叠现象示意图；
图7为一个实施例中传统方法在云层背景仿真过程中的非均匀重叠导致的网格化现象示意图，其中，（a）为迭代100次时的仿真云层背景，（b）为迭代500次时的仿真云层背景，（c）为迭代1100次时的仿真云层背景，（d）为网格化现象的局部放大图；
图8为一个实施例中传统方法在云层背景仿真过程中的边框阴影示意图，其中，（a）为迭代100次时的仿真云层背景，（b）为迭代500次时的仿真云层背景，（c）为迭代1100次时的仿真云层背景，（d）为边框阴影的局部放大图；
图9为一个实施例中镜像填充和常数填充后的图像处理结果示意图；
图10为一个实施例中生成对抗网络的训练与参数更新的流程示意图；
图11为一个实施例中仿真模型的生成器网络输出的仿真图像和数据集中真实图像相似度的对比结果示意图，其中，（a）为真实云层背景，（b）为仿真云层背景，（c）为真实云层背景三维灰度图，（d）为仿真云层背景三维灰度图，（e）为真实云层背景频域图，（f）为仿真云层背景频域图；
图12为一个实施例中基于生成对抗网络的复杂云层背景仿真装置的结构框图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于生成对抗网络的复杂云层背景仿真方法，包括以下步骤：
步骤102，获取经预处理后的真实复杂云层背景样本和多维随机噪声向量。
真实复杂云层背景样本和多维随机噪声向量是本发明设计的仿真模型的输入，其中，真实复杂云层背景样本输入至本发明设计的仿真模型中的判别器网络，多维随机噪声向量输入至仿真模型中的生成器网络，仿真模型为生成对抗网络，仿真模型是通过对DCGAN的生成器网络进行改进得到的，如图2所示，提供了一种生成对抗网络模型的结构示意图，生成对抗网络是一种用于拟合复杂分布的网络结构，由生成器和判别器两个独立子网络组成，生成器用于接受随机噪声并生成图像，判别器用于判断一张图像源自于真实图像还是仿真图像。
本发明对复杂云层背景进行仿真，复杂云层背景为星空图像的云层背景图像，星空图像尺寸较大，常见的地基观测图像尺寸一般为4096´4096像素，本发明通过对DCGAN的生成器网络进行改进，具体改进包括采用上采样的方式放大图像，而不采用原有的反卷积方式放大图像，使得设计的仿真模型能够满足云层背景仿真的实际需求，此外，还采用标准卷积的方式进行特征图处理，能够避免出现棋盘格伪影，棋盘格伪影即传统方法在进行云层背景仿真过程中的非均匀重叠导致的网格化现象。
步骤104，构建用于进行复杂云层背景仿真的仿真模型。
仿真模型包括生成器网络和判别器网络，生成器网络包括输入层、伪影去除模块和灰度过渡模块，仿真模型的判别器网络结构与DCGAN中的判别器网络结构相同，在具体实施时根据生成器网络输出的仿真图像维度调整网络深度，并对判别器网络输入接口的尺寸进行调整，以使判别器网络的输入接口能够匹配输入图像的大小。如图3所示，提供了一种仿真模型生成器网络的结构示意图，图3中，输入维度为128的随机噪声向量，得到维度为64*64、尺寸为4*64的初始特征图，组件1和组件2分别表示不同卷积核大小的伪影去除模块，二维卷积*3表示灰度过渡模块。
步骤106，通过输入层对输入的多维随机噪声向量进行线性处理，得到初始特征图，通过伪影去除模块对初始特征图进行上采样，得到尺寸放大后的初始特征图，根据当前卷积核大小对尺寸放大后的初始特征图边缘进行镜像填充后卷积，以去除边框伪影，得到特征图。
如图4所示，提供了一种组件1对应的伪影去除模块的结构示意图，在图4中，伪影去除模块包括上采样层、镜像处理层、二维卷积层、批归一化层和修正线性单元，其中采用镜像处理层可以避免图像中的边框伪影现象，在标准卷积过程中，若对图像进行常数边缘填充会造成边框伪影，边缘填充会对图像尺寸产生影响，经过多次迭代后，发现图像边缘有明显的边框伪影现象，边框伪影现象影响云层背景的逼真度，而采用镜像填充能够使图像边缘过渡更加自然，显著提高了云层背景的逼真度。
步骤108，通过灰度过渡模块对尺寸和维度调整后的特征图进行多层卷积以平稳过渡云层边缘灰度，输出仿真复杂云层背景。
由于仿真模型通过逐层上采样实现图像尺寸的增大和仿真，因此图像中的边缘过渡存在不自然的问题，灰度过渡模块能够解决云层边缘灰度过渡不流畅的问题，灰度过渡模块包括三层卷积层，卷积核大小为1´1。多层卷积的加入主要有两个作用：其一，卷积操作本身能够平滑因为图像上采样所带来的图像模糊；其二，较小的卷积核能够增强边缘细节，增加图像仿真的真实性和细节性。
步骤110，将仿真复杂云层背景以及真实复杂云层背景样本分别输入判别器网络，通过判别器网络输出对应的判别结果。
如图5所示，提供了一种仿真模型判别器网络的结构示意图，判别器网络包括多层卷积层和线性单元，将仿真复杂云层背景或者真实复杂云层背景样本输入判别器网络，能够输出对应的判别结果，判别结果越接近1，输入图像越接近真实图像。
步骤112，根据预先构建的损失函数、训练样本和判别器网络输出的判别结果对仿真模型进行训练，得到训练好的生成器网络。
训练样本为由预处理后的真实复杂云层背景样本组成的数据集。
步骤114，通过训练好的生成器网络进行复杂云层背景仿真。
上述基于生成对抗网络的复杂云层背景仿真方法中，通过对DCGAN中的生成器网络进行改进，得到仿真模型，仿真模型的生成器网络包括伪影去除模块和灰度过渡模块，伪影去除模块能够避免出现棋盘格伪影和边框阴影，使云层仿真更加逼真，更便于使用不同尺度的卷积核，能够仿真云层背景细节信息和整体形态，实现云层强起伏与非平稳的灰度特性，灰度去除网络能够使边缘灰度平稳过渡，输出仿真复杂云层背景，通过仿真模型的生成器网络对随机噪声进行处理，能够使生成的仿真复杂云层背景中云层形态更加多样，从而为实际应用提供大量仿真复杂云层背景。本发明实施例，仿真的复杂云层背景贴近云层背景的整体形态，逼真度高，云层分布方式和云层分布范围多变，符合云层背景仿真的实际需求。在一个实施例中，生成器网络至少包括两个依次连接的卷积核大小不同的伪影去除模块。
在本实施例中，伪影去除模块包括上采样层、镜像填充层和卷积层，在DCGAN中，常使用反卷积的方式来放大图像，而当卷积核大小和卷积步长无法整除时，则容易出现非均匀重叠现象。如图6所示的不同卷积核大小和卷积核步长下的非均匀重叠现象和均匀重叠现象示意图，其中，（a）为卷积核大小与卷积核步长不能整除时的非均匀重叠现象示意图，（b）为卷积核大小与卷积核步长能够整除时的均匀重叠现象示意图，可以发现，当步长均为3时，如果卷积核边长和步长大小无法整除，则会有间隔一致的重叠像素点，理论上，当步长和卷积核边长保持一致时，则不会出现这类现象。在一些网络的训练过程中，这些重叠像素点会随着卷积迭代逐渐消失，然而，如图7所示，提供了一种传统方法在云层背景仿真过程中的非均匀重叠导致的网格化现象示意图，其中，（a）为迭代100次时的仿真云层背景，（b）为迭代500次时的仿真云层背景，（c）为迭代1100次时的仿真云层背景，（d）为网格化现象的局部放大图，在复杂云层背景仿真时，二维图像的反卷积反而会使非均匀重叠现象加重，甚至在卷积核与步长匹配的状况下也出现严重的非均匀重叠现象。非均匀重叠现象在仿真图像上表现为棋盘格伪影。
标准卷积在网络中不会出现非均匀重叠现象。上采样以及标准卷积既可以实现原先反卷积放大图像的功能，也从源头上避免了非均匀重叠现象的出现，并且，如图3所示，这一方法无需考虑卷积核和步长的匹配程度，便于利用不同大小的卷积核丰富图像的细节信息。
伪影去除模块还包括批归一化和线性修正单元，通过批归一化和线性修正单元，将数据规整到统一区间，能够减少数据的发散程度，降低网络的学习难度。
在一个实施例中，伪影去除模块和灰度过渡模块之间还包括用于调整特征图尺寸和维度的上采样层、镜像处理层和卷积层。
在本实施例中，如图3所示，生成器的输入是128维的随机向量，通过线性单元变为
维的特征图；随后，依次通过两个伪影去除模块以及再次上采样和卷积，实现了图像的扩张并得到了本文所需要的图像大小—/>
；接着，进行镜像填充使图像边框过渡更加自然；最后，通过灰度过渡模块实现细节优化和维度变换，得到最终的仿真图像，完成全部的仿真过程。/>
在一个实施例中，根据当前卷积核大小对尺寸放大后的初始特征图边缘进行镜像填充包括：根据当前卷积核大小，得到当前特征图边缘的待填充像素值为：
其中，height和width分别表示图像的长宽，下标kernel表示卷积核的尺寸，padding表示待填充像素值，stride表示步长；根据待填充像素值对当前特征图进行镜像填充。
在本实施例中，如图8所示，提供了一种传统方法在云层背景仿真过程中的边框阴影示意图，（a）为迭代100次时的仿真云层背景，（b）为迭代500次时的仿真云层背景，（c）为迭代1100次时的仿真云层背景，（d）为边框阴影的局部放大图，在标准卷积过程中，对图像进行常数填充而造成的边框伪影，一般而言，填充的像素值会设置为0和其他常数，由于和原本的边界像素值相差较大，导致边缘出现了伪影，也就是图像中显示出的边框。边缘填充对图像尺寸的影响公式如下：
其中，height和width分别表示图像的长宽，下标kernel表示卷积核的尺寸，padding表示边缘填充的像素，stride表示步长。当卷积核大小为5时，为使输出图像和输入图像大小一致，需要对每个边缘填充2个像素。镜像填充能够根据所需像素的大小，将原图片边缘对应像素的行列进行镜像，形成了填充的元素，从而避免边框伪影问题，如图9所示，提供了一种镜像填充和常数填充后的图像处理结果示意图，进行镜像填充的图像边缘过渡更加自然，在后续的卷积操作中，能够避免边框伪影的出现。
在一个实施例中，判别器网络包括输入层、多个卷积层和输出层；通过输入层输入生成器网络输出的仿真复杂云层背景；通过多个卷积层对仿真复杂云层背景进行特征提取，得到判别器网络的特征图；卷积层的数目由生成器网络中初始特征图的维度和尺寸决定；通过输出层对判别器网络的特征图进行线性处理，输出仿真复杂云层背景的判别结果；判别器网络还用于通过输入层输入真实复杂云层背景样本；通过多个卷积层对真实复杂云层背景样本进行特征提取，得到判别器网络的特征图；通过输出层对判别器网络的特征图进行线性处理，输出真实复杂云层背景样本的判别结果。在本实施例中，如图5所示，仿真图像或真实图像被输入到判别器中，通过三次二维卷积和线性单元后，判别器输出0~1之间的数字，数字越接近1，则越可能为真实图像。
在一个实施例中，如图10所示，提供了一种生成对抗网络的训练与参数更新的流程示意图，预先构建的损失函数为：
其中，
为仿真模型的损失函数，/>
为参数为/>
的判别器，/>
为仿真复杂云层背景集合，/>
为真实复杂云层背景样本集合，/>
为判别器网络判别出仿真复杂云层背景的概率，/>
为期望值。
在本实施例中，采用WGAN-gp(WassersteinGAN-Gradient Penalty，具有梯度惩罚机制的WGAN)，降低了梯度爆炸和梯度消失出现的概率，能够使星空图像云层背景的仿真方法有着更好的稳定性和真实性，在已知目标函数的基础上，生成对抗网络的训练过程是对两部分网络结构参数进行轮流更新的过程，对应的生成器和判别器的损失函数分别为：
如图10所示，第一步是固定生成器参数，通过真实图像和仿真图像训练判别器的判断能力，判别器的参数更新公式如下：
其中，
为判别器的目标函数，/>
为真实图像序列，/>
为仿真图像序列，/>
为图像总数量，/>
为图像编号。/>
为判别器参数，/>
为目标函数对判别器参数的偏导，或者说梯度。对判别器而言，需实现目标函数最大化，因此将梯度乘以步长参数h/>
，与原参数相加，以梯度上升的方式更新判别器参数。
更新判别器后，其判断图像真伪的能力有所提升。在此基础上，固定判别器参数，进入第二步——生成器的训练。生成器参数更新公式如下：
其中，
为生成器的目标函数，/>
为随机噪声序列，/>
为生成器参数。由于生成器的训练目的是扰乱判别器的判断能力，因此，为使目标函数/>
取极小值，将梯度乘以步长参数/>
，与原参数相减，以梯度下降的方式更新生成器参数。
在一个实施例中，方法还包括：根据生成器网络输出的仿真复杂云层背景的维度调整判别器网络的网络深度，并对判别器网络输入接口的尺寸进行调整，以使判别器网络的输入接口能够匹配输入判别器网络的图像的大小。
本发明通过仿真实验以验证仿真模型的可行性，实验基于Ubuntu18.04操作系统，pytorch深度学习开发框架和python开发语言，CPU为Intel Core i9-9940X@3.3GHz，GPU为NVIDIA GeForce RTX 2080Ti，损失函数基于改进的WGAN-gp，算法实现过程如下所示：
算法：基于生成对抗网络的复杂云层背景仿真；
输入：复杂云层背景组成的训练集图像，图像大小为
，像素值归一化到/>
；
输出：云层背景的仿真结果；
1、初始化网络参数：
、/>
梯度下降方式：判别器为RMSprop，学习率：/>
；生成器为Adam，学习率：/>
；
2、
；
3、
；
4、生成随机噪声向量：
；
5、由生成器得到仿真图像：
；
6、将仿真图像与真实图像输入判别器；
7、更新判别器参数：
；
8、end（判别器参数更新五次后结束）；
9、更新生成器参数：
；
10、计算目标损失函数值：
；
11、end（完成EPOCH参数规定的迭代次数）。
在一个实施例中，获取经预处理后的真实复杂云层背景样本的步骤，包括：获取包含云层背景的实测图像；分割实测图像，得到分割图像，计算分割图像的每一像素点灰度值的平均值，得到平均值大于预设阈值的候选分割图像，基于形态学方法对方差最大的候选分割图像进行背景抑制，根据实测图像和背景抑制后的候选分割图像，得到真实复杂云层背景样本。在本实施例中，仿真实验需要以包含云层的图像作为训练数据，而在实测图像中，云层的分布范围往往不可控，为了使图像中的云层背景更为突出，需要对数据集中包含云层背景的图像做预处理，首先对背景图像做分割，将4096´4096的单张图像，分割为16张1024´1024的图像。计算所有分割图像的均值，选择出所有分割图像中均值大于15000的图像。其次，考虑到高亮度恒星的影响，可能存在均值较大但没有云层的分割图像。因此，在此基础上计算每幅分割图像的方差，从分割图像中选择2~3张方差最大的图像，作为训练数据集。最后，为了消除恒星和空间目标的影响，使用基于形态学的方法对图像做背景抑制，将原图和背景抑制后的图像相减，获得仅存在背景的图像，组成最终的数据集。本发明数据集来自两组观测图像，经过分割与选择后，共包含268张图像。
在一个具体实施例中，如图11所示，提供了一种仿真模型的生成器网络输出的仿真图像和数据集中真实图像相似度的对比结果示意图，其中，（a）为真实云层背景，（b）为仿真云层背景，（c）为真实云层背景三维灰度图，（d）为仿真云层背景三维灰度图，（e）为真实云层背景频域图，（f）为仿真云层背景频域图，（a）中的真实云层背景主要集中在图像右侧，为更清晰地对比仿真图像和真实图像的整体分布，选择了同样在右侧具有复杂背景的仿真图像，如（b）所示。分析二者的背景三维灰度图，发现其灰度起伏均呈现从边缘向中心扩散的起伏趋势，其灰度值均从20000以上逐层递减至10000左右，其图像中均存在不平稳的起伏变化。在（e）和（f）中，对比了真实图像和仿真图像的频域特性，发现其频域图在x轴和y轴方向均有明显的条状细线，说明图像在其正交方向均有明显的梯度变化，仿真图像的频域分布符合云层复杂背景的分布特性。通过分析仿真的实验结果，可以认为本发明提出的复杂云层背景仿真方法，在云层背景的形态，起伏特性和非平稳特性上实现了较好的仿真效果。通过对网络结构的改进，消除了图像中的伪影现象，优化了边缘过渡细节，使得仿真形态更加贴近真实图像，证明了本发明方法的有效性。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图12所示，提供了一种基于生成对抗网络的复杂云层背景仿真装置，包括：数据获取模块1202、模型构建模块1204、伪影去除模块1206、灰度过渡模块1208、判别器结果输出模块1210、生成器网络训练模块1212、和复杂云层背景仿真模块1214，其中：
数据获取模块1202，用于获取经预处理后的真实复杂云层背景样本和多维随机噪声向量；
模型构建模块1204，用于构建用于进行复杂云层背景仿真的仿真模型；仿真模型包括生成器网络和判别器网络；生成器网络包括输入层、伪影去除模块和灰度过渡模块；
伪影去除模块1206，用于通过输入层对输入的多维随机噪声向量进行线性处理，得到初始特征图，通过伪影去除模块对初始特征图进行上采样，得到尺寸放大后的初始特征图，根据当前卷积核大小对尺寸放大后的初始特征图边缘进行镜像填充后卷积，以去除边框伪影，得到特征图；
灰度过渡模块1208，用于通过灰度过渡模块对尺寸和维度调整后的特征图进行多层卷积以平稳过渡云层边缘灰度，输出仿真复杂云层背景；
判别器结果输出模块1210，用于将仿真复杂云层背景以及真实复杂云层背景样本分别输入判别器网络，通过判别器网络输出对应的判别结果；
生成器网络训练模块1212，用于根据预先构建的损失函数、训练样本和判别器网络输出的判别结果对仿真模型进行训练，得到训练好的生成器网络；
复杂云层背景仿真模块1214，用于通过训练好的生成器网络进行复杂云层背景仿真。
在其中一个实施例中，模型构建模块1204还用于生成器网络至少包括两个依次连接的卷积核大小不同的伪影去除模块。
在其中一个实施例中，模型构建模块1204还用于伪影去除模块和灰度过渡模块之间还包括用于调整特征图尺寸和维度的上采样层、镜像处理层和卷积层。
在其中一个实施例中，伪影去除模块1206还用于根据当前卷积核大小，得到当前特征图边缘的待填充像素值为：
其中，height和width分别表示图像的长宽，下标kernel表示卷积核的尺寸，padding表示待填充像素值，stride表示步长；根据待填充像素值对当前特征图进行镜像填充。
在其中一个实施例中，数据获取模块1202还用于获取包含云层背景的实测图像；分割实测图像，得到分割图像，计算分割图像的每一像素点灰度值的平均值，得到平均值大于预设阈值的候选分割图像，基于形态学方法对方差最大的候选分割图像进行背景抑制，根据实测图像和背景抑制后的候选分割图像，得到真实复杂云层背景样本。
在其中一个实施例中，模型构建模块1204还用于判别器网络包括输入层、多个卷积层和输出层；通过输入层输入生成器网络输出的仿真复杂云层背景；通过多个卷积层对仿真复杂云层背景进行特征提取，得到判别器网络的特征图；卷积层的数目由生成器网络中初始特征图的维度和尺寸决定；通过输出层对判别器网络的特征图进行线性处理，输出仿真复杂云层背景的判别结果。
在其中一个实施例中，模型构建模块1204还用于判别器网络还用于通过输入层输入真实复杂云层背景样本；通过多个卷积层对真实复杂云层背景样本进行特征提取，得到判别器网络的特征图；通过输出层对判别器网络的特征图进行线性处理，输出真实复杂云层背景样本的判别结果。
在其中一个实施例中，模型构建模块1204还用于根据生成器网络输出的仿真复杂云层背景的维度调整判别器网络的网络深度，并对判别器网络输入接口的尺寸进行调整，以使判别器网络的输入接口能够匹配输入判别器网络的图像的大小。
关于基于生成对抗网络的复杂云层背景仿真装置的具体限定可以参见上文中对于基于生成对抗网络的复杂云层背景仿真方法的限定，在此不再赘述。上述基于生成对抗网络的复杂云层背景仿真装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于生成对抗网络的复杂云层背景仿真方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于生成对抗网络的复杂云层背景仿真方法，其特征在于，所述方法包括：
获取经预处理后的真实复杂云层背景样本和多维随机噪声向量；
构建用于进行复杂云层背景仿真的仿真模型；所述仿真模型包括生成器网络和判别器网络；所述生成器网络包括输入层、伪影去除模块和灰度过渡模块；
通过输入层对输入的多维随机噪声向量进行线性处理，得到初始特征图，通过伪影去除模块对初始特征图进行上采样，得到尺寸放大后的初始特征图，根据当前卷积核大小对尺寸放大后的初始特征图边缘进行镜像填充后卷积，以去除边框伪影，得到特征图；
通过灰度过渡模块对尺寸和维度调整后的特征图进行多层卷积以平稳过渡云层边缘灰度，输出仿真复杂云层背景；
将所述仿真复杂云层背景以及所述真实复杂云层背景样本分别输入所述判别器网络，通过所述判别器网络输出对应的判别结果；
根据预先构建的损失函数、训练样本和判别器网络输出的判别结果对所述仿真模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行复杂云层背景仿真。
2.根据权利要求1所述的方法，其特征在于，所述生成器网络至少包括两个依次连接的卷积核大小不同的伪影去除模块。
3.根据权利要求2所述的方法，其特征在于，所述伪影去除模块和灰度过渡模块之间还包括用于调整所述特征图尺寸和维度的上采样层、镜像处理层和卷积层。
4.根据权利要求3所述的方法，其特征在于，所述根据当前卷积核大小对尺寸放大后的初始特征图边缘进行镜像填充包括：
根据当前卷积核大小，得到当前特征图边缘的待填充像素值为：
其中，height和width分别表示图像的长宽，下标kernel表示卷积核的尺寸，padding表示待填充像素值，stride表示步长；
根据所述待填充像素值对当前特征图进行镜像填充。
5.根据权利要求1所述的方法，其特征在于，所述获取经预处理后的真实复杂云层背景样本的步骤，包括：
获取包含云层背景的实测图像；
分割所述实测图像，得到分割图像，计算所述分割图像的每一像素点灰度值的平均值，得到所述平均值大于预设阈值的候选分割图像，基于形态学方法对方差最大的所述候选分割图像进行背景抑制，根据所述实测图像和背景抑制后的候选分割图像，得到真实复杂云层背景样本。
6.根据权利要求1所述的方法，其特征在于，所述判别器网络包括输入层、多个卷积层和输出层；
通过输入层输入所述生成器网络输出的仿真复杂云层背景；
通过多个卷积层对所述仿真复杂云层背景进行特征提取，得到判别器网络的特征图；卷积层的数目由所述生成器网络中初始特征图的维度和尺寸决定；
通过输出层对所述判别器网络的特征图进行线性处理，输出所述仿真复杂云层背景的判别结果。
7.根据权利要求1所述的方法，其特征在于，所述判别器网络还用于通过输入层输入所述真实复杂云层背景样本；
通过多个卷积层对所述真实复杂云层背景样本进行特征提取，得到判别器网络的特征图；
通过输出层对所述判别器网络的特征图进行线性处理，输出所述真实复杂云层背景样本的判别结果。
8.根据权利要求6或7任一项所述的方法，其特征在于，所述方法还包括：
根据生成器网络输出的仿真复杂云层背景的维度调整判别器网络的网络深度，并对判别器网络输入接口的尺寸进行调整，以使判别器网络的输入接口能够匹配输入判别器网络的图像的大小。
9.一种基于生成对抗网络的复杂云层背景仿真装置，其特征在于，所述装置包括：
数据获取模块，用于获取经预处理后的真实复杂云层背景样本和多维随机噪声向量；
模型构建模块，用于构建用于进行复杂云层背景仿真的仿真模型；所述仿真模型包括生成器网络和判别器网络；所述生成器网络包括输入层、伪影去除模块和灰度过渡模块；
伪影去除模块，用于通过输入层对输入的多维随机噪声向量进行线性处理，得到初始特征图，通过伪影去除模块对初始特征图进行上采样，得到尺寸放大后的初始特征图，根据当前卷积核大小对尺寸放大后的初始特征图边缘进行镜像填充后卷积，以去除边框伪影，得到特征图；
灰度过渡模块，用于通过灰度过渡模块对尺寸和维度调整后的特征图进行多层卷积以平稳过渡云层边缘灰度，输出仿真复杂云层背景；
判别器结果输出模块，用于将所述仿真复杂云层背景以及所述真实复杂云层背景样本分别输入所述判别器网络，通过所述判别器网络输出对应的判别结果；
生成器网络训练模块，用于根据预先构建的损失函数、训练样本和判别器网络输出的判别结果对所述仿真模型进行训练，得到训练好的生成器网络；
复杂云层背景仿真模块，用于通过训练好的生成器网络进行复杂云层背景仿真。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310129001.5A CN115861044B (zh) | 2023-02-17 | 2023-02-17 | 基于生成对抗网络的复杂云层背景仿真方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310129001.5A CN115861044B (zh) | 2023-02-17 | 2023-02-17 | 基于生成对抗网络的复杂云层背景仿真方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115861044A true CN115861044A (zh) | 2023-03-28 |
| CN115861044B CN115861044B (zh) | 2023-04-18 |
Family
ID=85658298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310129001.5A Active CN115861044B (zh) | 2023-02-17 | 2023-02-17 | 基于生成对抗网络的复杂云层背景仿真方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861044B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807782A (zh) * | 2023-12-29 | 2024-04-02 | 南京仁高隆软件科技有限公司 | 一种实现三维仿真模型的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
| CN111210483A (zh) * | 2019-12-23 | 2020-05-29 | 中国人民解放军空军研究院战场环境研究所 | 基于生成对抗网络和数值模式产品的仿真卫星云图生成方法 |
| US20210150357A1 (en) * | 2018-11-14 | 2021-05-20 | Nvidia Corporation | Smoothing regularization for a generative neural network |
| CN112835709A (zh) * | 2020-12-17 | 2021-05-25 | 华南理工大学 | 基于生成对抗网络的云负载时序数据生成方法、系统及介质 |
| CN113139916A (zh) * | 2021-04-15 | 2021-07-20 | 哈尔滨工程大学 | 基于生成式对抗网络的水下声呐仿真图像生成和数据扩充方法 |
| CN115620158A (zh) * | 2022-10-12 | 2023-01-17 | 中国地质大学（武汉） | 一种基于深度学习的高分辨率遥感影像阴影去除方法 |
-
2023
- 2023-02-17 CN CN202310129001.5A patent/CN115861044B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
| US20210150357A1 (en) * | 2018-11-14 | 2021-05-20 | Nvidia Corporation | Smoothing regularization for a generative neural network |
| CN111210483A (zh) * | 2019-12-23 | 2020-05-29 | 中国人民解放军空军研究院战场环境研究所 | 基于生成对抗网络和数值模式产品的仿真卫星云图生成方法 |
| CN112835709A (zh) * | 2020-12-17 | 2021-05-25 | 华南理工大学 | 基于生成对抗网络的云负载时序数据生成方法、系统及介质 |
| CN113139916A (zh) * | 2021-04-15 | 2021-07-20 | 哈尔滨工程大学 | 基于生成式对抗网络的水下声呐仿真图像生成和数据扩充方法 |
| CN115620158A (zh) * | 2022-10-12 | 2023-01-17 | 中国地质大学（武汉） | 一种基于深度学习的高分辨率遥感影像阴影去除方法 |
Non-Patent Citations (4)
| Title |
|---|
| "海量空间碎片天基光学观测图像快速仿真方法" * |
| HAIJIANG WANG: "Study on Weather Radar Echo Data Generation Based on DCGAN" * |
| 杨鹏熙: "基于SAU-NetDCGAN的天气云图生成方法" * |
| 韦哲: "基于两阶段模型的无人机图像厚云区域内容生成" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807782A (zh) * | 2023-12-29 | 2024-04-02 | 南京仁高隆软件科技有限公司 | 一种实现三维仿真模型的方法 |
| CN117807782B (zh) * | 2023-12-29 | 2024-06-07 | 南京仁高隆软件科技有限公司 | 一种实现三维仿真模型的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115861044B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11403838B2 (en) | Image processing method, apparatus, equipment, and storage medium to obtain target image features | |
| CN108805828B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN110796162B (zh) | 图像识别、训练识别模型的方法、相关设备及存储介质 | |
| US11551337B2 (en) | Boundary-aware object removal and content fill | |
| CN109255772B (zh) | 基于风格迁移的车牌图像生成方法、装置、设备及介质 | |
| CN112132093B (zh) | 高分辨率遥感图像目标检测方法、装置和计算机设备 | |
| Anagun et al. | SRLibrary: Comparing different loss functions for super-resolution over various convolutional architectures | |
| CN113313234A (zh) | 用于图像分割的神经网络系统和方法 | |
| US10832034B2 (en) | Facial image generating method, facial image generating apparatus, and facial image generating device | |
| US11080833B2 (en) | Image manipulation using deep learning techniques in a patch matching operation | |
| CN111881926A (zh) | 图像生成、图像生成模型的训练方法、装置、设备及介质 | |
| WO2008001207A2 (en) | Image processing system, image processing program, and image processing method | |
| CN111274999B (zh) | 数据处理、图像处理方法、装置及电子设备 | |
| US11403807B2 (en) | Learning hybrid (surface-based and volume-based) shape representation | |
| CN115861044B (zh) | 基于生成对抗网络的复杂云层背景仿真方法、装置和设备 | |
| CN109165654B (zh) | 一种目标定位模型的训练方法和目标定位方法及装置 | |
| CN110598717A (zh) | 图像特征的提取方法、装置及电子设备 | |
| CN111626379B (zh) | 肺炎x光图像检测方法 | |
| CN113421276A (zh) | 一种图像处理方法、装置及存储介质 | |
| RU2734579C1 (ru) | Система сжатия искусственных нейронных сетей на основе итеративного применения тензорных аппроксимаций | |
| CN116844052A (zh) | 面向遥感图像的可部署补丁对抗攻击方法、装置和设备 | |
| Liu et al. | Facial image inpainting using attention-based multi-level generative network | |
| CN111046755A (zh) | 字符识别方法、装置、计算机设备和计算机可读存储介质 | |
| US20230110393A1 (en) | System and method for image transformation | |
| CN113077379B (zh) | 特征潜码的提取方法及装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |