CN112837215A - 一种基于生成对抗网络的图像形状变换方法 - Google Patents

一种基于生成对抗网络的图像形状变换方法 Download PDF

Info

Publication number
CN112837215A
CN112837215A CN202110347463.5A CN202110347463A CN112837215A CN 112837215 A CN112837215 A CN 112837215A CN 202110347463 A CN202110347463 A CN 202110347463A CN 112837215 A CN112837215 A CN 112837215A
Authority
CN
China
Prior art keywords
image
picture
layer
generator
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110347463.5A
Other languages
English (en)
Other versions
CN112837215B (zh
Inventor
秦臻
陈清雅
丁熠
庄添铭
秦志光
陶子寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110347463.5A priority Critical patent/CN112837215B/zh
Publication of CN112837215A publication Critical patent/CN112837215A/zh
Priority to US17/450,692 priority patent/US20220318946A1/en
Application granted granted Critical
Publication of CN112837215B publication Critical patent/CN112837215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的图像形状变换方法，包括以下步骤：生成待变换图像的分割掩码；构建生成器和判别器，并通过生成器和判别器构建生成对抗网络；构建损失函数，根据损失函数并以梯度下降法训练生成对抗网络；将待变换图像的分割掩码输入至训练后的生成对抗网络，得到图形形状变换结果。本发明的复杂程度低，图像转换的效率高，可以高效地处理图片中的特定图像进行形状差异大的图形变换，可以运用在动画制作、海报设计等领域，既可以增强图形变换的真实度，也可以降低人工成本，减少工作量。

Description

一种基于生成对抗网络的图像形状变换方法
技术领域
本发明属于图像翻译领域，具体涉及一种基于生成对抗网络的图像形状变换方法。
背景技术
对抗神经网络模型在许多应用中都取得了显著成功，例如图像修复，语义分割，图像字幕，视频生成，样式转换等。图像翻译是计算机视觉中研究最多的领域之一，近年来，由于生成对抗网络的发展，图像翻译领域得到了很大程度的发展。对于给定的来自两个不同域的成对的训练数据，我们可以使用有条件的生成对抗网络以监督的方式训练模型。在没有成对数据集的情况下，我们也可以使用无监督的循环生成对抗网络并使用自洽性损失(self-consistency loss)来解决图像到图像的转换。
但该领域的大多数技术都专注于两个相似形状的风格之间的转换任务，例如季节转换、自拍到动漫，样式转换等，而在不同形状的物体之间的转换任务上没有较好的表现。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于生成对抗网络的图像形状变换方法解决了现有技术中存在的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于生成对抗网络的图像形状变换方法，包括以下步骤：
S1、生成待变换图像的分割掩码；
S2、构建生成器和判别器，并通过生成器和判别器构建生成对抗网络；
S3、构建损失函数；
S4、根据损失函数并以梯度下降法训练生成对抗网络；
S5、将待变换图像的分割掩码输入至训练后的生成对抗网络，得到图形形状变换结果。
进一步地，所述步骤S1具体为：对待变换图像生成关于原始域X的分割掩码mx以及关于目标域Y的分割掩码my。
进一步地，所述步骤S2中生成器包括依次连接的下采样模块、第一Resnet残差网络模块、第二Resnet残差网络模块、第三Resnet残差网络模块、第四Resnet残差网络模块、第五Resnet残差网络模块、第六Resnet残差网络模块以及上采样模块；
所述下采样模块包括依次连接的第一填充层、第一卷积层、第一IN归一化层、第一激活层、第二卷积层、第二IN归一化层、第二激活层、第三卷积层、第三IN归一化层以及第三激活层；
每个所述Resnet残差网络模块均包括依次连接的第二填充层、第四卷积层、第四IN归一化层、第四激活层、第三填充层、第五卷积层以及第五IN归一化层；
所述上采样模块包括依次连接的第一反卷积层、第六IN归一化层、第五激活层、第二反卷积层、第七IN归一化层、第六激活层、第四填充层、第六卷积层以及第七激活层。
进一步地，所述步骤S2中判别器包括依次连接的第七卷积层、第一SN归一化层、第一最大激活层、第八卷积层、第二SN归一化层、第八IN归一化层、第二最大激活层、第八卷积层、第三SN归一化层、第九IN归一化层、第三最大激活层、第三反卷积层、第四SN归一化层、第十IN归一化层、第四最大激活层、第四反卷积层以及第五SN归一化层。
进一步地，所述步骤S2中通过生成器和判别器构建生成对抗网络的具体方法为：
S2.1、构建将原始域X的给定图像转换到目标域Y中图像的生成器GXY，构建将目标域Y的给定图像转换到原始域X中图像的生成器GYX；
S2.2、构建预测图像是否为目标域图像的判别器DY，构建预测图像是否为原始域图像的判别器DX；
S2.3、将生成器GXY和生成器GYX相互连接，将生成器GXY与判别器DY连接，将生成器GYX与判别器DX连接，构建生成对抗网络。
进一步地，所述步骤S2.3中生成对抗网络的一次循环生成过程包括原始域循环生成过程和目标域循环生成过程；
所述原始域循环生成过程具体为：
S2.3.1.1、将原始域图片x及其分割掩码mx输入生成器GXY，得到第一目标域生成图片y'及其分割掩码m'y，记为GXY(x,mx)；
S2.3.1.2、将目标域生成图片y'及其掩码m'y输入至生成器GYX，得到第一原始域生成图片及其分割掩码GYX(GXY(x,mx))；
S2.3.1.3、将第一目标域生成图片y'及其掩码m'y与目标域图片y及其分割掩码my输入判别器DY进行判别，将第一原始域生成图片及其分割掩码GYX(GXY(x,mx))输入判别器DX进行判别，完成原始域循环生成过程；
所述目标域循环生成过程具体为：
S2.3.2.1、将目标域图片y及其分割掩码my输入生成器GYX，得到第二原始域生成图片x'及其分割掩码m'x，记为GYX(y,my)；
S2.3.2.2、将第二原始域生成图片x'及其分割掩码m'x输入生成器GXY，得到第二目标域生成图像及其分割掩码GXY(GYX(y,my))；
S2.3.2.3、将第二原始域生成图片x'及其分割掩码m'x与原始域图片x及其分割掩码mx输入判别器DX进行判别，将第二目标域生成图像及其分割掩码GXY(GYX(y,my))输入判别器DY进行判别，完成目标域循环生成过程。
进一步地，所述步骤S3中损失函数
Figure BDA0003001239230000041
具体为：
Figure BDA0003001239230000042
其中，
Figure BDA0003001239230000043
表示对抗损失函数，
Figure BDA0003001239230000044
表示循环一直性损失函数，
Figure BDA0003001239230000045
表示认证损失函数，
Figure BDA0003001239230000046
表示上下文保存损失函数，
Figure BDA0003001239230000047
表示特征相似度损失函数，λadv、λcyc、λidt、λctx和λfs分别表示
Figure BDA0003001239230000048
和
Figure BDA0003001239230000049
在损失函数
Figure BDA00030012392300000410
中所占权重。
进一步地，所述对抗损失函数
Figure BDA00030012392300000411
具体为：
Figure BDA00030012392300000412
其中，DX(x,mx)表示判别器DX对原始域图片x及其分割掩码mx的判别输出，DX(GYX(y,my))表示判别器DX对原始域生成图片及其分割掩码GYX(y,my)的判别输出，GYX(y,my)表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片及其掩码，DY(y,my)表示判别器DY对目标域图片y及其分割掩码my的判别输出，DY(GXY(x,mx))表示判别器DY对目标域生成图片及其分割掩码GXY(x,mx)的判别输出，GXY(x,mx)表示原始域图片x及其分割掩码mx经生成器GXY生成的目标域生成图片及其分割掩码；
所述循环一直性损失函数
Figure BDA00030012392300000413
具体为：
Figure BDA00030012392300000414
其中，GYX(GXY(x,mx))表示GXY(x,mx)经过生成器GYX生成的原始域生成图像及其分割掩码，GXY(GYX(y,my))表示GYX(y,my)经过生成器GXY生成的目标域生成图像及其分割掩码，||*||1表示1-范数；
所述认证损失函数
Figure BDA0003001239230000051
具体为：
Figure BDA0003001239230000052
其中，GXY(y,my)表示原始域图片x及其分割掩码mx输入生成器GXY后得到的第一目标域生成图片y的分割掩码，GYX(x,mx)表示目标域图片y及其分割掩码my输入生成器GYX得到的第二原始域生成图片x'分割掩码；
所述上下文保存损失函数
Figure BDA0003001239230000053
具体为：
Figure BDA0003001239230000054
其中，ω(mx,m'y)表示通过分割掩码mx和m'y，使用一减去二进制表示的对象掩码中元素最小值；ω(my,m'x)表示过分割掩码my和m'x，使用一减去二进制表示的对象掩码中元素最小值；y'表示原始域图片x经生成器GXY生成的目标域生成图片，x'表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片；
所述特征相似度损失函数
Figure BDA0003001239230000055
具体为：
Figure BDA0003001239230000056
其中，FS(y,y')表示图像y与图像y'之间的相似度，
Figure BDA0003001239230000057
表示与图像y'的特征j最相似的图像y的特征i；N表示图像y的特征总数，其与图像y'的特征总数相同；h表示带宽参数，
Figure BDA0003001239230000058
表示从距离dij移动到Wij的指数化运算，dij表示归一化后的相似度距离，Wij表示相似性，
Figure BDA0003001239230000059
表示归一化相似性，wik表示第k个Wij的相似性值。
本发明的有益效果为：
(1)本发明提供了一种基于生成对抗网络的图像形状变换方法，实现了形状不同的物体图像之间的转换。
(2)本发明使用循环生成器和鉴别器来学习跨域映射，以目标实例为基础生成具有更接近基础分布的图像，并且可以有效地学习有关形状和位置的复杂分割指导属性。
(3)本发明提出了特征相似度损失函数，在源图像和目标图像之间明确制定相似度比较。
(4)本发明的复杂程度低，图像转换的效率高，可以高效地处理图片中的特定图像进行形状差异大的图形变换，可以运用在动画制作、海报设计等领域，既可以增强图形变换的真实度，也可以降低人工成本，减少工作量。
附图说明
图1为本发明提出的一种基于生成对抗网络的图像形状变换方法的流程图。
图2为本发明中生成器示意图。
图3为本发明中下采样模块示意图。
图4为发明中Resnet残差网络模块示意图。
图5为发明中上采样模块示意图。
图6为发明中判别器示意图。
图7为发明中生成对抗网络示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
下面结合附图详细说明本发明的实施例。
如图1所示，一种基于生成对抗网络的图像形状变换方法，包括以下步骤：
S1、生成待变换图像的分割掩码；
S2、构建生成器和判别器，并通过生成器和判别器构建生成对抗网络；
S3、构建损失函数；
S4、根据损失函数并以梯度下降法训练生成对抗网络；
S5、将待变换图像的分割掩码输入至训练后的生成对抗网络，得到图形形状变换结果。
在本实施例中，本发明可应用于游戏设计、动画、平面设计、医学影像以及风格迁移。所述步骤S1中待变换图像可为待变换医学图像、动画设计时的待变换形状的动画图像、游戏设计时待变换形状的游戏人物或建筑图像以及平面设计中待变换的图像。
所述步骤S1具体为：对待变换图像生成关于原始域X的分割掩码mx以及关于目标域Y的分割掩码my。
如图2所示，所述步骤S2中生成器包括依次连接的下采样模块、第一Resnet残差网络模块、第二Resnet残差网络模块、第三Resnet残差网络模块、第四Resnet残差网络模块、第五Resnet残差网络模块、第六Resnet残差网络模块以及上采样模块；
如图3所示，所述下采样模块包括依次连接的第一填充层ReflectionPad2d(3)、第一卷积层、第一IN归一化层、第一激活层ReLU、第二卷积层、第二IN归一化层、第二激活层ReLU、第三卷积层、第三IN归一化层以及第三激活层ReLU；
如图4所示，每个所述Resnet残差网络模块均包括依次连接的第二填充层ReflectionPad2d(1)、第四卷积层、第四IN归一化层、第四激活层ReLU、第三填充层ReflectionPad2d(1)、第五卷积层以及第五IN归一化层；
如图5所示，所述上采样模块包括依次连接的第一反卷积层、第六IN归一化层、第五激活层ReLU、第二反卷积层、第七IN归一化层、第六激活层ReLU、第四填充层ReflectionPad2d(3)、第六卷积层以及第七激活层ReLU。
如图6所示，所述步骤S2中判别器包括依次连接的第七卷积层、第一SN归一化层、第一最大激活层LeakyReLU、第八卷积层、第二SN归一化层、第八IN归一化层、第二最大激活层LeakyReLU、第八卷积层、第三SN归一化层、第九IN归一化层、第三最大激活层LeakyReLU、第三反卷积层、第四SN归一化层、第十IN归一化层、第四最大激活层LeakyReLU、第四反卷积层以及第五SN归一化层。
所述步骤S2中通过生成器和判别器构建生成对抗网络的具体方法为：
S2.1、构建将原始域X的给定图像转换到目标域Y中图像的生成器GXY，构建将目标域Y的给定图像转换到原始域X中图像的生成器GYX；
S2.2、构建预测图像是否为目标域图像的判别器DY，构建预测图像是否为原始域图像的判别器DX；
S2.3、如图7所示，将生成器GXY和生成器GYX相互连接，将生成器GXY与判别器DY连接，将生成器GYX与判别器DX连接，构建生成对抗网络。
在本实施例中，生成器一共由三个模块组成：下采样模块、Resnet残差网络模块、上采样模块。
下采样模块通过4层的卷积操作将输入为(1,4,256,256)的特征向量转化成(1,256,64,64)的特征向量。Resnet残差网络模块一共由6个Block组成，输入输出的特征向量的纬度保持不变；上采样模块通过5层的卷积操作将输入为(1,512,64,64)的特征向量转化成(1,3,256,256)的特征向量。
判别器由2个模块组成，分别为下采样模块和分类器模块，下采样模块通过3层的卷积操作将输入为(1,3,256,256)的特征向量转化成(1,256,32,32)的特征向量。
所述步骤S2.3中生成对抗网络的一次循环生成过程包括原始域循环生成过程和目标域循环生成过程；
所述原始域循环生成过程具体为：
S2.3.1.1、将原始域图片x及其分割掩码mx输入生成器GXY，得到第一目标域生成图片y'及其分割掩码m'y，记为GXY(x,mx)；
S2.3.1.2、将目标域生成图片y'及其掩码m'y输入至生成器GYX，得到第一原始域生成图片及其分割掩码GYX(GXY(x,mx))；
S2.3.1.3、将第一目标域生成图片y'及其掩码m'y与目标域图片y及其分割掩码my输入判别器DY进行判别，将第一原始域生成图片及其分割掩码GYX(GXY(x,mx))输入判别器DX进行判别，完成原始域循环生成过程；
所述目标域循环生成过程具体为：
S2.3.2.1、将目标域图片y及其分割掩码my输入生成器GYX，得到第二原始域生成图片x'及其分割掩码m'x，记为GYX(y,my)；
S2.3.2.2、将第二原始域生成图片x'及其分割掩码m'x输入生成器GXY，得到第二目标域生成图像及其分割掩码GXY(GYX(y,my))；
S2.3.2.3、将第二原始域生成图片x'及其分割掩码m'x与原始域图片x及其分割掩码mx输入判别器DX进行判别，将第二目标域生成图像及其分割掩码GXY(GYX(y,my))输入判别器DY进行判别，完成目标域循环生成过程。
所述步骤S3中损失函数
Figure BDA0003001239230000101
具体为：
Figure BDA0003001239230000102
其中，
Figure BDA0003001239230000103
表示对抗损失函数，
Figure BDA0003001239230000104
表示循环一直性损失函数，
Figure BDA0003001239230000105
表示认证损失函数，
Figure BDA0003001239230000106
表示上下文保存损失函数，
Figure BDA0003001239230000107
表示特征相似度损失函数，λadv、λcyc、λidt、λctx和λfs分别表示
Figure BDA0003001239230000108
和
Figure BDA0003001239230000109
在损失函数
Figure BDA00030012392300001010
中所占权重。
所述对抗损失函数
Figure BDA00030012392300001011
具体为：
Figure BDA00030012392300001012
其中，DX(x,mx)表示判别器DX对原始域图片x及其分割掩码mx的判别输出，DX(GYX(y,my))表示判别器DX对原始域生成图片及其分割掩码GYX(y,my)的判别输出，GYX(y,my)表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片及其掩码，DY(y,my)表示判别器DY对目标域图片y及其分割掩码my的判别输出，DY(GXY(x,mx))表示判别器DY对目标域生成图片及其分割掩码GXY(x,mx)的判别输出，GXY(x,mx)表示原始域图片x及其分割掩码mx经生成器GXY生成的目标域生成图片及其分割掩码；
所述循环一直性损失函数
Figure BDA00030012392300001013
具体为：
Figure BDA00030012392300001014
其中，GYX(GXY(x,mx))表示GXY(x,mx)经过生成器GYX生成的原始域生成图像及其分割掩码，GXY(GYX(y,my))表示GYX(y,my)经过生成器GXY生成的目标域生成图像及其分割掩码，||*||1表示1-范数；
所述认证损失函数
Figure BDA00030012392300001015
具体为：
Figure BDA0003001239230000111
其中，GXY(y,my)表示原始域图片x及其分割掩码mx输入生成器GXY后得到的第一目标域生成图片y的分割掩码，GYX(x,mx)表示目标域图片y及其分割掩码my输入生成器GYX得到的第二原始域生成图片x'分割掩码；
所述上下文保存损失函数
Figure BDA0003001239230000112
具体为：
Figure BDA0003001239230000113
其中，ω(mx,m'y)表示通过分割掩码mx和m'y，使用一减去二进制表示的对象掩码中元素最小值；ω(my,m'x)表示过分割掩码my和m'x，使用一减去二进制表示的对象掩码中元素最小值；y'表示原始域图片x经生成器GXY生成的目标域生成图片，x'表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片；
所述特征相似度损失函数
Figure BDA0003001239230000114
具体为：
Figure BDA0003001239230000115
其中，FS(y,y')表示图像y与图像y'之间的相似度，
Figure BDA0003001239230000116
表示与图像y'的特征j最相似的图像y的特征i；N表示图像y的特征总数，其与图像y'的特征总数相同；h表示带宽参数，
Figure BDA0003001239230000117
表示从距离dij移动到Wij的指数化运算，dij表示归一化后的相似度距离，Wij表示相似性，Wij/∑kwik表示归一化相似性，wik表示第k个Wij的相似性值。
利用这些高级特征计算两幅图像之间的相似度FS(y,y')。具体来说，在正向过程中，每一层生成特征图，由真实训练数据得到的真实图像y’包含yi特征，而合成图像y’包含y’j特征，y’j特征的内容属性和样式属性与真实域数据集一致，假设这两幅图像的特征数N相同，其中N＝|R|＝|F|。我们发现每个y’j最相似的特征yi，即
Figure BDA0003001239230000121
然后，将y’j上的所有相似值相加，计算出两幅图像之间的上下文相似值，最后除以N得到平均相似度FS(y,y')。
本发明的有益效果为：
(1)本发明提供了一种基于生成对抗网络的图像形状变换方法，实现了形状不同的物体图像之间的转换。
(2)本发明使用循环生成器和鉴别器来学习跨域映射，以目标实例为基础生成具有更接近基础分布的图像，并且可以有效地学习有关形状和位置的复杂分割指导属性。
(3)本发明提出了特征相似度损失函数，在源图像和目标图像之间明确制定相似度比较。
(4)本发明的复杂程度低，图像转换的效率高，可以高效地处理图片中的特定图像进行形状差异大的图形变换，可以运用在动画制作、海报设计等领域，既可以增强图形变换的真实度，也可以降低人工成本，减少工作量。

Claims (8)

1.一种基于生成对抗网络的图像形状变换方法，其特征在于，包括以下步骤：
S1、生成待变换图像的分割掩码；
S2、构建生成器和判别器，并通过生成器和判别器构建生成对抗网络；
S3、构建损失函数；
S4、根据损失函数并以梯度下降法训练生成对抗网络；
S5、将待变换图像的分割掩码输入至训练后的生成对抗网络，得到图形形状变换结果。
2.根据权利要求1所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S1具体为：对待变换图像生成关于原始域X的分割掩码mx以及关于目标域Y的分割掩码my。
3.根据权利要求1所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S2中生成器包括依次连接的下采样模块、第一Resnet残差网络模块、第二Resnet残差网络模块、第三Resnet残差网络模块、第四Resnet残差网络模块、第五Resnet残差网络模块、第六Resnet残差网络模块以及上采样模块；
所述下采样模块包括依次连接的第一填充层、第一卷积层、第一IN归一化层、第一激活层、第二卷积层、第二IN归一化层、第二激活层、第三卷积层、第三IN归一化层以及第三激活层；
每个所述Resnet残差网络模块均包括依次连接的第二填充层、第四卷积层、第四IN归一化层、第四激活层、第三填充层、第五卷积层以及第五IN归一化层；
所述上采样模块包括依次连接的第一反卷积层、第六IN归一化层、第五激活层、第二反卷积层、第七IN归一化层、第六激活层、第四填充层、第六卷积层以及第七激活层。
4.根据权利要求1所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S2中判别器包括依次连接的第七卷积层、第一SN归一化层、第一最大激活层、第八卷积层、第二SN归一化层、第八IN归一化层、第二最大激活层、第八卷积层、第三SN归一化层、第九IN归一化层、第三最大激活层、第三反卷积层、第四SN归一化层、第十IN归一化层、第四最大激活层、第四反卷积层以及第五SN归一化层。
5.根据权利要求1所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S2中通过生成器和判别器构建生成对抗网络的具体方法为：
S2.1、构建将原始域X的给定图像转换到目标域Y中图像的生成器GXY，构建将目标域Y的给定图像转换到原始域X中图像的生成器GYX；
S2.2、构建预测图像是否为目标域图像的判别器DY，构建预测图像是否为原始域图像的判别器DX；
S2.3、将生成器GXY和生成器GYX相互连接，将生成器GXY与判别器DY连接，将生成器GYX与判别器DX连接，构建生成对抗网络。
6.根据权利要求5所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S2.3中生成对抗网络的一次循环生成过程包括原始域循环生成过程和目标域循环生成过程；
所述原始域循环生成过程具体为：
S2.3.1.1、将原始域图片x及其分割掩码mx输入生成器GXY，得到第一目标域生成图片y'及其分割掩码m'y，记为GXY(x,mx)；
S2.3.1.2、将目标域生成图片y'及其掩码m'y输入至生成器GYX，得到第一原始域生成图片及其分割掩码GYX(GXY(x,mx))；
S2.3.1.3、将第一目标域生成图片y'及其掩码m'y与目标域图片y及其分割掩码my输入判别器DY进行判别，将第一原始域生成图片及其分割掩码GYX(GXY(x,mx))输入判别器DX进行判别，完成原始域循环生成过程；
所述目标域循环生成过程具体为：
S2.3.2.1、将目标域图片y及其分割掩码my输入生成器GYX，得到第二原始域生成图片x'及其分割掩码m'x，记为GYX(y,my)；
S2.3.2.2、将第二原始域生成图片x'及其分割掩码m'x输入生成器GXY，得到第二目标域生成图像及其分割掩码GXY(GYX(y,my))；
S2.3.2.3、将第二原始域生成图片x'及其分割掩码m'x与原始域图片x及其分割掩码mx输入判别器DX进行判别，将第二目标域生成图像及其分割掩码GXY(GYX(y,my))输入判别器DY进行判别，完成目标域循环生成过程。
7.根据权利要求1所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S3中损失函数
Figure FDA0003001239220000031
具体为：
Figure FDA0003001239220000032
其中，
Figure FDA0003001239220000033
表示对抗损失函数，
Figure FDA0003001239220000034
表示循环一直性损失函数，
Figure FDA0003001239220000035
表示认证损失函数，
Figure FDA0003001239220000036
表示上下文保存损失函数，
Figure FDA0003001239220000037
表示特征相似度损失函数，λadv、λcyc、λidt、λctx和λfs分别表示
Figure FDA0003001239220000038
和
Figure FDA0003001239220000039
在损失函数
Figure FDA00030012392200000310
中所占权重。
8.根据权利要求7所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述对抗损失函数
Figure FDA00030012392200000311
具体为：
Figure FDA00030012392200000312
其中，DX(x,mx)表示判别器DX对原始域图片x及其分割掩码mx的判别输出，DX(GYX(y,my))表示判别器DX对原始域生成图片及其分割掩码GYX(y,my)的判别输出，GYX(y,my)表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片及其掩码，DY(y,my)表示判别器DY对目标域图片y及其分割掩码my的判别输出，DY(GXY(x,mx))表示判别器DY对目标域生成图片及其分割掩码GXY(x,mx)的判别输出，GXY(x,mx)表示原始域图片x及其分割掩码mx经生成器GXY生成的目标域生成图片及其分割掩码；
所述循环一直性损失函数
Figure FDA0003001239220000041
具体为：
Figure FDA0003001239220000042
其中，GYX(GXY(x,mx))表示GXY(x,mx)经过生成器GYX生成的原始域生成图像及其分割掩码，GXY(GYX(y,my))表示GYX(y,my)经过生成器GXY生成的目标域生成图像及其分割掩码，||*||1表示1-范数；
所述认证损失函数
Figure FDA0003001239220000043
具体为：
Figure FDA0003001239220000044
其中，GXY(y,my)表示原始域图片x及其分割掩码mx输入生成器GXY后得到的第一目标域生成图片y的分割掩码，GYX(x,mx)表示目标域图片y及其分割掩码my输入生成器GYX得到的第二原始域生成图片x'分割掩码；
所述上下文保存损失函数
Figure FDA0003001239220000045
具体为：
Figure FDA0003001239220000046
其中，ω(mx,m'y)表示通过分割掩码mx和m'y，使用一减去二进制表示的对象掩码中元素最小值；ω(my,m'x)表示过分割掩码my和m'x，使用一减去二进制表示的对象掩码中元素最小值；y'表示原始域图片x经生成器GXY生成的目标域生成图片，x'表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片；
所述特征相似度损失函数
Figure FDA0003001239220000047
具体为：
Figure FDA0003001239220000051
其中，FS(y,y')表示图像y与图像y'之间的相似度，
Figure FDA0003001239220000052
表示与图像y'的特征j最相似的图像y的特征i；N表示图像y的特征总数，其与图像y'的特征总数相同；h表示带宽参数，
Figure FDA0003001239220000053
表示从距离dij移动到Wij的指数化运算，dij表示归一化后的相似度距离，Wij表示相似性，Wij/∑kwik表示归一化相似性，wik表示第k个Wij的相似性值。
CN202110347463.5A 2021-03-31 2021-03-31 一种基于生成对抗网络的图像形状变换方法 Active CN112837215B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110347463.5A CN112837215B (zh) 2021-03-31 2021-03-31 一种基于生成对抗网络的图像形状变换方法
US17/450,692 US20220318946A1 (en) 2021-03-31 2021-10-13 Method for image shape transformation based on generative adversarial network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110347463.5A CN112837215B (zh) 2021-03-31 2021-03-31 一种基于生成对抗网络的图像形状变换方法

Publications (2)

Publication Number Publication Date
CN112837215A true CN112837215A (zh) 2021-05-25
CN112837215B CN112837215B (zh) 2022-10-18

Family

ID=75930689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110347463.5A Active CN112837215B (zh) 2021-03-31 2021-03-31 一种基于生成对抗网络的图像形状变换方法

Country Status (2)

Country Link
US (1) US20220318946A1 (zh)
CN (1) CN112837215B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870371A (zh) * 2021-12-03 2021-12-31 浙江霖研精密科技有限公司 基于生成对抗网络的图片颜色变换装置、方法和存储介质
CN115239943A (zh) * 2022-09-23 2022-10-25 杭州医策科技有限公司 图像矫正模型的训练方法及切片图像的色彩矫正方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546848B (zh) * 2022-10-26 2024-02-02 南京航空航天大学 一种对抗生成网络训练方法、跨设备掌纹识别方法及系统
CN116596825B (zh) * 2023-07-18 2023-10-17 深智透医疗科技发展(上海)有限责任公司 磁共振图像对比度合成方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325951A (zh) * 2018-08-13 2019-02-12 深圳市唯特视科技有限公司 一种基于生成对抗网络的转化和分割医学卷的方法
CN110659727A (zh) * 2019-09-24 2020-01-07 中国科学技术大学 一种基于草图的图像生成方法
CN111429405A (zh) * 2020-03-04 2020-07-17 清华大学深圳国际研究生院 基于3d cnn的锡球缺陷检测方法及装置
CN111899160A (zh) * 2020-08-03 2020-11-06 上海交通大学 多实例图像转换方法、系统、计算机可读存储介质及设备
WO2021013020A1 (zh) * 2019-07-22 2021-01-28 北京市肿瘤防治研究所 一种放射治疗出射束监测方法和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592779B2 (en) * 2017-12-21 2020-03-17 International Business Machines Corporation Generative adversarial network medical image generation for training of a classifier
US10937540B2 (en) * 2017-12-21 2021-03-02 International Business Machines Coporation Medical image classification based on a generative adversarial network trained discriminator
US10540578B2 (en) * 2017-12-21 2020-01-21 International Business Machines Corporation Adapting a generative adversarial network to new data sources for image classification
US11158121B1 (en) * 2018-05-11 2021-10-26 Facebook Technologies, Llc Systems and methods for generating accurate and realistic clothing models with wrinkles
US11556581B2 (en) * 2018-09-04 2023-01-17 Inception Institute of Artificial Intelligence, Ltd. Sketch-based image retrieval techniques using generative domain migration hashing
US20210012486A1 (en) * 2019-07-09 2021-01-14 Shenzhen Malong Technologies Co., Ltd. Image synthesis with generative adversarial network
US11474228B2 (en) * 2019-09-03 2022-10-18 International Business Machines Corporation Radar-based detection of objects while in motion
CN111654368B (zh) * 2020-06-03 2021-10-08 电子科技大学 一种基于深度学习生成对抗网络的密钥生成方法
CN111861955A (zh) * 2020-06-22 2020-10-30 北京百度网讯科技有限公司 构建图像编辑模型的方法以及装置
US20220373673A1 (en) * 2021-05-24 2022-11-24 University Of South Carolina Human-perceptible and machine-readable shape generation and classification of hidden objects
CN113674154B (zh) * 2021-08-23 2023-10-27 北京印刷学院 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
EP4296706A1 (en) * 2022-06-20 2023-12-27 Tata Consultancy Services Limited Method and system for lulc guided sar visualization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325951A (zh) * 2018-08-13 2019-02-12 深圳市唯特视科技有限公司 一种基于生成对抗网络的转化和分割医学卷的方法
WO2021013020A1 (zh) * 2019-07-22 2021-01-28 北京市肿瘤防治研究所 一种放射治疗出射束监测方法和系统
CN110659727A (zh) * 2019-09-24 2020-01-07 中国科学技术大学 一种基于草图的图像生成方法
CN111429405A (zh) * 2020-03-04 2020-07-17 清华大学深圳国际研究生院 基于3d cnn的锡球缺陷检测方法及装置
CN111899160A (zh) * 2020-08-03 2020-11-06 上海交通大学 多实例图像转换方法、系统、计算机可读存储介质及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN, H 等: "Brain Tumor Segmentation with Generative Adversarial Nets", 《2019 2ND INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND BIG DATA (ICAIBD 2019)》 *
XUE, H 等: "REALISTIC TALKING FACE SYNTHESIS WITH GEOMETRY-AWARE FEATURE TRANSFORMATION", 《2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
姚哲维等: "改进型循环生成对抗网络的血管内超声图像增强", 《计算机科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870371A (zh) * 2021-12-03 2021-12-31 浙江霖研精密科技有限公司 基于生成对抗网络的图片颜色变换装置、方法和存储介质
CN115239943A (zh) * 2022-09-23 2022-10-25 杭州医策科技有限公司 图像矫正模型的训练方法及切片图像的色彩矫正方法

Also Published As

Publication number Publication date
CN112837215B (zh) 2022-10-18
US20220318946A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
CN112837215B (zh) 一种基于生成对抗网络的图像形状变换方法
Wang et al. Few-shot video-to-video synthesis
Liu et al. Semantics-aware adaptive knowledge distillation for sensor-to-vision action recognition
Ricci et al. Monocular depth estimation using multi-scale continuous CRFs as sequential deep networks
Wang et al. SaliencyGAN: Deep learning semisupervised salient object detection in the fog of IoT
Zhou et al. Photorealistic facial expression synthesis by the conditional difference adversarial autoencoder
Tiwari et al. Pose-ndf: Modeling human pose manifolds with neural distance fields
CN111489287A (zh) 图像转换方法、装置、计算机设备和存储介质
CN111460928B (zh) 一种人体动作识别系统及方法
CN111862294B (zh) 基于ArcGAN网络的手绘3D建筑自动上色网络装置及方法
Wang et al. Deeply supervised face completion with multi-context generative adversarial network
Lim et al. Point cloud generation using deep adversarial local features for augmented and mixed reality contents
EP4099213A1 (en) A method for training a convolutional neural network to deliver an identifier of a person visible on an image, using a graph convolutional neural network
CN111462274A (zh) 一种基于smpl模型的人体图像合成方法及系统
Li et al. Uphdr-gan: Generative adversarial network for high dynamic range imaging with unpaired data
CN113361387A (zh) 人脸图像融合方法及装置、存储介质及电子设备
CN116524121A (zh) 一种单目视频三维人体重建方法、系统、设备及介质
CN111640172A (zh) 一种基于生成对抗网络的姿态迁移方法
CN109658508B (zh) 一种多尺度细节融合的地形合成方法
Tomar et al. Deep hyfeat based attention in attention model for face super-resolution
Sun et al. Joint transferable dictionary learning and view adaptation for multi-view human action recognition
CN110197226B (zh) 一种无监督图像翻译方法及系统
AU2022241513B2 (en) Transformer-based shape models
Sang et al. Image recognition based on multiscale pooling deep convolution neural networks
CN114155560B (zh) 基于空间降维的高分辨率人体姿态估计模型的轻量化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant