CN109472757B - 一种基于生成对抗神经网络的图像去台标方法 - Google Patents

一种基于生成对抗神经网络的图像去台标方法 Download PDF

Info

Publication number
CN109472757B
CN109472757B CN201811358682.8A CN201811358682A CN109472757B CN 109472757 B CN109472757 B CN 109472757B CN 201811358682 A CN201811358682 A CN 201811358682A CN 109472757 B CN109472757 B CN 109472757B
Authority
CN
China
Prior art keywords
layer
image
convolution
network
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811358682.8A
Other languages
English (en)
Other versions
CN109472757A (zh
Inventor
苏许臣
朱立松
黄建杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cntv Wuxi Co ltd
Original Assignee
Cntv Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cntv Wuxi Co ltd filed Critical Cntv Wuxi Co ltd
Priority to CN201811358682.8A priority Critical patent/CN109472757B/zh
Publication of CN109472757A publication Critical patent/CN109472757A/zh
Application granted granted Critical
Publication of CN109472757B publication Critical patent/CN109472757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种生成对抗神经网络的图像去台标方法，包括：S10构建训练数据集和测试数据集；S20构建生成器网络，生成器网络用于根据输入的带台标的图像和台标蒙版图像生成不带台标的图像；S30构建判别器网络，与生成器网络的输出端连接，判别器网络用于对真实的不带台标的图像和生成器网络输出的不带台标的图像进行真假判断；S40根据训练数据集对生成器网络和判别器网络进行训练；S50使用训练好的生成器网络对测试数据集进行去台标操作。得到的生成器网络去台标效果明显好于传统算法，在大部分场景下基本看不到台标残留的痕迹，图像修复程度好，在修复区域不容易出现图像变形。

Description

一种基于生成对抗神经网络的图像去台标方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于生成对抗神经网络的图像去台标方法。
背景技术
在广播电视领域大部分素材都带有台标，但是在某些应用场景下，会因为版权或者其他原因需要将台标遮盖或去掉。传统的去台标方法有分水岭算法、快速行进算法(又称FFM算法)等，虽然处理速度快，但是大多数情况下，尤其在背景细节比较多的场景下，处理后的图像会出现图像变形，还会留有明显的台标痕迹。
发明内容
针对上述现有技术的不足，本发明提供了一种生成对抗神经网络的图像去台标方法，有效解决了现有技术中台标后后图像会出现变形、留下明显台标痕迹的技术问题。
为了实现上述目的，本发明通过以下技术方案实现：
一种基于生成对抗神经网络的图像去台标方法，包括：
S10构建训练数据集和测试数据集；
S20构建生成器网络，所述生成器网络用于根据输入的带台标的图像和台标蒙版图像生成不带台标的图像；
S30构建判别器网络，与生成器网络的输出端连接，所述判别器网络用于对真实的不带台标的图像和生成器网络输出的不带台标的图像进行真假判断；
S40根据训练数据集对生成器网络和判别器网络进行训练；
S50使用训练好的生成器网络对测试数据集进行去台标操作。
进一步优选地，在步骤S10中包括：
S11从数据集中随机抽取一图像，并从中随机截取预设大小的图像；
S12将截取的图像中的RGB数据进行归一化，得到一真实的不带台标的图像；
S13重复步骤S11～S12预设次数，得到预设数量的真实的不带台标的图像数据；
S14制作所述预设大小的透明台标图像，作为台标蒙版图像；
S15将真实的不带台标的图像与台标蒙版叠加得到所述预设数量的带台标的图像；
S16将带台标的图像中的RGB数据进行归一化，得到带台标的图像数据。
进一步优选地，在步骤S20，构建的生成器网络中依次包括：第一卷积层、relu激活层、密集连接块、第二卷积层、BatchNormal归一化层、第三卷积层、第四卷积层及tanh激活层，所述生成器网络的输入由带台标的图像和台标蒙版图像的矩阵叠加而成。
进一步优选地，在所述第一卷积层中，卷积核为9×9，输出由64个特征形成的特征地图；
在所述第二卷积层中，卷积核为3×3，输出由64个特征形成的特征地图；
在所述第三卷积层中，卷积核为3×3，输出由256个特征形成的特征地图；
在所述第四卷积层中，卷积核为9×9，输出由3个特征形成的特征地图。
进一步优选地，密集连接块之间的方式为密集连接，每个密集连接块中依次包括：第五卷积层、BatchNormal归一化层、relu激活层、第六卷积层及BatchNormal归一化层；
在所述第五卷积层和第六卷积层中，卷积核为3×3，输出由64个特征形成的特征地图。
进一步优选地，在步骤S30，构建的判别器网络中依次包括：第七卷积层、lrelu激活层、第八卷积层、BatchNormal归一化层、lrelu激活层、第九卷积层、BatchNormal归一化层、lrelu激活层、第十卷积层、BatchNormal归一化层、lrelu激活层、第十一卷积层、BatchNormal归一化层、lrelu激活层、第十二卷积层、BatchNormal归一化层、lrelu激活层、第十三卷积层、BatchNormal归一化层、lrelu激活层、第十四卷积层、BatchNormal归一化层、第十五卷积层、BatchNormal归一化层、lrelu激活层、第十六卷积层、BatchNormal归一化层、lrelu激活层、第十七卷积层、BatchNormal归一化层、lrelu激活层、用于将一个多维向量经过reshape操作变成n维向量的展平层及输出一维向量的密集连接层。
进一步优选地，在所述第七卷积层中，卷积核为4×4，输出由64个特征形成的特征地图，且移动步长为(2,2)；
在所述第八卷积层中，卷积核为4×4，输出由128个特征形成的特征地图，且移动步长为(2,2)；
在所述第九卷积层中，卷积核为4×4，输出由256个特征形成的特征地图，且移动步长为(2,2)；
在所述第十卷积层中，卷积核为4×4，输出由512个特征形成的特征地图，且移动步长为(2,2)；
在所述第十一卷积层中，卷积核为4×4，输出由1024个特征形成的特征地图，且移动步长为(2,2)；
在所述第十二卷积层中，卷积核为4×4，输出由2048个特征形成的特征地图，且移动步长为(2,2)；
在所述第十三卷积层中，卷积核为1×1，输出由1024个特征形成的特征地图，且移动步长为(1,1)；
在所述第十四卷积层中，卷积核为1×1，输出由512个特征形成的特征地图，且移动步长为(1,1)；
在所述第十五卷积层中，卷积核为1×1，输出由128个特征形成的特征地图，且移动步长为(1,1)；
在所述第十六卷积层中，卷积核为3×3，输出由128个特征形成的特征地图，且移动步长为(1,1)；
在所述第十七卷积层中，卷积核为3×3，输出由512个特征形成的特征地图，且移动步长为(1,1)。
进一步优选地，在步骤S40，根据训练数据集对生成器网络和判别器网络进行训练中包括：
S41分别定义损失函数和优化函数；
S42基于定义的损失函数、优化函数及训练数据集对生成器网络和判别器网络进行训练。
进一步优选地，在步骤S41中，损失函数包括生成器损失和判别器损失，其中，
生成器损失中包括mse损失、纹理损失及gan损失，所述mse损失为真实的不带台标图像与生成器网络生成的不带台标图像之间的均方误差，所述纹理损失为真实的不带台标图像与生成器网络生成的不带台标图像的特征间的欧氏距离，所述gan损失表示生成让判别器无法区分的数据分布；
判别器损失表示判别器网络将生成器网络生成的不带台标的图像判定为真实图像的概率与将真实的不带台标的图像判定为真实图像的概率之差；
优化函数为RMSprop。
进一步优选地，在步骤S42，基于定义的损失函数、优化函数及训练数据集对生成器网络和判别器网络进行训练中包括：
S421从训练数据集中读取指定数量的样本图像；
S422根据定义的损失函数和优化函数对判别器网络的参数进行优化；
S423将判别器网络的参数截断在-0.01和0.01之间；
S424进一步优化生成器网络的参数，直到生成器损失和判别器损失均达到预设值，完成训练。
在本发明提供的生成对抗神经网络的图像去台标方法中，有益效果在于：基于对抗神经元网络构建生成器网络和判别器网络后，根据定义的损失函数和优化函数对其进行参数的优化，完成训练。训练得到的生成器网络去台标效果明显好于传统算法，在大部分场景下基本看不到台标残留的痕迹，图像修复程度好，在修复区域不容易出现图像变形。
附图说明
结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
图1为本发明中基于生成对抗神经网络的图像去台标方法的流程示意图；
图2为本发明中生成器网络结构示意图；
图3为本发明中连接块结构示意图；
图4为本发明中判别器网络结构示意图。
具体实施方式
为使本发明的内容更加清楚易懂，以下结合说明书附图，对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。
如图1所示为本发明提供的基于生成对抗神经网络的图像去台标方法的流程示意图，从图中可以看出，在该图像去台标方法中包括：
S10构建训练数据集和测试数据集；
S20构建生成器网络，生成器网络用于根据输入的带台标的图像和台标蒙版图像生成不带台标的图像；
S30构建判别器网络，与生成器网络的输出端连接，判别器网络用于对真实的不带台标的图像和生成器网络输出的不带台标的图像进行真假判断；
S40根据训练数据集对生成器网络和判别器网络进行训练；
S50使用训练好的生成器网络对测试数据集进行去台标操作。
在构建训练数据集和测试数据集的过程中，首先从数据集中选取一定数量的图像作为训练数据集和测试数据集，如，在一实例中，从DIV2K数据集中选定800张高清图片作为训练数据集，选定100张高清图片作为测试数据集。
之后，从数据集中随机抽取一图像，并从中随机截取预设大小(如，152×152)的图像，并将其RGB数据进行归一化到[-1,1]之间，得到一真实的不带台标的图像；重复这一过程预设次数，得到预设数量的真实的不带台标的图像数据。如，在一实例中，重复这一过程60000次，得到60000张真实的不带台标的图像数据。这一过程中，处理的对象包括训练数据集和测试数据集。
之后，对于制作预设大小(如，152×152)的透明台标图像，作为台标蒙版图像；并将之前制备的同样大小的真实的不带台标的图像与该台标蒙版叠加得到预设数量的带台标的图像；最后将带台标的图像中的RGB数据进行归一化到[-1,1]之间，得到相应数量的带台标的图像数据，这里的相应数量具体指与前一步骤中得到的真实的不带台标的图像数量，若在前一步骤中生成60000张真实的不带台标的图像数据，则在该步骤中相应的得到60000张带台标的图像。这一过程中，处理的对象同样包括训练数据集和测试数据集，训练数据集处理后得到的真实的不带台标的图像数据和带台标的图像数据作为训练对象，测试数据集带台标的图像数据和台标蒙版图像作为训练对象。
如图2所示，构建的生成器网络中依次包括：第一卷积层、relu激活层、密集连接块、第二卷积层、BatchNormal归一化层、第三卷积层、第四卷积层及tanh激活层，生成器网络的输入由带台标的图像和台标蒙版图像的矩阵叠加而成。具体，在第一卷积层(图示中conv2d 9×9×64)中，卷积核为9×9，输出由64个特征形成的特征地图；在第二卷积层(图示中conv2d 3×3×64)中，卷积核为3×3，输出由64个特征形成的特征地图；在第三卷积层(图示中conv2d 3×3×256)中，卷积核为3×3，输出由256个特征形成的特征地图；在第四卷积层(图示中conv2d 9×9×3)中，卷积核为9×9，输出由3个特征形成的特征地图。
密集连接块由多个连接块(图示中Dense Block)组成，如图3所示，每个连接块中依次包括：第五卷积层、BatchNormal归一化层、relu激活层、第六卷积层及BatchNormal归一化层；其中，在第五卷积层和第六卷积层(图示中conv2d3×3×64)中，卷积核为3×3，输出由64个特征形成的特征地图。连接块之间采用密集连接的方式进行连接，即当前连接块的输入为前面所有连接块的输出之和，如式(1)所示：
Figure BDA0001866738760000061
其中，ci表示第i个连接块的输入，bj表示第j个连接块的输出。如图示，在该生成器网络中包括5个连接块。
以下对各层中使用到的函数作出说明：
对于卷积来说，先定义一个卷积核(滤波矩阵)，对于图像中的每一个像素点，计算它的邻域像素和滤波矩阵的对应元素的乘积，然后加起来，作为该像素位置的值。在深度学习过程中，卷积核的值一开始是未知的，每个元素初始化为接近为0的值，在训练过程中不断调整这些元素的值，使得最终结果准确率越来越高。
relu激活函数可表示为f(x)＝max(0,x)，当x＞0，f(x)＝x；x≤0，f(x)＝0，该函数一般作为深度学习中的激活函数，用于避免梯度消失。
BatchNormal归一化函数归一化的目标在于将输入的批数据变成均值为0，方差为1的批数据，用于避免深度学习网络的过程中出现过拟合。
tanh激活函数也称双切正切函数，其取值范围为[-1,1]，函数如式(2)所示：
Figure BDA0001866738760000071
在一实例中，训练数据集中的图像大小为152x152，则生成器网络输入的是152x152x7维向量(由带台标的RGB图像和台标蒙版RGBA图像叠加而成，7表示RGB图像中的RGB三个通道，和RGBA图像中的RGBA四个通道)，输出152x152x3维向量，即输出去除了台标蒙版的RGB图像。
构建的判别器网络中依次包括：第七卷积层、lrelu激活层、第八卷积层、BatchNormal归一化层、lrelu激活层、第九卷积层、BatchNormal归一化层、lrelu激活层、第十卷积层、BatchNormal归一化层、lrelu激活层、第十一卷积层、BatchNormal归一化层、lrelu激活层、第十二卷积层、BatchNormal归一化层、lrelu激活层、第十三卷积层、BatchNormal归一化层、lrelu激活层、第十四卷积层、BatchNormal归一化层、第十五卷积层、BatchNormal归一化层、lrelu激活层、第十六卷积层、BatchNormal归一化层、lrelu激活层、第十七卷积层、BatchNormal归一化层、lrelu激活层、用于将一个多维向量经过reshape操作变成n维向量的展平层及输出一维向量的密集连接层。其中，在第七卷积层(图示中conv2d 4×4×64)中，卷积核为4×4，输出由64个特征形成的特征地图，且移动步长为(2,2)；在第八卷积层(图示中conv2d 4×4×128)中，卷积核为4×4，输出由128个特征形成的特征地图，且移动步长为(2,2)；在第九卷积层(图示中conv2d 4×4×256)中，卷积核为4×4，输出由256个特征形成的特征地图，且移动步长为(2,2)；在第十卷积层(图示中conv2d 4×4×512)中，卷积核为4×4，输出由512个特征形成的特征地图，且移动步长为(2,2)；在第十一卷积层(图示中conv2d 4×4×1024)中，卷积核为4×4，输出由1024个特征形成的特征地图，且移动步长为(2,2)；在第十二卷积层(图示中conv2d 4×4×2048)中，卷积核为4×4，输出由2048个特征形成的特征地图，且移动步长为(2,2)；在第十三卷积层(图示中conv2d 1×1×1024)中，卷积核为1×1，输出由1024个特征形成的特征地图，且移动步长为(1,1)；在第十四卷积层(图示中conv2d 1×1×512)中，卷积核为1×1，输出由512个特征形成的特征地图，且移动步长为(1,1)；在第十五卷积层(图示中conv2d 1×1×128)中，卷积核为1×1，输出由128个特征形成的特征地图，且移动步长为(1,1)；在第十六卷积层(图示中conv2d 3×3×128)中，卷积核为3×3，输出由128个特征形成的特征地图，且移动步长为(1,1)；在第十七卷积层(图示中conv2d 3×3×512)中，卷积核为3×3，输出由512个特征形成的特征地图，且移动步长为(1,1)。在密集连接层中，“o＝1”表示输出为1维向量。对于lrelu(leaky relu)激活函数，给所有负值赋予一个非零斜率，当xi＞0，f(xi)＝xi；xi≤0，f(xi)＝aixi，其中，ai为固定的常数，i表示不同的通道。
如图示，在该判别器网络中，网络的输入为152x152x3大小的向量，输出为1维向量，取值0-1之间，可以看成是真假的概率，如输出为0时为假(生成器网络输出的不带台标的图像)，输出为1时为真(真实的不带台标的图像)。
构建了生成器网络和判别器网络之后，分别定义损失函数和优化函数，进而基于定义的损失函数、优化函数及训练数据集对生成器网络和判别器网络进行训练。
具体，损失函数Ltotal包括生成器损失Lg和判别器损失Ld，即Ltotal＝Lg+Ld，其中，生成器损失Lg中包括mse损失Lmse、纹理损失Lvgg及gan损失Lgan，即Lg＝Lmse+Lvgg+Lgan。
mse损失Lmse为真实的不带台标图像与生成器网络生成的不带台标图像之间的均方误差，如式(3)：
Figure BDA0001866738760000081
其中，yi表示真实的不带台标图像的值，y′i表示生成器网络生成的不带台标图像的值，m表示训练的次数。
纹理损失Lvgg表示以预训练19层VGG网络的relu激活层为基础的VGG loss，真实的不带台标图像与生成器网络生成的不带台标图像的特征间的欧氏距离。具体，在已经训练好的vgg上提出某一层的特征地图(feature map)，将生成的不带台标图像的这一个feature map和真实的不带台标图像这一个feature map比较，如式(4)：
Figure BDA0001866738760000091
其中Cj表示第j个max_poll层的通道数，Wj代表第j个max_poll层的宽度，Hj代表第j个max_poll层的高度，Φj(Inologo)表示真实的不带台标的图像经过vgg net后第j个max_poll层的输出，Φj(G(Inologo))表示由生成器生成的不带台标的图像经过vgg net后第j个max_poll层的输出。
gan损失Lgan表示生成让判别器无法区分是真实的不带台标图像还是生成器生成的不带台标图像的数据分布，如式(5)：
Figure BDA0001866738760000092
其中，Dn(G(Ilogo))表示判别器网络将生成器网络生成的不带台标的图像判定为真的概率，N表示训练的批处理数。
判别器损失Ld表示判别器网络将生成器网络生成的不带台标的图像判定为真实图像的概率与将真实的不带台标的图像判定为真实图像的概率之差，使用近似Wasserstein距离表示，如式(6)；
Figure BDA0001866738760000093
其中，Dn(G(Ilogo))表示判别器网络将生成器网络生成的不带台标的图像判定为真的概率，Dn(Inologo)表示判别器网络将真实的不带台标的图像判定为真的概率，N表示训练的批处理数。
采用RMSprop优化函数分别对生成器网络的参数和判别器网络的参数进行优化，优化的目标函数分别为min(Lg)和min(Ld)。RMSprop是Geoff Hinton提出的一种自适应学习率方法，其通过引入一个衰减系数r，让r每回合都衰减一定比例。优化的过程具体Wie：输入全局学习速率ε、初始参数θ、数值稳定量δ及衰减速率ρ，中间变量梯度累积量r(初始化0)；从训练数据集中随机抽取一批容量为m的训练样本{x1,x2,...,xm}及输出yi；计算梯度和误差，更新r和其他待优化参数。
基于此，在训练的过程中，从训练数据集中读取指定数量(如8个样本图像)的样本图像；根据定义的损失函数和优化函数对判别器网络的参数进行优化；将判别器网络的参数截断在-0.01和0.01之间(当判别器网络中某一参数在[-0.01,0.01]之外，将其设定在其中间)；进一步优化生成器网络的参数，直到生成器损失和判别器损失均达到预设值，完成训练后，将将生成器网络参数和判别器网络参数保存在硬盘中。在实例中，对于生成的60000个训练样本，根据设定的步长进行训练，如每100个样本图像训练一次等，可根据实际情况进行设定。
完成了生成器网络和判别器网络的训练之后，进行评估时，先从硬盘加载已训练好的生成器网络参数并初始化生成器，然后从测试数据集中读取一个待处理样本(由带台标蒙版图像和台标蒙版图像组成)，输入到生成器网络，得到去除台标的图像。

Claims (8)

1.一种基于生成对抗神经网络的图像去台标方法，其特征在于，包括：
S10构建训练数据集和测试数据集；
S20构建生成器网络，所述生成器网络用于根据输入的带台标的图像和台标蒙版图像生成不带台标的图像；
S30构建判别器网络，与生成器网络的输出端连接，所述判别器网络用于对真实的不带台标的图像和生成器网络输出的不带台标的图像进行真假判断；
S40根据训练数据集对生成器网络和判别器网络进行训练；
S50使用训练好的生成器网络对测试数据集进行去台标操作；
构建的生成器网络中依次包括：第一卷积层、relu激活层、密集连接块、第二卷积层、BatchNormal归一化层、第三卷积层、第四卷积层及tanh激活层，所述生成器网络的输入由带台标的图像和台标蒙版图像的矩阵叠加而成；
在步骤S30，构建的判别器网络中依次包括：第七卷积层、lrelu激活层、第八卷积层、BatchNormal归一化层、lrelu激活层、第九卷积层、BatchNormal归一化层、lrelu激活层、第十卷积层、BatchNormal归一化层、lrelu激活层、第十一卷积层、BatchNormal归一化层、lrelu激活层、第十二卷积层、BatchNormal归一化层、lrelu激活层、第十三卷积层、BatchNormal归一化层、lrelu激活层、第十四卷积层、BatchNormal归一化层、第十五卷积层、BatchNormal归一化层、lrelu激活层、第十六卷积层、BatchNormal归一化层、lrelu激活层、第十七卷积层、BatchNormal归一化层、lrelu激活层、用于将一个多维向量经过reshape操作变成n维向量的展平层及输出一维向量的密集连接层。
2.如权利要求1所述的图像去台标方法，其特征在于，在步骤S10中包括：
S11从数据集中随机抽取一图像，并从中随机截取预设大小的图像；
S12将截取的图像中的RGB数据进行归一化，得到一真实的不带台标的图像；
S13重复步骤S11～S12预设次数，得到预设数量的真实的不带台标的图像数据；
S14制作所述预设大小的透明台标图像，作为台标蒙版图像；
S15将真实的不带台标的图像与台标蒙版叠加得到所述预设数量的带台标的图像；
S16将带台标的图像中的RGB数据进行归一化，得到带台标的图像数据。
3.如权利要求1所述的图像去台标方法，其特征在于，
在所述第一卷积层中，卷积核为9×9，输出由64个特征形成的特征地图；
在所述第二卷积层中，卷积核为3×3，输出由64个特征形成的特征地图；
在所述第三卷积层中，卷积核为3×3，输出由256个特征形成的特征地图；
在所述第四卷积层中，卷积核为9×9，输出由3个特征形成的特征地图。
4.如权利要求1所述的图像去台标方法，其特征在于，
密集连接块之间的方式为密集连接，每个密集连接块中依次包括：第五卷积层、BatchNormal归一化层、relu激活层、第六卷积层及BatchNormal归一化层；
在所述第五卷积层和第六卷积层中，卷积核为3×3，输出由64个特征形成的特征地图。
5.如权利要求1所述的图像去台标方法，其特征在于，
在所述第七卷积层中，卷积核为4×4，输出由64个特征形成的特征地图，且移动步长为(2,2)；
在所述第八卷积层中，卷积核为4×4，输出由128个特征形成的特征地图，且移动步长为(2,2)；
在所述第九卷积层中，卷积核为4×4，输出由256个特征形成的特征地图，且移动步长为(2,2)；
在所述第十卷积层中，卷积核为4×4，输出由512个特征形成的特征地图，且移动步长为(2,2)；
在所述第十一卷积层中，卷积核为4×4，输出由1024个特征形成的特征地图，且移动步长为(2,2)；
在所述第十二卷积层中，卷积核为4×4，输出由2048个特征形成的特征地图，且移动步长为(2,2)；
在所述第十三卷积层中，卷积核为1×1，输出由1024个特征形成的特征地图，且移动步长为(1,1)；
在所述第十四卷积层中，卷积核为1×1，输出由512个特征形成的特征地图，且移动步长为(1,1)；
在所述第十五卷积层中，卷积核为1×1，输出由128个特征形成的特征地图，且移动步长为(1,1)；
在所述第十六卷积层中，卷积核为3×3，输出由128个特征形成的特征地图，且移动步长为(1,1)；
在所述第十七卷积层中，卷积核为3×3，输出由512个特征形成的特征地图，且移动步长为(1,1)。
6.如权利要求1-2、3-5任意一项所述的图像去台标方法，其特征在于，在步骤S40，根据训练数据集对生成器网络和判别器网络进行训练中包括：
S41分别定义损失函数和优化函数；
S42基于定义的损失函数、优化函数及训练数据集对生成器网络和判别器网络进行训练。
7.如权利要求6所述的图像去台标方法，其特征在于，在步骤S41中，损失函数包括生成器损失和判别器损失，其中，
生成器损失中包括mse损失、纹理损失及gan损失，所述mse损失为真实的不带台标图像与生成器网络生成的不带台标图像之间的均方误差，所述纹理损失为真实的不带台标图像与生成器网络生成的不带台标图像的特征间的欧氏距离，所述gan损失表示生成让判别器无法区分的数据分布；
判别器损失表示判别器网络将生成器网络生成的不带台标的图像判定为真实图像的概率与将真实的不带台标的图像判定为真实图像的概率之差；
优化函数为RMSprop。
8.如权利要求6所述的图像去台标方法，其特征在于，在步骤S42，基于定义的损失函数、优化函数及训练数据集对生成器网络和判别器网络进行训练中包括：
S421从训练数据集中读取指定数量的样本图像；
S422根据定义的损失函数和优化函数对判别器网络的参数进行优化；
S423将判别器网络的参数截断在-0.01和0.01之间；
S424进一步优化生成器网络的参数，直到生成器损失和判别器损失均达到预设值，完成训练。
CN201811358682.8A 2018-11-15 2018-11-15 一种基于生成对抗神经网络的图像去台标方法 Active CN109472757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811358682.8A CN109472757B (zh) 2018-11-15 2018-11-15 一种基于生成对抗神经网络的图像去台标方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811358682.8A CN109472757B (zh) 2018-11-15 2018-11-15 一种基于生成对抗神经网络的图像去台标方法

Publications (2)

Publication Number Publication Date
CN109472757A CN109472757A (zh) 2019-03-15
CN109472757B true CN109472757B (zh) 2020-06-09

Family

ID=65673422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811358682.8A Active CN109472757B (zh) 2018-11-15 2018-11-15 一种基于生成对抗神经网络的图像去台标方法

Country Status (1)

Country Link
CN (1) CN109472757B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985597B (zh) * 2019-05-22 2023-10-24 华为技术有限公司 模型压缩方法及装置
CN110334735B (zh) * 2019-05-31 2022-07-08 北京奇艺世纪科技有限公司 多任务网络生成方法、装置、计算机设备和存储介质
CN110414596B (zh) * 2019-07-25 2023-09-26 腾讯科技（深圳）有限公司 视频处理、模型训练方法和装置、存储介质及电子装置
CN110443764A (zh) * 2019-08-01 2019-11-12 北京百度网讯科技有限公司 视频修复方法、装置及服务器
CN111105336A (zh) * 2019-12-04 2020-05-05 山东浪潮人工智能研究院有限公司 一种基于对抗网络的图像去水印的方法
CN112950615B (zh) * 2021-03-23 2022-03-04 内蒙古大学 一种基于深度学习分割网络的甲状腺结节侵袭性预测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647682A (zh) * 2018-05-17 2018-10-12 电子科技大学 一种基于区域卷积神经网络模型的品牌Logo检测与识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10319076B2 (en) * 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images
CN107844743B (zh) * 2017-09-28 2020-04-28 浙江工商大学 一种基于多尺度分层残差网络的图像多字幕自动生成方法
CN108492258B (zh) * 2018-01-17 2021-12-07 天津大学 一种基于生成对抗网络的雷达图像去噪方法
CN108230278B (zh) * 2018-02-24 2021-08-06 中山大学 一种基于生成对抗网络的图像去雨滴方法
CN108520199B (zh) * 2018-03-04 2022-04-08 天津大学 基于雷达图像与生成对抗模型的人体动作开集识别方法
CN108805789B (zh) * 2018-05-29 2022-06-03 厦门市美亚柏科信息股份有限公司 一种基于对抗神经网络去除水印的方法、装置、设备及可读介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647682A (zh) * 2018-05-17 2018-10-12 电子科技大学 一种基于区域卷积神经网络模型的品牌Logo检测与识别方法

Also Published As

Publication number Publication date
CN109472757A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN109472757B (zh) 一种基于生成对抗神经网络的图像去台标方法
CN108549892B (zh) 一种基于卷积神经网络的车牌图像清晰化方法
CN109118445B (zh) 一种基于多分支生成对抗网络的水下图像增强方法
Po et al. A novel patch variance biased convolutional neural network for no-reference image quality assessment
CN111126412B (zh) 基于特征金字塔网络的图像关键点检测方法
JP5229575B2 (ja) 画像処理装置および方法、並びにプログラム
CN109712165B (zh) 一种基于卷积神经网络的同类前景图像集分割方法
Fu et al. Edge-aware deep image deblurring
CN107240126B (zh) 阵列图像的校准方法
Chen et al. Densely connected convolutional neural network for multi-purpose image forensics under anti-forensic attacks
CN111047543A (zh) 图像增强方法、装置和存储介质
CN110120034B (zh) 一种与视觉感知相关的图像质量评价方法
CN111489394A (zh) 物体姿态估计模型训练方法、系统、装置及介质
CN109685772B (zh) 一种基于配准失真表示的无参照立体图像质量评估方法
Bhowmik et al. Training-free, single-image super-resolution using a dynamic convolutional network
CN114494739B (zh) 基于人工智能的色粉混合效果检测方法
CN111062895B (zh) 一种基于多视场分割的显微图像复原方法
Fernandez-Maloigne et al. Digital color imaging
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN110580696A (zh) 一种细节保持的多曝光图像快速融合方法
CN112329818A (zh) 基于图卷积网络嵌入表征的高光谱图像非监督分类方法
CN107977967B (zh) 一种面向视角合成的无参考图像质量评价方法
CN115760603A (zh) 一种基于大数据技术的干涉阵列宽带成像方法
Ooi et al. Enhanced dense space attention network for super-resolution construction from single input image
Chen et al. Learning a Deep Color Difference Metric for Photographic Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant