CN109472757B - 一种基于生成对抗神经网络的图像去台标方法 - Google Patents
一种基于生成对抗神经网络的图像去台标方法 Download PDFInfo
- Publication number
- CN109472757B CN109472757B CN201811358682.8A CN201811358682A CN109472757B CN 109472757 B CN109472757 B CN 109472757B CN 201811358682 A CN201811358682 A CN 201811358682A CN 109472757 B CN109472757 B CN 109472757B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- convolution
- network
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 10
- 230000003042 antagnostic effect Effects 0.000 title description 7
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种生成对抗神经网络的图像去台标方法,包括:S10构建训练数据集和测试数据集;S20构建生成器网络,生成器网络用于根据输入的带台标的图像和台标蒙版图像生成不带台标的图像;S30构建判别器网络,与生成器网络的输出端连接,判别器网络用于对真实的不带台标的图像和生成器网络输出的不带台标的图像进行真假判断;S40根据训练数据集对生成器网络和判别器网络进行训练;S50使用训练好的生成器网络对测试数据集进行去台标操作。得到的生成器网络去台标效果明显好于传统算法,在大部分场景下基本看不到台标残留的痕迹,图像修复程度好,在修复区域不容易出现图像变形。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于生成对抗神经网络的图像去台标方法。
背景技术
在广播电视领域大部分素材都带有台标,但是在某些应用场景下,会因为版权或者其他原因需要将台标遮盖或去掉。传统的去台标方法有分水岭算法、快速行进算法(又称FFM算法)等,虽然处理速度快,但是大多数情况下,尤其在背景细节比较多的场景下,处理后的图像会出现图像变形,还会留有明显的台标痕迹。
发明内容
针对上述现有技术的不足,本发明提供了一种生成对抗神经网络的图像去台标方法,有效解决了现有技术中台标后后图像会出现变形、留下明显台标痕迹的技术问题。
为了实现上述目的,本发明通过以下技术方案实现:
一种基于生成对抗神经网络的图像去台标方法,包括:
S10构建训练数据集和测试数据集;
S20构建生成器网络,所述生成器网络用于根据输入的带台标的图像和台标蒙版图像生成不带台标的图像;
S30构建判别器网络,与生成器网络的输出端连接,所述判别器网络用于对真实的不带台标的图像和生成器网络输出的不带台标的图像进行真假判断;
S40根据训练数据集对生成器网络和判别器网络进行训练;
S50使用训练好的生成器网络对测试数据集进行去台标操作。
进一步优选地,在步骤S10中包括:
S11从数据集中随机抽取一图像,并从中随机截取预设大小的图像;
S12将截取的图像中的RGB数据进行归一化,得到一真实的不带台标的图像;
S13重复步骤S11~S12预设次数,得到预设数量的真实的不带台标的图像数据;
S14制作所述预设大小的透明台标图像,作为台标蒙版图像;
S15将真实的不带台标的图像与台标蒙版叠加得到所述预设数量的带台标的图像;
S16将带台标的图像中的RGB数据进行归一化,得到带台标的图像数据。
进一步优选地,在步骤S20,构建的生成器网络中依次包括:第一卷积层、relu激活层、密集连接块、第二卷积层、BatchNormal归一化层、第三卷积层、第四卷积层及tanh激活层,所述生成器网络的输入由带台标的图像和台标蒙版图像的矩阵叠加而成。
进一步优选地,在所述第一卷积层中,卷积核为9×9,输出由64个特征形成的特征地图;
在所述第二卷积层中,卷积核为3×3,输出由64个特征形成的特征地图;
在所述第三卷积层中,卷积核为3×3,输出由256个特征形成的特征地图;
在所述第四卷积层中,卷积核为9×9,输出由3个特征形成的特征地图。
进一步优选地,密集连接块之间的方式为密集连接,每个密集连接块中依次包括:第五卷积层、BatchNormal归一化层、relu激活层、第六卷积层及BatchNormal归一化层;
在所述第五卷积层和第六卷积层中,卷积核为3×3,输出由64个特征形成的特征地图。
进一步优选地,在步骤S30,构建的判别器网络中依次包括:第七卷积层、lrelu激活层、第八卷积层、BatchNormal归一化层、lrelu激活层、第九卷积层、BatchNormal归一化层、lrelu激活层、第十卷积层、BatchNormal归一化层、lrelu激活层、第十一卷积层、BatchNormal归一化层、lrelu激活层、第十二卷积层、BatchNormal归一化层、lrelu激活层、第十三卷积层、BatchNormal归一化层、lrelu激活层、第十四卷积层、BatchNormal归一化层、第十五卷积层、BatchNormal归一化层、lrelu激活层、第十六卷积层、BatchNormal归一化层、lrelu激活层、第十七卷积层、BatchNormal归一化层、lrelu激活层、用于将一个多维向量经过reshape操作变成n维向量的展平层及输出一维向量的密集连接层。
进一步优选地,在所述第七卷积层中,卷积核为4×4,输出由64个特征形成的特征地图,且移动步长为(2,2);
在所述第八卷积层中,卷积核为4×4,输出由128个特征形成的特征地图,且移动步长为(2,2);
在所述第九卷积层中,卷积核为4×4,输出由256个特征形成的特征地图,且移动步长为(2,2);
在所述第十卷积层中,卷积核为4×4,输出由512个特征形成的特征地图,且移动步长为(2,2);
在所述第十一卷积层中,卷积核为4×4,输出由1024个特征形成的特征地图,且移动步长为(2,2);
在所述第十二卷积层中,卷积核为4×4,输出由2048个特征形成的特征地图,且移动步长为(2,2);
在所述第十三卷积层中,卷积核为1×1,输出由1024个特征形成的特征地图,且移动步长为(1,1);
在所述第十四卷积层中,卷积核为1×1,输出由512个特征形成的特征地图,且移动步长为(1,1);
在所述第十五卷积层中,卷积核为1×1,输出由128个特征形成的特征地图,且移动步长为(1,1);
在所述第十六卷积层中,卷积核为3×3,输出由128个特征形成的特征地图,且移动步长为(1,1);
在所述第十七卷积层中,卷积核为3×3,输出由512个特征形成的特征地图,且移动步长为(1,1)。
进一步优选地,在步骤S40,根据训练数据集对生成器网络和判别器网络进行训练中包括:
S41分别定义损失函数和优化函数;
S42基于定义的损失函数、优化函数及训练数据集对生成器网络和判别器网络进行训练。
进一步优选地,在步骤S41中,损失函数包括生成器损失和判别器损失,其中,
生成器损失中包括mse损失、纹理损失及gan损失,所述mse损失为真实的不带台标图像与生成器网络生成的不带台标图像之间的均方误差,所述纹理损失为真实的不带台标图像与生成器网络生成的不带台标图像的特征间的欧氏距离,所述gan损失表示生成让判别器无法区分的数据分布;
判别器损失表示判别器网络将生成器网络生成的不带台标的图像判定为真实图像的概率与将真实的不带台标的图像判定为真实图像的概率之差;
优化函数为RMSprop。
进一步优选地,在步骤S42,基于定义的损失函数、优化函数及训练数据集对生成器网络和判别器网络进行训练中包括:
S421从训练数据集中读取指定数量的样本图像;
S422根据定义的损失函数和优化函数对判别器网络的参数进行优化;
S423将判别器网络的参数截断在-0.01和0.01之间;
S424进一步优化生成器网络的参数,直到生成器损失和判别器损失均达到预设值,完成训练。
在本发明提供的生成对抗神经网络的图像去台标方法中,有益效果在于:基于对抗神经元网络构建生成器网络和判别器网络后,根据定义的损失函数和优化函数对其进行参数的优化,完成训练。训练得到的生成器网络去台标效果明显好于传统算法,在大部分场景下基本看不到台标残留的痕迹,图像修复程度好,在修复区域不容易出现图像变形。
附图说明
结合附图,并通过参考下面的详细描述,将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征,其中:
图1为本发明中基于生成对抗神经网络的图像去台标方法的流程示意图;
图2为本发明中生成器网络结构示意图;
图3为本发明中连接块结构示意图;
图4为本发明中判别器网络结构示意图。
具体实施方式
为使本发明的内容更加清楚易懂,以下结合说明书附图,对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例,本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。
如图1所示为本发明提供的基于生成对抗神经网络的图像去台标方法的流程示意图,从图中可以看出,在该图像去台标方法中包括:
S10构建训练数据集和测试数据集;
S20构建生成器网络,生成器网络用于根据输入的带台标的图像和台标蒙版图像生成不带台标的图像;
S30构建判别器网络,与生成器网络的输出端连接,判别器网络用于对真实的不带台标的图像和生成器网络输出的不带台标的图像进行真假判断;
S40根据训练数据集对生成器网络和判别器网络进行训练;
S50使用训练好的生成器网络对测试数据集进行去台标操作。
在构建训练数据集和测试数据集的过程中,首先从数据集中选取一定数量的图像作为训练数据集和测试数据集,如,在一实例中,从DIV2K数据集中选定800张高清图片作为训练数据集,选定100张高清图片作为测试数据集。
之后,从数据集中随机抽取一图像,并从中随机截取预设大小(如,152×152)的图像,并将其RGB数据进行归一化到[-1,1]之间,得到一真实的不带台标的图像;重复这一过程预设次数,得到预设数量的真实的不带台标的图像数据。如,在一实例中,重复这一过程60000次,得到60000张真实的不带台标的图像数据。这一过程中,处理的对象包括训练数据集和测试数据集。
之后,对于制作预设大小(如,152×152)的透明台标图像,作为台标蒙版图像;并将之前制备的同样大小的真实的不带台标的图像与该台标蒙版叠加得到预设数量的带台标的图像;最后将带台标的图像中的RGB数据进行归一化到[-1,1]之间,得到相应数量的带台标的图像数据,这里的相应数量具体指与前一步骤中得到的真实的不带台标的图像数量,若在前一步骤中生成60000张真实的不带台标的图像数据,则在该步骤中相应的得到60000张带台标的图像。这一过程中,处理的对象同样包括训练数据集和测试数据集,训练数据集处理后得到的真实的不带台标的图像数据和带台标的图像数据作为训练对象,测试数据集带台标的图像数据和台标蒙版图像作为训练对象。
如图2所示,构建的生成器网络中依次包括:第一卷积层、relu激活层、密集连接块、第二卷积层、BatchNormal归一化层、第三卷积层、第四卷积层及tanh激活层,生成器网络的输入由带台标的图像和台标蒙版图像的矩阵叠加而成。具体,在第一卷积层(图示中conv2d 9×9×64)中,卷积核为9×9,输出由64个特征形成的特征地图;在第二卷积层(图示中conv2d 3×3×64)中,卷积核为3×3,输出由64个特征形成的特征地图;在第三卷积层(图示中conv2d 3×3×256)中,卷积核为3×3,输出由256个特征形成的特征地图;在第四卷积层(图示中conv2d 9×9×3)中,卷积核为9×9,输出由3个特征形成的特征地图。
密集连接块由多个连接块(图示中Dense Block)组成,如图3所示,每个连接块中依次包括:第五卷积层、BatchNormal归一化层、relu激活层、第六卷积层及BatchNormal归一化层;其中,在第五卷积层和第六卷积层(图示中conv2d3×3×64)中,卷积核为3×3,输出由64个特征形成的特征地图。连接块之间采用密集连接的方式进行连接,即当前连接块的输入为前面所有连接块的输出之和,如式(1)所示:
其中,ci表示第i个连接块的输入,bj表示第j个连接块的输出。如图示,在该生成器网络中包括5个连接块。
以下对各层中使用到的函数作出说明:
对于卷积来说,先定义一个卷积核(滤波矩阵),对于图像中的每一个像素点,计算它的邻域像素和滤波矩阵的对应元素的乘积,然后加起来,作为该像素位置的值。在深度学习过程中,卷积核的值一开始是未知的,每个元素初始化为接近为0的值,在训练过程中不断调整这些元素的值,使得最终结果准确率越来越高。
relu激活函数可表示为f(x)=max(0,x),当x>0,f(x)=x;x≤0,f(x)=0,该函数一般作为深度学习中的激活函数,用于避免梯度消失。
BatchNormal归一化函数归一化的目标在于将输入的批数据变成均值为0,方差为1的批数据,用于避免深度学习网络的过程中出现过拟合。
tanh激活函数也称双切正切函数,其取值范围为[-1,1],函数如式(2)所示:
在一实例中,训练数据集中的图像大小为152x152,则生成器网络输入的是152x152x7维向量(由带台标的RGB图像和台标蒙版RGBA图像叠加而成,7表示RGB图像中的RGB三个通道,和RGBA图像中的RGBA四个通道),输出152x152x3维向量,即输出去除了台标蒙版的RGB图像。
构建的判别器网络中依次包括:第七卷积层、lrelu激活层、第八卷积层、BatchNormal归一化层、lrelu激活层、第九卷积层、BatchNormal归一化层、lrelu激活层、第十卷积层、BatchNormal归一化层、lrelu激活层、第十一卷积层、BatchNormal归一化层、lrelu激活层、第十二卷积层、BatchNormal归一化层、lrelu激活层、第十三卷积层、BatchNormal归一化层、lrelu激活层、第十四卷积层、BatchNormal归一化层、第十五卷积层、BatchNormal归一化层、lrelu激活层、第十六卷积层、BatchNormal归一化层、lrelu激活层、第十七卷积层、BatchNormal归一化层、lrelu激活层、用于将一个多维向量经过reshape操作变成n维向量的展平层及输出一维向量的密集连接层。其中,在第七卷积层(图示中conv2d 4×4×64)中,卷积核为4×4,输出由64个特征形成的特征地图,且移动步长为(2,2);在第八卷积层(图示中conv2d 4×4×128)中,卷积核为4×4,输出由128个特征形成的特征地图,且移动步长为(2,2);在第九卷积层(图示中conv2d 4×4×256)中,卷积核为4×4,输出由256个特征形成的特征地图,且移动步长为(2,2);在第十卷积层(图示中conv2d 4×4×512)中,卷积核为4×4,输出由512个特征形成的特征地图,且移动步长为(2,2);在第十一卷积层(图示中conv2d 4×4×1024)中,卷积核为4×4,输出由1024个特征形成的特征地图,且移动步长为(2,2);在第十二卷积层(图示中conv2d 4×4×2048)中,卷积核为4×4,输出由2048个特征形成的特征地图,且移动步长为(2,2);在第十三卷积层(图示中conv2d 1×1×1024)中,卷积核为1×1,输出由1024个特征形成的特征地图,且移动步长为(1,1);在第十四卷积层(图示中conv2d 1×1×512)中,卷积核为1×1,输出由512个特征形成的特征地图,且移动步长为(1,1);在第十五卷积层(图示中conv2d 1×1×128)中,卷积核为1×1,输出由128个特征形成的特征地图,且移动步长为(1,1);在第十六卷积层(图示中conv2d 3×3×128)中,卷积核为3×3,输出由128个特征形成的特征地图,且移动步长为(1,1);在第十七卷积层(图示中conv2d 3×3×512)中,卷积核为3×3,输出由512个特征形成的特征地图,且移动步长为(1,1)。在密集连接层中,“o=1”表示输出为1维向量。对于lrelu(leaky relu)激活函数,给所有负值赋予一个非零斜率,当xi>0,f(xi)=xi;xi≤0,f(xi)=aixi,其中,ai为固定的常数,i表示不同的通道。
如图示,在该判别器网络中,网络的输入为152x152x3大小的向量,输出为1维向量,取值0-1之间,可以看成是真假的概率,如输出为0时为假(生成器网络输出的不带台标的图像),输出为1时为真(真实的不带台标的图像)。
构建了生成器网络和判别器网络之后,分别定义损失函数和优化函数,进而基于定义的损失函数、优化函数及训练数据集对生成器网络和判别器网络进行训练。
具体,损失函数Ltotal包括生成器损失Lg和判别器损失Ld,即Ltotal=Lg+Ld,其中,生成器损失Lg中包括mse损失Lmse、纹理损失Lvgg及gan损失Lgan,即Lg=Lmse+Lvgg+Lgan。
mse损失Lmse为真实的不带台标图像与生成器网络生成的不带台标图像之间的均方误差,如式(3):
其中,yi表示真实的不带台标图像的值,y′i表示生成器网络生成的不带台标图像的值,m表示训练的次数。
纹理损失Lvgg表示以预训练19层VGG网络的relu激活层为基础的VGG loss,真实的不带台标图像与生成器网络生成的不带台标图像的特征间的欧氏距离。具体,在已经训练好的vgg上提出某一层的特征地图(feature map),将生成的不带台标图像的这一个feature map和真实的不带台标图像这一个feature map比较,如式(4):
其中Cj表示第j个max_poll层的通道数,Wj代表第j个max_poll层的宽度,Hj代表第j个max_poll层的高度,Φj(Inologo)表示真实的不带台标的图像经过vgg net后第j个max_poll层的输出,Φj(G(Inologo))表示由生成器生成的不带台标的图像经过vgg net后第j个max_poll层的输出。
gan损失Lgan表示生成让判别器无法区分是真实的不带台标图像还是生成器生成的不带台标图像的数据分布,如式(5):
其中,Dn(G(Ilogo))表示判别器网络将生成器网络生成的不带台标的图像判定为真的概率,N表示训练的批处理数。
判别器损失Ld表示判别器网络将生成器网络生成的不带台标的图像判定为真实图像的概率与将真实的不带台标的图像判定为真实图像的概率之差,使用近似Wasserstein距离表示,如式(6);
其中,Dn(G(Ilogo))表示判别器网络将生成器网络生成的不带台标的图像判定为真的概率,Dn(Inologo)表示判别器网络将真实的不带台标的图像判定为真的概率,N表示训练的批处理数。
采用RMSprop优化函数分别对生成器网络的参数和判别器网络的参数进行优化,优化的目标函数分别为min(Lg)和min(Ld)。RMSprop是Geoff Hinton提出的一种自适应学习率方法,其通过引入一个衰减系数r,让r每回合都衰减一定比例。优化的过程具体Wie:输入全局学习速率ε、初始参数θ、数值稳定量δ及衰减速率ρ,中间变量梯度累积量r(初始化0);从训练数据集中随机抽取一批容量为m的训练样本{x1,x2,...,xm}及输出yi;计算梯度和误差,更新r和其他待优化参数。
基于此,在训练的过程中,从训练数据集中读取指定数量(如8个样本图像)的样本图像;根据定义的损失函数和优化函数对判别器网络的参数进行优化;将判别器网络的参数截断在-0.01和0.01之间(当判别器网络中某一参数在[-0.01,0.01]之外,将其设定在其中间);进一步优化生成器网络的参数,直到生成器损失和判别器损失均达到预设值,完成训练后,将将生成器网络参数和判别器网络参数保存在硬盘中。在实例中,对于生成的60000个训练样本,根据设定的步长进行训练,如每100个样本图像训练一次等,可根据实际情况进行设定。
完成了生成器网络和判别器网络的训练之后,进行评估时,先从硬盘加载已训练好的生成器网络参数并初始化生成器,然后从测试数据集中读取一个待处理样本(由带台标蒙版图像和台标蒙版图像组成),输入到生成器网络,得到去除台标的图像。
Claims (8)
1.一种基于生成对抗神经网络的图像去台标方法,其特征在于,包括:
S10构建训练数据集和测试数据集;
S20构建生成器网络,所述生成器网络用于根据输入的带台标的图像和台标蒙版图像生成不带台标的图像;
S30构建判别器网络,与生成器网络的输出端连接,所述判别器网络用于对真实的不带台标的图像和生成器网络输出的不带台标的图像进行真假判断;
S40根据训练数据集对生成器网络和判别器网络进行训练;
S50使用训练好的生成器网络对测试数据集进行去台标操作;
构建的生成器网络中依次包括:第一卷积层、relu激活层、密集连接块、第二卷积层、BatchNormal归一化层、第三卷积层、第四卷积层及tanh激活层,所述生成器网络的输入由带台标的图像和台标蒙版图像的矩阵叠加而成;
在步骤S30,构建的判别器网络中依次包括:第七卷积层、lrelu激活层、第八卷积层、BatchNormal归一化层、lrelu激活层、第九卷积层、BatchNormal归一化层、lrelu激活层、第十卷积层、BatchNormal归一化层、lrelu激活层、第十一卷积层、BatchNormal归一化层、lrelu激活层、第十二卷积层、BatchNormal归一化层、lrelu激活层、第十三卷积层、BatchNormal归一化层、lrelu激活层、第十四卷积层、BatchNormal归一化层、第十五卷积层、BatchNormal归一化层、lrelu激活层、第十六卷积层、BatchNormal归一化层、lrelu激活层、第十七卷积层、BatchNormal归一化层、lrelu激活层、用于将一个多维向量经过reshape操作变成n维向量的展平层及输出一维向量的密集连接层。
2.如权利要求1所述的图像去台标方法,其特征在于,在步骤S10中包括:
S11从数据集中随机抽取一图像,并从中随机截取预设大小的图像;
S12将截取的图像中的RGB数据进行归一化,得到一真实的不带台标的图像;
S13重复步骤S11~S12预设次数,得到预设数量的真实的不带台标的图像数据;
S14制作所述预设大小的透明台标图像,作为台标蒙版图像;
S15将真实的不带台标的图像与台标蒙版叠加得到所述预设数量的带台标的图像;
S16将带台标的图像中的RGB数据进行归一化,得到带台标的图像数据。
3.如权利要求1所述的图像去台标方法,其特征在于,
在所述第一卷积层中,卷积核为9×9,输出由64个特征形成的特征地图;
在所述第二卷积层中,卷积核为3×3,输出由64个特征形成的特征地图;
在所述第三卷积层中,卷积核为3×3,输出由256个特征形成的特征地图;
在所述第四卷积层中,卷积核为9×9,输出由3个特征形成的特征地图。
4.如权利要求1所述的图像去台标方法,其特征在于,
密集连接块之间的方式为密集连接,每个密集连接块中依次包括:第五卷积层、BatchNormal归一化层、relu激活层、第六卷积层及BatchNormal归一化层;
在所述第五卷积层和第六卷积层中,卷积核为3×3,输出由64个特征形成的特征地图。
5.如权利要求1所述的图像去台标方法,其特征在于,
在所述第七卷积层中,卷积核为4×4,输出由64个特征形成的特征地图,且移动步长为(2,2);
在所述第八卷积层中,卷积核为4×4,输出由128个特征形成的特征地图,且移动步长为(2,2);
在所述第九卷积层中,卷积核为4×4,输出由256个特征形成的特征地图,且移动步长为(2,2);
在所述第十卷积层中,卷积核为4×4,输出由512个特征形成的特征地图,且移动步长为(2,2);
在所述第十一卷积层中,卷积核为4×4,输出由1024个特征形成的特征地图,且移动步长为(2,2);
在所述第十二卷积层中,卷积核为4×4,输出由2048个特征形成的特征地图,且移动步长为(2,2);
在所述第十三卷积层中,卷积核为1×1,输出由1024个特征形成的特征地图,且移动步长为(1,1);
在所述第十四卷积层中,卷积核为1×1,输出由512个特征形成的特征地图,且移动步长为(1,1);
在所述第十五卷积层中,卷积核为1×1,输出由128个特征形成的特征地图,且移动步长为(1,1);
在所述第十六卷积层中,卷积核为3×3,输出由128个特征形成的特征地图,且移动步长为(1,1);
在所述第十七卷积层中,卷积核为3×3,输出由512个特征形成的特征地图,且移动步长为(1,1)。
6.如权利要求1-2、3-5任意一项所述的图像去台标方法,其特征在于,在步骤S40,根据训练数据集对生成器网络和判别器网络进行训练中包括:
S41分别定义损失函数和优化函数;
S42基于定义的损失函数、优化函数及训练数据集对生成器网络和判别器网络进行训练。
7.如权利要求6所述的图像去台标方法,其特征在于,在步骤S41中,损失函数包括生成器损失和判别器损失,其中,
生成器损失中包括mse损失、纹理损失及gan损失,所述mse损失为真实的不带台标图像与生成器网络生成的不带台标图像之间的均方误差,所述纹理损失为真实的不带台标图像与生成器网络生成的不带台标图像的特征间的欧氏距离,所述gan损失表示生成让判别器无法区分的数据分布;
判别器损失表示判别器网络将生成器网络生成的不带台标的图像判定为真实图像的概率与将真实的不带台标的图像判定为真实图像的概率之差;
优化函数为RMSprop。
8.如权利要求6所述的图像去台标方法,其特征在于,在步骤S42,基于定义的损失函数、优化函数及训练数据集对生成器网络和判别器网络进行训练中包括:
S421从训练数据集中读取指定数量的样本图像;
S422根据定义的损失函数和优化函数对判别器网络的参数进行优化;
S423将判别器网络的参数截断在-0.01和0.01之间;
S424进一步优化生成器网络的参数,直到生成器损失和判别器损失均达到预设值,完成训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811358682.8A CN109472757B (zh) | 2018-11-15 | 2018-11-15 | 一种基于生成对抗神经网络的图像去台标方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811358682.8A CN109472757B (zh) | 2018-11-15 | 2018-11-15 | 一种基于生成对抗神经网络的图像去台标方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109472757A CN109472757A (zh) | 2019-03-15 |
CN109472757B true CN109472757B (zh) | 2020-06-09 |
Family
ID=65673422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811358682.8A Active CN109472757B (zh) | 2018-11-15 | 2018-11-15 | 一种基于生成对抗神经网络的图像去台标方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109472757B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985597B (zh) * | 2019-05-22 | 2023-10-24 | 华为技术有限公司 | 模型压缩方法及装置 |
CN110334735B (zh) * | 2019-05-31 | 2022-07-08 | 北京奇艺世纪科技有限公司 | 多任务网络生成方法、装置、计算机设备和存储介质 |
CN110414596B (zh) * | 2019-07-25 | 2023-09-26 | 腾讯科技(深圳)有限公司 | 视频处理、模型训练方法和装置、存储介质及电子装置 |
CN110443764A (zh) * | 2019-08-01 | 2019-11-12 | 北京百度网讯科技有限公司 | 视频修复方法、装置及服务器 |
CN111105336A (zh) * | 2019-12-04 | 2020-05-05 | 山东浪潮人工智能研究院有限公司 | 一种基于对抗网络的图像去水印的方法 |
CN112950615B (zh) * | 2021-03-23 | 2022-03-04 | 内蒙古大学 | 一种基于深度学习分割网络的甲状腺结节侵袭性预测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647682A (zh) * | 2018-05-17 | 2018-10-12 | 电子科技大学 | 一种基于区域卷积神经网络模型的品牌Logo检测与识别方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10319076B2 (en) * | 2016-06-16 | 2019-06-11 | Facebook, Inc. | Producing higher-quality samples of natural images |
CN107844743B (zh) * | 2017-09-28 | 2020-04-28 | 浙江工商大学 | 一种基于多尺度分层残差网络的图像多字幕自动生成方法 |
CN108492258B (zh) * | 2018-01-17 | 2021-12-07 | 天津大学 | 一种基于生成对抗网络的雷达图像去噪方法 |
CN108230278B (zh) * | 2018-02-24 | 2021-08-06 | 中山大学 | 一种基于生成对抗网络的图像去雨滴方法 |
CN108520199B (zh) * | 2018-03-04 | 2022-04-08 | 天津大学 | 基于雷达图像与生成对抗模型的人体动作开集识别方法 |
CN108805789B (zh) * | 2018-05-29 | 2022-06-03 | 厦门市美亚柏科信息股份有限公司 | 一种基于对抗神经网络去除水印的方法、装置、设备及可读介质 |
-
2018
- 2018-11-15 CN CN201811358682.8A patent/CN109472757B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647682A (zh) * | 2018-05-17 | 2018-10-12 | 电子科技大学 | 一种基于区域卷积神经网络模型的品牌Logo检测与识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109472757A (zh) | 2019-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109472757B (zh) | 一种基于生成对抗神经网络的图像去台标方法 | |
CN104008538B (zh) | 基于单张图像超分辨率方法 | |
CN112288658A (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
CN109712165B (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
Po et al. | A novel patch variance biased convolutional neural network for no-reference image quality assessment | |
CN109118445B (zh) | 一种基于多分支生成对抗网络的水下图像增强方法 | |
CN111126412B (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
JP5229575B2 (ja) | 画像処理装置および方法、並びにプログラム | |
Fu et al. | Edge-aware deep image deblurring | |
CN110263813A (zh) | 一种基于残差网络和深度信息融合的显著性检测方法 | |
CN107578455B (zh) | 基于卷积神经网络的任意尺寸样本纹理合成方法 | |
CN109685772B (zh) | 一种基于配准失真表示的无参照立体图像质量评估方法 | |
CN107240126B (zh) | 阵列图像的校准方法 | |
Chen et al. | Densely connected convolutional neural network for multi-purpose image forensics under anti-forensic attacks | |
CN110120034B (zh) | 一种与视觉感知相关的图像质量评价方法 | |
Bhowmik et al. | Training-free, single-image super-resolution using a dynamic convolutional network | |
CN111062895A (zh) | 一种基于多视场分割的显微图像复原方法 | |
CN114494739B (zh) | 基于人工智能的色粉混合效果检测方法 | |
Saleem et al. | A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset | |
CN112329818A (zh) | 基于图卷积网络嵌入表征的高光谱图像非监督分类方法 | |
Fernandez-Maloigne et al. | Digital color imaging | |
CN110580696A (zh) | 一种细节保持的多曝光图像快速融合方法 | |
Chen et al. | Learning a deep color difference metric for photographic images | |
GB2623387A (en) | Learnable image transformation training methods and systems in graphics rendering | |
CN107977967B (zh) | 一种面向视角合成的无参考图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |