CN114758122A - 一种基于语义分割的任意风格迁移方法 - Google Patents

Abstract

本发明提供了一种基于语义分割的任意风格迁移方法，针对现有技术中风格迁移只能对一张照片或者一张照片上一个物体进行风格迁移的问题，通过风格迁移的艺术效果，实现了利用多种风格在同一张图片上实现不同的类物体迁移不同风格的功能，使一张图片不同物体之间有不同的风格信息，使图片在原有技术上艺术性更足。本发明解决了对于不同语义信息选择不同艺术的风格图片，就能把原始图片上不同类物体风格进行相应的风格迁移，达到一张图不同类别，根据需要同时对多个目标进行不同风格融合，可以达到意想不到的艺术效果。本发明还能表达图片的语义信息，且不依赖风格图片的种类，不需要每次输入都要重新训练网络。

Description

一种基于语义分割的任意风格迁移方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于语义分割的任意风格迁移方法。

背景技术

深度学习凭借其在识别应用中超高的预测准确率使得研究者们对图像处理领域获得了极大关注。用卷积神经网络(Convolutional Neural Network，CNN)等深层神经网络的解决方案，可以逐渐取代基于算法说明的传统图像处理工作。尽管图像预处理、后期处理和信号处理仍采用现有方法进行，但在图像分类应用中(缺陷、对象以及特征分类)，深度学习变得愈加重要。利用深度学习处理某些任务更简单，效果更好，甚至某些任务只能用深度学习的方法来解决。深度学习正在逐渐威胁传统图像处理方法的地位，特别是处理任务中包含有复杂变量时，例如图像的分割，图像的转换，检测。深度学习具有平移不变性的优点，这部分使用传统处理方式需要大量的投入。传统的风格迁移只是对图片全局化迁移。不能达到图片某一类或者几类物体进行同时风格转换，让一张图片的不同物体之间有不同的风格信息。

发明内容

本发明要解决的技术问题是：提供一种基于语义分割的任意风格迁移方法，用于实现利用多种风格在同一张图片上实现不同的类物体迁移不同风格的功能。

本发明为解决上述技术问题所采取的技术方案为：一种基于语义分割的任意风格迁移方法，包括以下步骤：

S1：设源图片I为内容图片，将内容图片和不同的风格图片放入风格迁移网络AdaIN进行训练，生成不同风格的内容图片I_s1、I_s2、…、I_sn；

S2：通过语义分割内容图片，得到带有不同目标区域语义信息的掩膜I_m1、I_m2、…、I_mn，掩膜的数量与迁移后的内容图片的数量一致；

S3：使用带不同语义信息的掩膜I_m1、I_m2、…、I_mn处理风格迁移后的内容图片I_s1、I_s2、…、I_sn，得到带语义信息的风格迁移的目标区域I_r1、I_r2、…、I_rn和内容图片的背景区域I_v；将目标区域I_r1、I_r2、…、I_rn与背景区域I_v相加得到一张多风格迁移图片(I_r1+I_r2+…+I_rn+I_v)。

按上述方案，所述的步骤S1中，具体步骤为：

S11：训练前用VGG提取内容图片x和风格图片y的特征信息；

S12：向风格迁移网络AdaIN输入包括内容图片x和风格图片y的信息源，使用风格图片y的均值和方差作为仿射参数；设输入内容图片的特征的均值为μ(x)、标准差为σ(x)，输入风格图片的特征的均值为μ(y)、标准差为σ(y)，将内容图片x的通道级均值和标准差匹配到风格图片y的通道级均值和标准差：

表示对内容图片x先去风格化，再风格化到风格图片y的风格。

进一步的，所述的步骤S21中，具体步骤为：

S21：采用轻量化分割模型DABNet作为分割网络；

S22：采用内容图片x对应标注的语义图像训练分割网络，得到带语义信息的掩膜I_m1、I_m2、…、I_mn。

按上述方案，所述的步骤S3中，目标区域I_r1、I_r2、…、I_rn与背景区域I_v相加的具体步骤为：

S31：提取风格融合后的语义区域图片，采用掩膜I_m1、I_m2、…、I_mn分别与风格迁移后的内容图片I_s1、I_s2、…、I_sn对应做Hadamard乘积：

I_r1＝I_m1⊙I_s1，

I_r2＝I_m2⊙I_s2，

…，

I_rn＝I_mn⊙I_sn，

得到的图片中，只有带语义信息的风格迁移的目标区域I_r1、I_r2、…、I_rn保留原来的像素值，其他区域像素值为0；

S32：将带有语义信息的掩膜I_m1、I_m2、…、I_mn相加并遮挡源图片I的目标区域，然后与源图片I做矩阵的乘法，设⊙为Hadamard乘积，得到去除语义信息的背景区域I_v：

I_v＝(1-I_m1-I_m2-…-I_mn)⊙I；

S33：通过像素值相加得到最终的合成图片I_f：

I_f＝(I_r1+I_r2+…+I_rn+I_v)。

进一步的，所述的步骤S3中，

目标区域I_r1、I_r2、…、I_rn的像素值与迁移后的风格图片I_s1、I_s2、…、I_sn的像素值一致；每张风格迁移后的图片不含语义信息的部分的像素值为0；

掩膜的二值图像的目标区域像素值为255，是白色，其他区域像素值为0，是黑色。

一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行一种基于语义分割的任意风格迁移方法。

本发明的有益效果为：

1.本发明的一种基于语义分割的任意风格迁移方法，针对现有技术中风格迁移只能对一张照片或者一张照片上一个物体进行风格迁移的问题，通过风格迁移的艺术效果，实现了利用多种风格在同一张图片上实现不同的类物体迁移不同风格的功能，使一张图片不同物体之间有不同的风格信息，使图片在原有技术上艺术性更足。

2.本发明解决了对于不同语义信息选择不同艺术的风格图片，就能把原始图片上不同类物体风格进行相应的风格迁移，达到一张图不同类别，根据需要同时对多个目标进行不同风格融合，可以达到意想不到的艺术效果。

3.本发明还能表达图片的语义信息，且不依赖风格图片的种类，不需要每次输入都要重新训练网络。

附图说明

图1是本发明实施例的内容图即原图。

图2是本发明实施例的第一风格图。

图3是本发明实施例的第二风格图。

图4是本发明实施例的第三风格图。

图5是本发明实施例的类别树的掩膜I_m1、类别房子的掩膜I_m2和类别车子的掩膜I_m3图。

图6是本发明实施例的内容图和风格图进行风格迁移后的图。

图7是本发明实施例的经过掩膜处理后的迁移图。

图8是本发明实施例的经过掩膜处理原图后的背景图。

图9是本发明实施例的经过掩膜处理的迁移图和掩膜处理的背景图相加得到最终的效果图。

图10是本发明实施例的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图10，本发明实施例的一种基于语义分割的任意风格迁移方法，包括以下步骤：

S1：将内容图片和不同的风格图片放入风格迁移网络AdaIN生成不同风格的内容图片I_s1、I_s2和I_s3；

训练时先用VGG提取内容图和风格图的特征信息，AdaIN和IN的不同在于仿射参数来自于样本，即作为条件的样本，在AdaIN中没有需要学习的仿射参数，即仿射参数不是通过学习得到的，这和BN，IN，LN，GN都不同。在通常快速风格迁移网络中，每一张风格图都要重新训练一个模型，在风格转换中，风格与仿射参数IN有很大关系，AdaIN扩展了IN的能力，使用风格图像的均值和方差作为仿射参数，所以给定任意的仿射参数都能合成任意风格的图像。

一个模型在训练完后能够支持任意风格的迁移，而不是局限于特定风格，只需要把内容图和风格图传入AdaIN就能得到不同的迁移图片。

内容图和不同风格图迁移获得方法为：

AdaIN接收内容输入x和风格输入y两个信息源，设μ(x)和σ(x)分别表示输入内容图片的特征的均值和标准差，μ(y)和σ(y)分别表示输入风格图片的特征的均值和标准差，按照公式(1)将x的通道级均值和标准差匹配到y的通道级均值和标准差：

公式表示(1)先去风格化(减去自身均值再除以自身标准差)，再风格化到风格图片的风格(乘风格图片的标准差再加均值)。

S2：将内容图片通过语义分割，得到带有不同目标区域语义信息的掩膜I_m1、I_m2、I_m3，掩膜的数量与迁移后的内容图数量一致；

采用内容图像对应标注的语义图像训练分割网络，采用轻量化分割模型DABNet，通过此神经网络得到带有语义信息的掩膜I_m1、I_m2、I_m3。

S3：使用目标带有不同语义信息的掩膜I_m1、I_m2、I_m3来处理风格迁移后不同风格的内容图像I_s1，I_s2，I_s3，得到带有语义信息的风格迁移的目标区域I_r1，I_r2，I_r3和内容图的背景区域I_v，然后将目标区域和背景区域相加得到一张多风格迁移图片(I_r1+I_r2+I_r3+I_v)。图像目标区域和背景区域相加的具体计算方法为：

提取风格融合后的语义区域图像，利用预先制作的掩膜I_m1、I_m2、I_m3分别与风格迁移后的图片I_s1，I_s2，I_s3做Hadamard乘积如式(2)：

I_r1＝I_m1⊙I_s1

I_r2＝I_m2⊙I_s2 (2)

I_r3＝I_m3⊙I_s3

得到的图片只有目标区域保留原来的像素值，其他区域像素值为0；语义分割后的图有很多像素为0的区域(每张分割迁移图不含语义信息部分的像素值为0)，这些区域虽然不带信息，但对图像融合没有影响，只需要目标区域像素值和迁移后的风格图像素值一致。掩膜的二值图像的目标区域像素值为255，是白色，其他区域像素值为0，是黑色。

接着使用掩膜将源图像的目标区域遮挡起来，带有语义信息的掩膜相加，与源图像I做矩阵的乘法，设⊙为Hadamard乘积，得到去除语义信息的背景图为I_v，通过简单的像素值相加得到最终的合成图片I_f如(3)所示：

I_v＝(1-I_m1-I_m2-I_m3)⊙I (3)

I_f＝(I_r1+I_r2+I_r3+I_v)

下面结合附图，以AdaIN风格迁移网络和DABNet语义分割网络，作为实施例对本发明作进一步说明：

在本发明的一个实施例中，主要的2个神经网络为DABNet和AdaIN网络。DABNet是一种轻量级的分割网络，在不增加模型参数的情况下，搭建更深的网络。以此在同数量级的网络参数下达到最优。亮点是提出了因式扩张深度可分卷积(FDDWC)，这其实是借鉴了以往的深度可分离卷积以及拆分卷积以减少卷积参数的工作。AdaIN中没有可学习的仿射参数，即仿射参数不是通过学习得到。AdaIN接收两个信息源：内容输入x和风格输入y，将x的通道级均值和标准差匹配到y的通道级均值和标准差上：

AdaIN在feature map层面上通过改变特征的数据分布来实现风格迁移，计算开销和存储开销都较小，且易实现。

图1是街景图，包含建筑物，树木，车子，人这4种类别，我们选取建筑物，车子，树木这3类分别进行不同的风格迁移，不属于这3类的像素点作为背景。

图2是3中不同风格图片，分别和建筑物，树木，车子进行图像融合。

图3是语义分割通过对每个像素进行密集的预测，预测分类得到的类别掩膜，分别是树(I_m1)，房屋(I_m3)，车子的掩膜(I_m3)。

图4是对风格迁移后的图片。

图5是取风格融合后的语义区域图像，利用预先制作的掩膜I_m1、I_m2、I_m3分别与风格迁移后的图片I_s1，I_s2，I_s3做Hadamard乘积得到的图I_r1，I_r2，I_r3。

图6是接着使用掩膜将源图像的目标区域遮挡起来，带有语义信息的掩膜相加，与源图像I做矩阵的乘法，得到了去除语义信息的背景图为I_v。

图7是分割再融合的效果图。

图9是本发明实施例经过掩膜处理的迁移图和掩膜处理的背景图相加得到最终的效果图。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (6)

1.一种基于语义分割的任意风格迁移方法，其特征在于：包括以下步骤：

S1：设源图片I为内容图片，将内容图片和不同的风格图片放入风格迁移网络AdaIN进行训练，生成不同风格的内容图片I_s1、I_s2、…、I_sn；

S2：通过语义分割内容图片，得到带有不同目标区域语义信息的掩膜I_m1、I_m2、…、I_mn，掩膜的数量与迁移后的内容图片的数量一致；

S3：使用带不同语义信息的掩膜I_m1、I_m2、…、I_mn处理风格迁移后的内容图片I_s1、I_s2、…、I_sn，得到带语义信息的风格迁移的目标区域I_r1、I_r2、…、I_rn和内容图片的背景区域I_v；将目标区域I_r1、I_r2、…、I_rn与背景区域I_v相加得到一张多风格迁移图片(I_r1+I_r2+…+I_rn+I_v)。

2.根据权利要求1所述的一种基于语义分割的任意风格迁移方法，其特征在于：所述的步骤S1中，具体步骤为：

S11：训练前用VGG提取内容图片x和风格图片y的特征信息；

S12：向风格迁移网络AdaIN输入包括内容图片x和风格图片y的信息源，使用风格图片y的均值和方差作为仿射参数；设输入内容图片的特征的均值为μ(x)、标准差为σ(x)，输入风格图片的特征的均值为μ(y)、标准差为σ(y)，将内容图片x的通道级均值和标准差匹配到风格图片y的通道级均值和标准差：

表示对内容图片x先去风格化，再风格化到风格图片y的风格。

3.根据权利要求2所述的一种基于语义分割的任意风格迁移方法，其特征在于：所述的步骤S21中，具体步骤为：

S21：采用轻量化分割模型DABNet作为分割网络；

S22：采用内容图片x对应标注的语义图像训练分割网络，得到带语义信息的掩膜I_m1、I_m2、…、I_mn。

4.根据权利要求1所述的一种基于语义分割的任意风格迁移方法，其特征在于：所述的步骤S3中，目标区域I_r1、I_r2、…、I_rn与背景区域I_v相加的具体步骤为：

S31：提取风格融合后的语义区域图片，采用掩膜I_m1、I_m2、…、I_mn分别与风格迁移后的内容图片I_s1、I_s2、…、I_sn对应做Hadamard乘积：

I_r1＝I_m1⊙I_s1，

I_r2＝I_m2⊙I_s2，

…，

I_rn＝I_mn⊙I_sn，

得到的图片中，只有带语义信息的风格迁移的目标区域I_r1、I_r2、…、I_rn保留原来的像素值，其他区域像素值为0；

S32：将带有语义信息的掩膜I_m1、I_m2、…、I_mn相加并遮挡源图片I的目标区域，然后与源图片I做矩阵的乘法，设⊙为Hadamard乘积，得到去除语义信息的背景区域I_v：

I_v＝(1-I_m1-I_m2-…-I_mn)⊙I；

S33：通过像素值相加得到最终的合成图片I_f：

I_f＝(I_r1+I_r2+…+I_rn+I_v)。

5.根据权利要求4所述的一种基于语义分割的任意风格迁移方法，其特征在于：所述的步骤S3中，

目标区域I_r1、I_r2、…、I_rn的像素值与迁移后的风格图片I_s1、I_s2、…、I_sn的像素值一致；每张风格迁移后的图片不含语义信息的部分的像素值为0；

掩膜的二值图像的目标区域像素值为255，是白色，其他区域像素值为0，是黑色。

6.一种计算机存储介质，其特征在于：其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行如权利要求1至权利要求5中任意一项所述的一种基于语义分割的任意风格迁移方法。

Images