CN105989584B - 图像风格化重建的方法和装置 - Google Patents

Abstract

本发明提供了一种图像风格化重建的方法和装置。该方法包括：获取多对相同场景的源风格图像和目标风格图像；根据多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X；对源训练集Y和目标训练集X分别进行训练，确定源风格字典D^y，目标风格字典D^x以及源训练集Y对应的稀疏系数α^y和目标训练集X对应的稀疏系数α^x之间的映射关系根据源风格字典D^y，目标风格字典D^x以及映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与待处理的源风格图像y′对应的目标风格图像x′。实现了任意风格的源风格图像到任意风格的目标风格图像的重建，重建的准确性高。

Description

图像风格化重建的方法和装置

技术领域

本发明实施例涉及图像处理领域，尤其涉及一种图像风格化重建的方法和装置。

背景技术

在现实生活的应用中，为了不同的目的，存在许多不同的成像模式和相应的风格图像，如为了光照不变的人脸识别使用的近红外图像；在执法过程或者娱乐设备中使用的素描图像；在地震等特殊情况下为了检测生命使用的热红外图像等。

但为了满足某些图像应用需求，需要将相同场景的不同风格图像转换为相同风格图像。如在人脸识别中，不同风格的人脸图像间的匹配效果很差，将不同风格的人脸图像转换为相同风格的人脸图像后，能够提升人脸识别的准确率。因此图像风格化重建技术应运而生。

现有的图像风格化重建技术主要为基于笔触的图像风格化重建方法，该图像风格化重建方法只能将某种特定风格的图像重建为另一种特定风格的图像，图像重建的通用性较差，并且重建出的风格图像轮廓模糊，图像风格化重建的准确性较差。

发明内容

本发明实施例提供一种图像风格化重建的方法和装置。实现了任意风格的源风格图像到任意风格的目标风格图像的重建，重建的准确性高。

本发明实施例提供一种图像风格化重建的方法，包括：

获取多对相同场景的源风格图像和目标风格图像；

根据所述多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X；

对所述源训练集Y和所述目标训练集X分别进行训练，确定源风格字典D^y，目标风格字典D^x以及所述源训练集Y对应的稀疏系数α^y和所述目标训练集X对应的稀疏系数α^x之间的映射关系

根据所述源风格字典D^y，所述目标风格字典D^x以及所述映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与所述待处理的源风格图像y′对应的目标风格图像x′。

本发明实施例提供一种图像风格化重建的装置，包括：

获取模块，用于获取多对相同场景的源风格图像和目标风格图像；

所述获取模块，还用于根据所述多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X；

确定模块，用于对所述源训练集Y和所述目标训练集X分别进行训练，确定源风格字典D^y，目标风格字典D^x以及所述源训练集Y对应的稀疏系数α^y和所述目标训练集X对应的稀疏系数α^x之间的映射关系

重建模块，用于根据所述源风格字典D^y，所述目标风格字典D^x以及所述映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与所述待处理的源风格图像y′对应的目标风格图像x′。

本发明实施例提供一种图像风格化重建的方法和装置。通过获取多对相同场景的源风格图像和目标风格图像；根据多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X；对源训练集Y和目标训练集X分别进行训练，确定源风格字典D^y，目标风格字典D^x以及源训练集Y对应的稀疏系数α^y和目标训练集X对应的稀疏系数α^x之间的映射关系根据源风格字典D^y，目标风格字典D^x以及映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与待处理的源风格图像y′对应的目标风格图像x′。实现了任意风格的源风格图像到任意风格的目标风格图像的重建，重建的准确性高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明图像风格化重建的方法实施例一的流程图；

图2为本发明图像风格化重建的方法实施例二的第一流程图；

图3为本发明图像风格化重建的方法实施例二的第二流程图；

图4为本发明图像风格化重建的装置实施例一的结构示意图；

图5为本发明图像风格化重建的装置实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明图像风格化重建的方法实施例一的流程图，如图1所示，本实施例的执行主体为具有存储和处理功能的终端设备或服务器，如计算机，笔记本电脑等，具体可通过软件、硬件或软硬件相结合的方式实现，该方法包括：

步骤101，获取多对相同场景的源风格图像和目标风格图像。

本实施例中，对源风格图像和目标风格图像的类型不做限定，如源风格图像为近红外图像，目标风格图像为出于同一画家的素描图像，又如源风格图像为热红外图像，目标风格图像为近红外图像等。

本实施例中，相同场景的源风格图像和目标风格图像是指源风格图像和目标风格图像所展示的场景相同，如源风格图像和目标风格图像所展示的都为人脸图像，又如源风格图像和目标风格图像展示的都为指纹图像等。

本实施例中，一对相同场景的源风格图像和目标风格图像是指该对源风格图像和目标风格图像展示的为相同事物的图像，如在人脸图像中，一对相同场景的源风格图像和目标风格图像展示的都为张三的人脸。

本实施例中，以源风格图像为照片图像，目标风格图像为出于同一画家的素描图像，场景为人脸图像为例，则本实施例中的获取多对相同场景的源风格图像和目标风格图像是指获取多个人中每个人相对应的人脸照片图像和素描图像，其中对每个人相对应的照片图像和素描图像的对数不做限定。

本实施例中，多对相同场景的源风格图像和目标风格图像的大小相等。

步骤102，根据多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X。

本实施例中，由多对相同场景的源风格图像和目标风格图像中的多幅源风格图像经处理组成源训练集Y，由多对相同场景的源风格图像和目标风格图像中的多幅目标风格图像经处理组成目标训练集X。

步骤103，对源训练集Y和目标训练集X分别进行训练，确定源风格字典D^y，目标风格字典D^x以及源训练集Y对应的稀疏系数α^y和目标训练集X对应的稀疏系数α^x之间的映射关系

本实施例中，对源训练集Y和目标训练集X分别采用相同的方法进行训练，确定源风格字典D^y，目标风格字典D^x。

其中，源风格字典D^y和目标风格字典D^x都为过完备字典。

本实施例中，由于源训练集Y和目标训练集X分别采用的是成对的源风格图像和目 标风格图像经处理获取的，并且源风格字典D^y和目标风格字典D^x分别是对源训练集Y和目标 训练集X采用相同的训练方法获得的，所以源训练集Y对应的稀疏系数α^y和目标训练集X对 应的稀疏系数α^x之间存在映射关系，该映射关系

具体地，映射关系M可采用最小二乘法进行计算确定。

步骤104，根据源风格字典D^y，目标风格字典D^x以及映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与待处理的源风格图像y′对应的目标风格图像x′。

本实施例中，待处理的源风格图像y′与源训练集Y中的源风格图像为相同场景的图像。

具体地，本实施例中，在获取到待处理的源风格图像y′后，根据源风格字典D^y计算源风格字典D^y下待处理的源风格图像y′对应的稀疏系数α^y′，根据待处理的源风格图像y′对应的稀疏系数α^y′以及映射关系M，计算目标风格字典D^x下的目标风格图像x′对应的稀疏系数α^x′，根据目标风格字典D^x和目标风格图像x′对应的稀疏系数α^x′获取与待处理的源风格图像y′对应的目标风格图像x′。

本实施例中，通过获取多对相同场景的源风格图像和目标风格图像；根据多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X；对源训练集Y和目标训练集X分别进行训练，确定源风格字典D^y，目标风格字典D^x以及源训练集Y对应的稀疏系数α^y和目标训练集X对应的稀疏系数α^x之间的映射关系根据源风格字典D^y，目标风格字典D^x以及映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与待处理的源风格图像y′对应的目标风格图像x′。实现了任意风格的源风格图像到任意风格的目标风格图像的重建，重建的准确性高。

图2为本发明图像风格化重建的方法实施例二的流程图，如图2所示，本实施例的执行主体为具有存储和处理功能的终端设备或服务器，如计算机，笔记本电脑等，具体可通过软件、硬件或软硬件相结合的方式实现，该方法包括：

步骤201，获取多对相同场景的源风格图像和目标风格图像。

本实施例中，步骤201和本发明图像风格化重建的方法实施例一中的步骤101相同，在此不再一一赘述。

步骤202，将多对相同场景的源风格图像和目标风格图像中的每幅源风格图像重叠地划分为多个源风格图像块，并将多对相同场景的源风格图像和目标风格图像中的每幅目标风格图像重叠地划分为多个目标风格图像块。

本实施例中，将多对相同场景的源风格图像和目标风格图像中的每幅源风格图像重叠地划分为多个源风格图像块，每个源风格图像块的大小相等。将多对相同场景的源风格图像和目标风格图像中的每幅目标风格图像重叠地划分为多个目标风格图像块，每个目标风格图像块的大小相等。并且源风格图像块与目标风格图像块的大小相等。

本实施例中，对源风格图像块与目标风格图像块的大小不做限定，如源风格图像块与目标风格图像块的大小都为8×8的表示图像块的矩阵或16×16的表示图像块的矩阵等。

本实施例中，对源风格图像块之间重叠的行数或列数的数量不做限定，对目标风格图像块之间重叠的行数或列数的数量不做限定，但源风格图像块之间、目标风格图像块之间重叠的行数或列数的数量相等。

步骤203，将各个源风格图像块组合，获取源训练集Y，将各个目标风格图像块组合，获取目标训练集X。

本实施例中，将多对相同场景的源风格图像和目标风格图像中的每幅源风格图像重叠地划分为多个源风格图像块，每幅目标风格图像重叠地划分为多个目标风格图像块后，对每个源风格图像块和目标风格图像块进行拉伸处理，形成列向量，具体地形成列向量的方法为现有技术，本实施例中不再赘述。

将拉伸处理后的每个源风格图像块y_i组合，形成源训练集Y＝{y₁,y₂,...,y_i,...,y_n}。

其中，i表示源训练集Y中的第i个源风格图像块，n表示源训练集Y中源风格图像块的个数。

将拉伸处理后的每个目标风格图像块x_i组合，形成目标训练集X＝{x₁,x₂....,x_i,...,x_n}。

其中，i表示目标训练集X中的第i个目标风格图像块，n表示目标训练集X中目标风格图像块的个数。

本实施例中，源训练集Y中源风格图像块的个数和目标训练集X中目标风格图像块的个数相等。

步骤204，对源训练集Y和目标训练集X分别进行训练，确定源风格字典D^y，目标风格字典D^x以及源训练集Y对应的稀疏系数α^y和目标训练集X对应的稀疏系数α^x之间的映射关系

本实施例中，采用相同的训练方法分别对源训练集Y和目标训练集X进行训练，确定源风格字典D^y，目标风格字典D^x。

具体地，源风格字典

其中，k表示源风格字典D^y的第k个字典基，h表示源风格字典中字典基的个数。

其中，源风格字典D^y中h个字典基是由源训练集Y中随机抽取的拉伸后的源风格图像块组成的。随机抽取的每个拉伸后的源风格图像块y_i对应源风格字典D^y中的一个字典基

目标风格字典

其中，k表示目标风格字典D^x的第k个字典基，h表示目标风格字典中字典基的个数。

其中，目标风格字典D^x中h个字典基是由目标训练集X中随机抽取的拉伸后的目标风格图像块组成的。随机抽取的每个拉伸后的目标风格图像块x_i对应目标风格字典D^x中的一个字典基

其中，目标风格字典D^x对应的随机抽取的拉伸后的目标风格图像块与源风格字典D^y对应的随机抽取的拉伸后的源风格图像块是一一对应的。

本实施例中，本实施例中，源风格字典D^y和目标风格字典D^x都为过完备字典。对源风格字典D^y，目标风格字典D^x中的字典基的个数h不做限定。

举例说明为：源风格图像为人脸的照片图像，目标风格图像为人脸的素描图像，人脸的照片图像为10个人的人脸图像，每个人的人脸照片图像的个数为5幅，每幅人脸照片图像划分为50个人脸照片图像块，则该人脸的照片图像的图像块集合有2500个图像块，从中随机抽取指定个数的图像块，每个图像块经拉伸后作为源风格字典的一个字典基，同理，10个人的人脸素描图像，每个人的人脸素描图像的个数为5幅，每幅人脸素描图像划分为50个人脸素描图像块，则该人脸的素描图像的图像块集合有2500个图像块，取出与上述随机取出的指定个数的图像块对应的人脸素描图像块，每个人脸素描图像块经拉伸后作为目标字典的一个字典基。

所以，对于源训练集Y中的每个拉伸处理后的源风格图像块y_i都可以表示为式(1)所示：

其中，表示源风格图像块y_i对应的稀疏系数，表示源风格图像块y_i对应的重建误差。

对于目标训练集X中的每个目标风格图像块x_i都可以表示为式(2)所示：

其中，表示目标风格图像块x_i对应的稀疏系数，表示目标风格图像块x_i对应的重建误差。

由于对于相对应的源风格图像块y_i和目标风格图像块x_i，源风格图像块y_i对应的稀疏系数和目标风格图像块x_i对应的稀疏系数具有相同的稀疏性，与各自字典中相对应的字典基相关，所以，源风格图像块y_i对应的稀疏系数和目标风格图像块x_i对应的稀疏系数之间的关系可表示为式(3)所示：

对于源训练集Y对应的稀疏系数和目标训练集X对应的稀疏系数稀疏系数α^y和目标训练集X对应的稀疏系数α^x之间的关系可表示为式(4)所示：

Mα^y＝α^x (4)

则稀疏系数α^y和目标训练集X对应的稀疏系数α^x之间的映射关系M可表示为式(5)所示：

其中，M可通过最小二乘法进行计算获得。

本实施例中，将源训练集Y对应的稀疏系数α^y与目标训练集X对应的稀疏系数α^x分别表示为式(6)和式(7)所示：

α^y＝z·s^y (6)

α^x＝z·s^x (7)

其中，s^y表示源训练集Y对应的稀疏系数数值，s^x表示目标训练集X对应的稀疏系数数值，z表示源风格字典以及目标风格字典中的字典基标记数。

本实施例中，由于对于相对应的源风格图像块y_i和目标风格图像块x_i，源风格图像块y_i对应的稀疏系数和目标风格图像块x_i对应的稀疏系数具有相同的稀疏性，与各自字典中相对应的字典基相关，所以源风格字典以及目标风格字典中的字典基标记数相同。

步骤205，获取待处理的源风格图像y′，并将待处理的源风格图像y′重叠地划分为多个待处理的源风格图像块y′＝(y₁′,y′₂,...,y_i′,...y_l′)。

对每个待处理的源风格图像块y_i′进行拉伸处理，形成列向量，具体地形成列向量的方法为现有技术，本实施例中不再赘述。

其中，i表示源训练集Y中的第i个源风格图像块，l为待处理的源风格图像y′被重叠地划分的待处理的源风格图像块的个数。

本实施例中，待处理的源风格图像y′被重叠地划分的待处理的源风格图像块之间重叠的行数或列数的个数与源训练集Y中源风格图像块之间重叠的行数或列数的个数相等。并且，待处理的源风格图像块大小与源训练集Y中的源风格图像块的大小相同。

步骤206，对于每个待处理的源风格图像块y_i′，采用稀疏表示的方法计算每个待处理的源风格图像块y_i′对应的稀疏系数

具体地，本实施例中，对于每个待处理的源风格图像块y_i′，采用式(8)计算每个待处理的源风格图像块y_i′对应的稀疏系数

其中，运算符表示L₂范数，运算符“|| ||₁”表示L₁范数,λ为调节稀疏表示解的精确度和稀疏度的权重，式(8)可采用正则化最小二乘的方法进行求解，也可采用其它算法进行求解，本实施例不做限定。

优选地，根据先验知识，可知本实施例中的源风格图像块y_i′对应的稀疏系数数值源风格字典D^y、以及源风格图像块y_i′对应的重建误差服从正态分布，源风格图像块y_i′对应的稀疏系数数值以及源风格图像块y_i′对应的重建误差的超参数服从Gamma分布，所以，字典基标记数z_i′服从Beta-Bernoulli分布，其中z_i′服从Beta-Bernoulli分布可表示为使(9)所示：

其中，π_k为Beta-Bernoulli分布的中间参数，a,b,K为Beta-Bernoulli分布的中间系数。

所以，本实施例中，在稀疏表示方法计算每个待处理的源风格图像块y_i′的稀疏系数时，在每个待处理的源风格图像块y_i′对应的稀疏系数数值服从正态分布，字典基标记数z_i′服从Beta-Bernoulli分布的限制条件下，采用稀疏表示方法计算每个待处理的源风格图像块y_i′的稀疏系数其中可表示为式(10)所示：

其中，运算符表示L₂范数，运算符“|| ||₁”表示L₁范数,λ为调节稀疏表示解的精确度和稀疏度的权重，式(10)可采用正则化最小二乘的方法进行求解，也可采用其他算法进行求解，本实施例不做限定。

步骤207，根据每个待处理的源风格图像块y_i′的稀疏系数映射关系M，以及字典基标记数z_i′，计算每个待处理的源风格图像块y_i′对应的目标风格图像块x_i′对应的稀疏系数

本实施例中，每个待处理的源风格图像块y_i′对应的目标风格图像块x_i′对应的稀疏系数表示为式(11)所示：

其中，z_i′为待处理的源风格图像块y_i′的稀疏系数对应的字典基标记数。

步骤208，根据每个目标风格图像块x_i′对应的稀疏系数和目标风格字典D^x，计算每个目标风格图像块x_i′。

其中，每个目标风格图像块x_i′表示为式(12)所示：

步骤209，根据每个目标风格图像块x_i′，合成待处理的源风格图像y′对应的目标风格图像x′。

具体地，本实施例中，步骤209可分为以下三个步骤进行，如图3所示。

步骤209a，获取每个目标风格图像块x_i′之间的重叠区域。

本实施例中，根据待处理的源风格图像y′重叠划分为多个源风格图像块时的待处理的源风格图像块y_i′之间重叠的行数或列数，获取每个目标风格图像块x_i′之间的重叠区域。

步骤209b，对重叠区域进行加和取平均值运算，确定重建的重叠区域。

步骤209c，根据每个目标风格图像块x_i′和重建的重叠区域，合成目标风格图像x′。

本实施例中，将每个目标风格图像块x_i′和重建的重叠区域组合，合成重建后的目标风格图像x′。

本实施例中，将多对相同场景的源风格图像和目标风格图像划分为多个源风格图像块和多个目标图像块，并确定过完备的源风格字典D^y和目标风格字典D^x，根据源风格字典D^y，目标风格字典D^x以及映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，并在采用稀疏表示的方法对待处理的源风格图像y′进行重建时，使字典基标记数z_i′服从Beta-Bernoulli分布的限制条件，获取与待处理的源风格图像y′对应的目标风格图像x′，能够使源风格图像采用稀疏表示的方法计算出的稀疏系数更精确，以实现重建的与待处理的源风格图像y′对应的目标风格图像x′准确性更高。

需要说明的是，本实施例中所有公式中的AB的形式表示A矩阵或向量、B矩阵或向量之间的乘积。

图4为本发明图像风格化重建的装置实施例一的结构示意图，如图4所示，该图像风格化重建的装置包括：获取模块41、确定模块42和重建模块43。

其中，获取模块41，用于获取多对相同场景的源风格图像和目标风格图像。获取模块41，还用于根据多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X。确定模块42，用于对源训练集Y和目标训练集X分别进行训练，确定源风格字典D^y，目标风格字典D^x以及源训练集Y对应的稀疏系数α^y和目标训练集X对应的稀疏系数α^x之间的映射关系重建模块43，用于根据源风格字典D^y，目标风格字典D^x以及映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与待处理的源风格图像y′对应的目标风格图像x′。

本实施例的装置可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本发明图像风格化重建的装置实施例二的结构示意图，如图5所示，该图像风格化重建的装置包括获取模块51、确定模块52、重建模块53、划分模块54、计算模块55。

其中，获取模块51，用于获取多对相同场景的源风格图像和目标风格图像。获取模块51，还用于根据多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X。确定模块52，用于对源训练集Y和目标训练集X分别进行训练，确定源风格字典D^y，目标风格字典D^x以及源训练集Y对应的稀疏系数α^y和目标训练集X对应的稀疏系数α^x之间的映射关系重建模块53，用于根据源风格字典D^y，目标风格字典D^x以及映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与待处理的源风格图像y′对应的目标风格图像x′。

进一步地，获取模块51包括第一划分单元511、第二划分单元512、第一组合单元513和第二组合单元514。

其中，第一划分单元511：用于将多对相同场景的源风格图像和目标风格图像中的每幅源风格图像重叠地划分为多个源风格图像块。

第二划分单元512：用于将多对相同场景的源风格图像和目标风格图像中的每幅目标风格图像重叠地划分为多个目标风格图像块。

第一组合单元513：用于将各个源风格图像块组合，获取源训练集Y。

第二组合单元514：用于将各个目标风格图像块组合，获取目标训练集X。

进一步地，划分模块54，用于重建模块根据源风格字典D^y，目标风格字典D^x以及映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与待处理的源风格图像y′对应的目标风格图像x′之前，将待处理的源风格图像y′重叠地划分为多个待处理的源风格图像块y′＝(y₁′,y₂′,...,y_i′,...y_l′)，待处理的源风格图像块大小与源训练集Y中的源风格图像块的大小相同。

计算模块55，用于对于每个待处理的源风格图像块y_i′，采用稀疏表示的方法计算每个待处理的源风格图像块y_i′对应的稀疏系数

优选地，计算模块55，具体用于：

在每个待处理的源风格图像块y_i′对应的稀疏系数数值服从正态分布，字典基 标记数z_i′服从Beta-Bernoulli分布的限制条件下，采用稀疏表示方法计算每个待处理的 源风格图像块y_i′的稀疏系数

进一步地，重建模块包括：第一计算单元531、第二计算单元532和合成单元533。

其中，第一计算单元531：用于根据每个待处理的源风格图像块y_i′的稀疏系数映射关系M，以及字典基标记数z_i′，计算每个待处理的源风格图像块y_i′对应的目标风格图像块x_i′对应的稀疏系数

第二计算单元532，用于根据每个目标风格图像块x_i′对应的稀疏系数和目标风格字典D^x，计算每个目标风格图像块

合成单元533，用于根据每个目标风格图像块x′_i，合成待处理的源风格图像y′对应的目标风格图像x′。

进一步地，合成单元533具体用于：

获取每个目标风格图像块x_i′之间的重叠区域；对重叠区域进行加和取平均值运算，确定重建的重叠区域；根据每个目标风格图像块x_i′和重建的重叠区域，合成目标风格图像x′。

本实施例的装置可以执行图2和图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种图像风格化重建的方法，其特征在于，包括：

获取多对相同场景的源风格图像和目标风格图像；

根据所述多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X；

对所述源训练集Y和所述目标训练集X分别进行训练，确定源风格字典D^y，目标风格字典D^x以及所述源训练集Y对应的稀疏系数α^y和所述目标训练集X对应的稀疏系数α^x之间的映射关系

根据所述源风格字典D^y，所述目标风格字典D^x以及所述映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与所述待处理的源风格图像y′对应的目标风格图像x′；

所述根据所述源风格字典D^y，所述目标风格字典D^x以及所述映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与所述待处理的源风格图像y′对应的目标风格图像x′之前，还包括：

将所述待处理的源风格图像y′重叠地划分为多个待处理的源风格图像块y′＝(y′₁,y′₂,...,y′_i,...y′_l)，所述待处理的源风格图像块大小与所述源训练集Y中的源风格图像块的大小相同；

对于每个待处理的源风格图像块y′_i，采用稀疏表示的方法计算每个待处理的源风格图像块y′_i对应的稀疏系数

所述对于每个待处理的源风格图像块y′_i，采用稀疏表示的方法计算每个待处理的源风格图像块y′_i对应的稀疏系数具体包括：

在每个待处理的源风格图像块y′_i对应的稀疏系数数值服从正态分布，字典基标记数z′_i服从Beta-Bernoulli分布的限制条件下，采用稀疏表示方法计算每个待处理的源风格图像块y′_i的稀疏系数

所述根据所述源风格字典D^y，所述目标风格字典D^x以及所述映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与所述待处理的源风格图像y′对应的目标风格图像，具体包括：

根据所述每个待处理的源风格图像块y′_i的稀疏系数所述映射关系M，以及所述字典基标记数z′_i，计算每个待处理的源风格图像块y′_i对应的目标风格图像块x′_i对应的稀疏系数

根据每个目标风格图像块x′_i对应的稀疏系数和所述目标风格字典D^x，计算每个目标风格图像块

根据所述每个目标风格图像块x′_i，合成待处理的源风格图像y′对应的目标风格图像x′。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X，具体包括：

将所述多对相同场景的源风格图像和目标风格图像中的每幅源风格图像重叠地划分为多个源风格图像块；

将所述多对相同场景的源风格图像和目标风格图像中的每幅目标风格图像重叠地划分为多个目标风格图像块；

将所述各个源风格图像块组合，获取源训练集Y；

将所述各个目标风格图像块组合，获取目标训练集X。

3.根据权利要求1所述的方法，所述根据所述每个目标风格图像块x′_i，合成待处理的源风格图像y′对应的目标风格图像x′，具体包括：

获取所述每个目标风格图像块x′_i之间的重叠区域；

对所述重叠区域进行加和取平均值运算，确定重建的重叠区域；

根据所述每个目标风格图像块x′_i和重建的重叠区域，合成目标风格图像x′。

4.一种图像风格化重建的装置，其特征在于，包括：

获取模块，用于获取多对相同场景的源风格图像和目标风格图像；

所述获取模块，还用于根据所述多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X；

确定模块，用于对所述源训练集Y和所述目标训练集X分别进行训练，确定源风格字典D^y，目标风格字典D^x以及所述源训练集Y对应的稀疏系数α^y和所述目标训练集X对应的稀疏系数α^x之间的映射关系

重建模块，用于根据所述源风格字典D^y，所述目标风格字典D^x以及所述映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与所述待处理的源风格图像y′对应的目标风格图像x′；

所述装置还包括：划分模块和计算模块，

所述划分模块，用于所述重建模块根据所述源风格字典D^y，所述目标风格字典D^x以及所述映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与所述待处理的源风格图像y′对应的目标风格图像x′之前，将所述待处理的源风格图像y′重叠地划分为多个待处理的源风格图像块y′＝(y′₁,y′₂,...,y′_i,...y′_l)，所述待处理的源风格图像块大小与所述源训练集Y中的源风格图像块的大小相同；

所述计算模块，用于对于每个待处理的源风格图像块y′_i，采用稀疏表示的方法计算每个待处理的源风格图像块y′_i对应的稀疏系数

所述计算模块，具体用于：

在每个待处理的源风格图像块y′_i对应的稀疏系数数值服从正态分布，字典基标记数z′_i服从Beta-Bernoulli分布的限制条件下，采用稀疏表示方法计算每个待处理的源风格图像块y′_i的稀疏系数

所述重建模块包括：

第一计算单元：用于根据所述每个待处理的源风格图像块y′_i的稀疏系数所述映射关系M，以及所述字典基标记数z′_i，计算每个待处理的源风格图像块y′_i对应的目标风格图像块x′_i对应的稀疏系数

第二计算单元，用于根据每个目标风格图像块x′_i对应的稀疏系数和所述目标风格字典D^x，计算每个目标风格图像块

合成单元：用于根据所述每个目标风格图像块x′_i，合成待处理的源风格图像y′对应的目标风格图像x′。

5.根据权利要求4所述的装置，其特征在于，所述获取模块包括：

第一划分单元：用于将所述多对相同场景的源风格图像和目标风格图像中的每幅源风格图像重叠地划分为多个源风格图像块；

第二划分单元：用于将所述多对相同场景的源风格图像和目标风格图像中的每幅目标风格图像重叠地划分为多个目标风格图像块；

第一组合单元：用于将所述各个源风格图像块组合，获取源训练集Y；

第二组合单元：用于将所述各个目标风格图像块组合，获取目标训练集X。

6.根据权利要求4所述的装置，所述合成单元具体用于：

获取所述每个目标风格图像块x′_i之间的重叠区域；对所述重叠区域进行加和取平均值运算，确定重建的重叠区域；根据所述每个目标风格图像块x_i′和重建的重叠区域，合成目标风格图像x′。