CN109325903A - 图像风格化重建的方法及装置 - Google Patents

Abstract

本发明提供的图像风格化重建的方法及装置，通过在颜色域、结构域和纹理域对接收的待重建图像进行分解和处理，以获取待重建图像的在颜色域上的重建颜色特征图像、在结构域上的重建结构特征图像和在纹理域上的重建纹理特征图像，并对获取的重建颜色特征图像、重建结构特征图像和重建纹理特征图像进行融合，获得重建图像。通过这样的方式，从而使得重建图像不仅在结构域上与目标风格图像相似，还在颜色域和纹理域上与目标风格图像相似，有效提高了与目标风格图像的风格相似度。

Description

图像风格化重建的方法及装置

技术领域

本发明涉及图像处理技术，尤其涉及一种图像风格化重建的方法及装置。

背景技术

图像风格化重建是指将输入的图像转化为与自身表现形式不同的其他表现形式的图像，其被广泛运用于人们的日常中，例如，在日常拍摄中，可利用图像软件将拍摄得到的照片转换为油画风格等的图像。

在现有的图像风格化重建方法中，先分别建立输入图像和目标风格图像的在结构域上的图像字典，随后利用稀疏算法建立输入图像和目标风格图像在结构域上的映射关系，最后利用图像字典和映射关系对输入图像进行重建，获得符合目标风格的重建后的输入图像。

但是，在现有的图像风格化重建方法中，仅在结构域上对输入图像进行了重建，其获得的重建后的图像的风格与目标风格的相似度不高。

发明内容

针对现有技术中存在的现有重建后的图像的风格与目标风格的相似度不高的问题，本发明提供了一种图像风格化重建的方法及装置。

一方面，本发明提供的图像风格化重建的方法，包括：

接收用户输入的目标风格图像和待重建图像；

在颜色域、结构域和纹理域对所述目标风格图像和待重建图像分别进行分解，获取所述目标风格图像和所述待重建图像的颜色特征图像、结构特征图像和纹理特征图像；

对所述目标风格图像的颜色特征图像和所述待重建图像的颜色特征图像进行图像分割和颜色迁移，获得所述待重建图像的重建颜色特征图像；

根据所述目标风格图像的结构特征图像、所述待重建图像的结构特征图像以及预设的稀疏表示算法，获得所述待重建图像的重建结构特征图像；

对所述目标风格图像的纹理特征图像和所述待重建图像的纹理特征图像进行纹理迁移，获得所述待重建图像的重建纹理特征图像；

将所述待重建图像的重建颜色特征图像、所述待重建图像的重建结构特征图像和所述待重建图像的重建纹理特征图像融合，获得重建图像。

进一步地，所述对所述目标风格图像的颜色特征图像和所述待重建图像的颜色特征图像进行图像分割和颜色迁移，获得所述待重建图像的重建颜色特征图像，包括：

按照图像语义信息分别对所述目标风格图像的颜色特征图像和所述待重建图像的颜色特征图像进行图像分割处理，获得所述目标风格图像的掩膜图像和所述待重建图像的掩膜图像；其中，掩膜图像包括若干图像语义块、每个图像语义块的语义标识以及每个图像语义块的颜色信息；

根据各语义标识，确定与所述待重建图像的每个图像语义块对应的所述目标风格图像的图像语义块，并利用所述对应的所述目标风格图像的图像语义块的颜色信息，对所述待重建图像的各个图像语义块的颜色信息进行颜色迁移，获得所述待重建图像的迁移后的各图像语义块；

对所述迁移后的各个图像语义块进行图像融合处理，获取所述待重建图像的重建颜色特征图像。

进一步地，所述根据所述目标风格图像的结构特征图像和所述待重建图像的结构特征图像以及预设的稀疏表示算法，获得所述待重建图像的重建结构特征图像，包括：

分别对所述目标风格图像的结构特征图像和所述待重建图像的结构特征图像进行滤波处理，获得所述目标风格图像的第一边缘图像和所述待重建图像的第二边缘图像；

将所述第一边缘图像和所述第二边缘图像进行像素块划分，获取若干第一图像像素块和若干第二图像像素块；其中，所述第一图像像素块和第二图像像素块的图像像素块的尺寸相同；

计算各第一图像像素块与各第二图像像素块的相似度，分别建立所述目标风格图像的第一图像字典和所述待重建图像的第二图像字典；

利用预设的稀疏表示算法确定所述第一图像字典和所述第二图像字典之间的映射关系，获得字典对模型；

根据字典对模型和所述待重建图像的结构特征图像，获得所述待重建图像的重建结构特征图像。

进一步地，所述对所述目标风格图像的纹理特征图像和所述待重建图像的纹理特征图像进行纹理迁移，获得所述待重建图像的重建纹理特征图像，包括：

对所述待重建图像的纹理特征图像和所述目标风格图像的纹理特征图像进行像素块划分，分别获取若干第三图像像素块、若干第四图像像素块以及各图像像素块对应的位置坐标；其中，所述第三图像像素块和第四图像像素块的图像像素块的尺寸相同；

计算各第三图像像素块与各第四图像像素块的相似度，以及各第三图像像素块的位置坐标与各第四图像像素块的位置坐标之间的距离，并根据各相似度和各距离，在各第四图像像素块中确定与各第三图像像素块匹配的最优图像像素块；

根据各最优图像像素块对各第三图像像素块进行纹理迁移，并对迁移后的各第三图像像素块进行图像堆叠处理，获得所述待重建图像的重建纹理特征图像。

进一步地，所述获得所述待重建图像的重建纹理特征图像之后，还包括：

提取目标风格图像的细粒度特征，利用金字塔算法将所述细粒度特征与所述待重建图像的重建纹理特征图像进行融合，获得所述待重建图像的第二重建纹理特征图像；

相应的，将所述待重建图像的重建颜色特征图像、所述待重建图像的重建结构特征图像和所述待重建图像的重建纹理特征图像融合，获得重建图像，包括：

将所述待重建图像的重建颜色特征图像、所述待重建图像的重建结构特征图像和所述待重建图像的第二重建纹理特征图像融合，获得重建图像。

另一方面，本发明提供了一种图像风格化重建的装置，包括：

接收模块，用于接收用户输入的目标风格图像和待重建图像；

分解模块，用于在颜色域、结构域和纹理域对所述目标风格图像和待重建图像分别进行分解，获取所述目标风格图像和所述待重建图像的颜色特征图像、结构特征图像和纹理特征图像；

颜色重建模块，用于对所述目标风格图像的颜色特征图像和所述待重建图像的颜色特征图像进行图像分割和颜色迁移，获得所述待重建图像的重建颜色特征图像；

结构重建模块，用于根据所述目标风格图像的结构特征图像、所述待重建图像的结构特征图像以及预设的稀疏表示算法，获得所述待重建图像的重建结构特征图像；

纹理重建模块，用于对所述目标风格图像的纹理特征图像和所述待重建图像的纹理特征图像进行纹理迁移，获得所述待重建图像的重建纹理特征图像；

融合模块，用于将所述待重建图像的重建颜色特征图像、所述待重建图像的重建结构特征图像和所述待重建图像的重建纹理特征图像融合，获得重建图像。

进一步地，所述颜色重建模块，具体包括：

第一分割单元，用于按照图像语义信息分别对所述目标风格图像的颜色特征图像和所述待重建图像的颜色特征图像进行图像分割处理，获得所述目标风格图像的掩膜图像和所述待重建图像的掩膜图像；其中，掩膜图像包括若干图像语义块、每个图像语义块的语义标识以及每个图像语义块的颜色信息；

颜色迁移单元，用于根据各语义标识，确定与所述待重建图像的每个图像语义块对应的所述目标风格图像的图像语义块，并利用所述对应的所述目标风格图像的图像语义块的颜色信息，对所述待重建图像的各个图像语义块的颜色信息进行颜色迁移，获得所述待重建图像的迁移后的各图像语义块；

第一图像获取单元，用于对所述迁移后的各个图像语义块进行图像融合处理，获取所述待重建图像的重建颜色特征图像。

进一步地，所述结构重建模块，具体包括：

滤波单元，用于分别对所述目标风格图像的结构特征图像和所述待重建图像的结构特征图像进行滤波处理，获得所述目标风格图像的第一边缘图像和所述待重建图像的第二边缘图像；

第二分割单元，用于将所述第一边缘图像和所述第二边缘图像进行像素块划分，获取若干第一图像像素块和若干第二图像像素块；其中，所述第一图像像素块和第二图像像素块的图像像素块的尺寸相同；

字典对模型单元，用于计算各第一图像像素块与各第二图像像素块的相似度，分别建立所述目标风格图像的第一图像字典和所述待重建图像的第二图像字典；还用于利用预设的稀疏表示算法确定所述第一图像字典和所述第二图像字典之间的映射关系，获得字典对模型；

第二图像获取单元，用于根据字典对模型和所述待重建图像的结构特征图像，获得所述待重建图像的重建结构特征图像。

进一步地，所述纹理重建模块，具体包括：

第三分割单元，用于对所述待重建图像的纹理特征图像和所述目标风格图像的纹理特征图像进行像素块划分，分别获取若干第三图像像素块、若干第四图像像素块以及各图像像素块对应的位置坐标；其中，所述第三图像像素块和第四图像像素块的图像像素块的尺寸相同；

匹配单元，用于计算各第三图像像素块与各第四图像像素块的相似度，以及各第三图像像素块的位置坐标与各第四图像像素块的位置坐标之间的距离，并根据各相似度和各距离，在各第四图像像素块中确定与各第三图像像素块匹配的最优图像像素块；

第三图像获取单元，用于根据各最优图像像素块对各第三图像像素块进行纹理迁移，并对迁移后的各第三图像像素块进行图像堆叠处理，获得所述待重建图像的重建纹理特征图像。

进一步地，所述分解模块还用于在所述纹理重建模块获得所述待重建图像的重建纹理特征图像之后，提取目标风格图像的细粒度特征；

相应的，所述纹理重建模块，还用于利用金字塔算法将所述细粒度特征与所述待重建图像的重建纹理特征图像进行融合，获得所述待重建图像的第二重建纹理特征图像；

相应的，所述融合模块，还用于将所述待重建图像的重建颜色特征图像、所述待重建图像的重建结构特征图像和所述待重建图像的第二重建纹理特征图像融合，获得重建图像。

本发明提供的图像风格化重建的方法及装置，通过在颜色域、结构域和纹理域对接收的目标风格图像和待重建图像分别进行分解，并分别获得目标风格图像和所述待重建图像的颜色特征图像、结构特征图像和纹理特征图像。对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割和颜色迁移，获得待重建图像的重建颜色特征图像。根据目标风格图像的结构特征图像、待重建图像的结构特征图像以及预设的稀疏表示算法，获得所述待重建图像的重建结构特征图像。对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行纹理迁移，获得待重建图像的重建纹理特征图像。将待重建图像的重建颜色特征图像、待重建图像的重建结构特征图像和待重建图像的重建纹理特征图像融合，获得重建图像。通过在颜色域、结构域和纹理域对接收的待重建图像进行重建，从而使得重建图像不仅在结构域上与目标风格图像相似，还在颜色域和纹理域上与目标风格图像相似，进而提高了与目标风格图像的风格相似度。

附图说明

图1为本发明实施例一提供的一种图像风格化重建的方法的流程示意图；

图2为本发明实施例二提供的一种图像风格化重建的方法的流程示意图；

图3为本发明实施例三提供的一种图像风格化重建的方法的流程示意图；

图4为本发明实施例四提供的一种图像风格化重建的装置的结构示意图；

图5为本发明实施例五提供的一种图像风格化重建的装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图像风格化重建是指将输入的图像转化为与自身表现形式不同的其他表现形式的图像，在日常拍摄中，用户可利用图像软件实现对拍摄得到的照片的风格化重建。而现有的图像软件或图像处理装置一般是基于图像在结构域上的特征进行风格化重建的，即先分别建立输入图像和目标风格图像的在结构域上的图像字典，随后利用稀疏算法建立输入图像和目标风格图像在结构域上的映射关系，最后利用图像字典和映射关系对输入图像进行重建，获得符合目标风格的重建后的输入图像。进一步来说，以目标风格为油画肖像画为例，在现有技术中，可输入如达·芬奇的油画画作《蒙娜丽莎》或意大利画家提香·韦切利奥的油画画作《提香自画像》等的图像作为目标风格图像，还输入通过利用手机终端或摄像设备拍摄获得的自拍照或人物写真照作为待重建图像。随后现有技术会将该目标风格画像和待重建图像在结构域上的特征提取出来，并利用字典对和稀疏表示算法对待重建图像的结构域特征进行重建，从而获得重建图像。换句话说，在现有的图像风格化重建方法中，仅在结构域上对输入图像进行了重建，其获得的重建后的图像仅在图像的结构上与目标风格图像的结构保持风格的一致，而没有体现目标风格图像中画家的配色风格和线条纹理风格，因此，现有技术中获得的重建图像的风格与目标风格图像的风格相似度不高。

图1为本发明实施例一提供的一种图像风格化重建的方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤101、接收用户输入的目标风格图像和待重建图像。

需要说明的是，本发明提供的图像风格化重建的方法的执行主体具体可为图像风格化重建的装置，其具体可为由处理器，存储器，逻辑组合电路，芯片组等硬件结构组成的物理设备，其中存储器中存有可用于实现本发明提供的图像风格化重建的方法的代码逻辑。

具体来说，目标风格图像和待重建图像均为用户输入的，其中的目标风格图像具体可为某画家的画作，如达·芬奇的油画画作《蒙娜丽莎》、意大利画家提香·韦切利奥的油画画作《提香自画像》，而待重建图像具体可为通过手机终端或摄像设备拍摄获得的自拍照或人物写真照，本发明对此不进行限制。

步骤102、在颜色域、结构域和纹理域对目标风格图像和待重建图像分别进行分解，获取目标风格图像和待重建图像的颜色特征图像、结构特征图像和纹理特征图像。

具体来说，可利用图像语义识别技术，对目标风格图像的颜色特征图像的每个像素点和待重建图像的颜色特征图像的每个像素点分别进行语义识别

步骤103、在对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割和颜色迁移，获得待重建图像的重建颜色特征图像。

具体来说，由于目标风格图像的风格可通过图像在配色上的配色风格进行体现，因此，在本发明提供的实施例一的技术方案中，可通过分别对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割的方式，获取分割后的目标风格图像的颜色特征图像和分割后的待重建图像的颜色特征图像，随后利用分割后的目标风格图像的颜色特征图像和分割后的待重建图像的颜色特征图像进行颜色迁移，以获得待重建图像的重建颜色特征图像。也就是说，利用步骤103对待重建图像的配色风格进行重建，以使提高重建图像的在配色风格上与目标风格图像保持一致。

步骤104、在根据目标风格图像的结构特征图像、待重建图像的结构特征图像以及预设的稀疏表示算法，获得待重建图像的重建结构特征图像。

本步骤104可采用现有任意一种结构域上的风格化重建方式实现，而通过对待重建图像的结构风格进行重建，以使提高重建图像的在结构风格上与目标风格图像保持一致。

步骤105、在对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行纹理迁移，获得待重建图像的重建纹理特征图像。

具体来说，由于目标风格图像的风格还通过图像在纹理上的纹理风格进行体现，因此，在本发明提供的实施例一的技术方案中，还可通过在对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行纹理迁移，以，获得待重建图像的重建纹理特征图像。也就是说，利用步骤105对待重建图像的如笔触纹理等纹理风格进行重建，以使提高重建图像的在纹理风格上与目标风格图像保持一致。

步骤106、在将待重建图像的重建颜色特征图像、待重建图像的重建结构特征图像和待重建图像的重建纹理特征图像融合，获得重建图像。

具体来说，可采用与步骤102中的分解方式的逆运算算法，将获得的重建结构特征图像和待重建图像的重建纹理特征图像进行融合，以形成在颜色域、结构域和纹理域均与目标风格图像的风格符合的重建图像。

本实施例一提供的图像风格化重建的方法通过在颜色域、结构域和纹理域对接收的目标风格图像和待重建图像分别进行分解，并分别获得目标风格图像和待重建图像的颜色特征图像、结构特征图像和纹理特征图像。对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割和颜色迁移，获得待重建图像的重建颜色特征图像。根据目标风格图像的结构特征图像、待重建图像的结构特征图像以及预设的稀疏表示算法，获得待重建图像的重建结构特征图像。对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行纹理迁移，获得待重建图像的重建纹理特征图像。将待重建图像的重建颜色特征图像、待重建图像的重建结构特征图像和待重建图像的重建纹理特征图像融合，获得重建图像。也就是说，通过在颜色域、结构域和纹理域对接收的待重建图像进行重建，从而使得重建图像不仅在结构域上与目标风格图像相似，还在颜色域和纹理域上与目标风格图像相似，进而提高了与目标风格图像的风格相似度。

为了进一步描述本发明提供的图像风格化重建的方法，在实施例一的基础上，图2为本发明实施例二提供的一种图像风格化重建的方法的流程示意图。

如图2所示，该方法包括如下步骤：

步骤201、接收用户输入的目标风格图像和待重建图像。

具体来说，目标风格图像和待重建图像均为用户输入的，其中的目标风格图像具体可为某画家的画作，如达·芬奇的油画画作《蒙娜丽莎》、意大利画家提香·韦切利奥的油画画作《提香自画像》，而待重建图像具体可为通过手机终端或摄像设备拍摄获得的自拍照或人物写真照，本发明对此不进行限制。

步骤202、在颜色域、结构域和纹理域对目标风格图像和待重建图像分别进行分解，获取目标风格图像和待重建图像的颜色特征图像、结构特征图像和纹理特征图像。

具体来说，可利用现有的神经网络模型，分别提取目标风格图像和待重建图像在颜色域、结构域和纹理域上的特征，并获得目标风格图像的颜色特征图像、结构特征图像和纹理特征图像，以及待重建图像的颜色特征图像、结构特征图像和纹理特征图像。

步骤203、按照图像语义信息分别对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割处理，获得目标风格图像的掩膜图像和待重建图像的掩膜图像。

步骤204、根据各语义标识，确定与待重建图像的每个图像语义块对应的目标风格图像的图像语义块，并利用对应的目标风格图像的图像语义块的颜色信息，对待重建图像的各个图像语义块的颜色信息进行颜色迁移，获得待重建图像的迁移后的各图像语义块。

步骤205、对迁移后的各个图像语义块进行图像融合处理，获取待重建图像的重建颜色特征图像。

与实施例一不同的是，实施例二中的对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割和颜色迁移，获得待重建图像的重建颜色特征图像具体可采用步骤203-205实现。

具体来说，可采用现有的语义识别方法，对目标风格图像的颜色特征图像和待重建图像的颜色特征图像中的每个像素的语义进行识别，并对识别后的像素进行聚类和图像分割，从而分别获得目标风格图像以及待重建图像的包括若干图像语义块、每个图像语义块的语义标识以及每个图像语义块的颜色信息的掩膜图。随后，根据每个图像语义块的语义标识，确定与待重建图像的每个图像语义块语义标识相同的目标风格图像的图像语义块，例如，若待重建图像的某一图像语义块的语义标识表示为眼睛属性，则在目标风格图像的若干图像语义块中找到语义标识表示为眼睛属性的那一块图像语义块，获取该图像语义块的颜色信息，并利用颜色迁移技术将目标风格图像的眼睛属性的图像语义块的颜色信息进行迁移至待重建图像的眼睛属性的图像语义块的颜色信息中，得到待重建图像的眼睛属性的迁移后的图像语义块。当获得待重建图像的迁移后的全部图像语义块之后，采用图像融合技术对迁移后的各个图像语义块进行图像融合处理，获取待重建图像的重建颜色特征图像。其中，颜色迁移具体可基于lαβ颜色空间进行，还可基于其他类型颜色迁移方式，本发明对此不进行限制。

步骤206、根据目标风格图像的结构特征图像、待重建图像的结构特征图像以及预设的稀疏表示算法，获得待重建图像的重建结构特征图像。

具体来说，分别对目标风格图像的结构特征图像和待重建图像的结构特征图像进行滤波处理，获得目标风格图像的第一边缘图像和待重建图像的第二边缘图像。将第一边缘图像和第二边缘图像进行像素块划分，获取若干第一图像像素块和若干第二图像像素块，其中，第一图像像素块和第二图像像素块的图像像素块的尺寸相同。计算各第一图像像素块与各第二图像像素块的相似度，分别建立目标风格图像的第一图像字典和待重建图像的第二图像字典。利用预设的稀疏表示算法确定第一图像字典和第二图像字典之间的映射关系，获得字典对模型。根据字典对模型和待重建图像的结构特征图像，获得待重建图像的重建结构特征图像。其中，相似度的计算可采用梯度均方误差算法实现。

一般肖像画通过勾勒主要人物的结构来确定画作的基本布局，因此利用结构域的特征来保证输入的待重建图像中的人物结构完整不变。在结构化重建的过程中，通过建立待重建图像和目标风格图像在结构域的对应关系，并使用稀疏表示构建成对的图像字典对模型。最后使用字典对对待重建图像的结构特征进行风格化重建。

步骤207、对待重建图像的纹理特征图像和目标风格图像的纹理特征图像进行像素块划分，分别获取若干第三图像像素块、若干第四图像像素块以及各图像像素块对应的位置坐标。

其中，第三图像像素块和第四图像像素块的图像像素块的尺寸相同。

步骤208、计算各第三图像像素块与各第四图像像素块的相似度，以及各第三图像像素块的位置坐标与各第四图像像素块的位置坐标之间的距离，并根据各相似度和各距离，在各第四图像像素块中确定与各第三图像像素块匹配的最优图像像素块。

步骤209、根据各最优图像像素块对各第三图像像素块进行纹理迁移，并对迁移后的各第三图像像素块进行图像堆叠处理，获得待重建图像的重建纹理特征图像。

与实施例一不同的是，实施例二中的对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行纹理迁移，获得待重建图像的重建纹理特征图像具体可采用步骤207-209实现。

具体来说，将待重建图像的纹理特征图像划分为尺寸相同的若干第三像素块获取若干第三图像像素块，将目标风格图像的纹理特征图像划分为尺寸相同的若干第四像素块，其中第三图像像素块的尺寸与第四像素块的尺寸相同。随后，确定每个第三图像像素块在待重建图像的纹理特征图像中的位置坐标以及每个第四图像像素块在目标风格图像的纹理特征图像中的位置坐标。采用梯度均方误差算法计算各第三图像像素块与各第四图像像素块的相似度。根据各图像像素块的位置坐标，计算各第三图像像素块与各第四图像像素块的位置坐标之间的距离。根据计算出的各相似度和各距离，确定与各第三图像像素块匹配的最优图像像素块，其中该最优图像像素块是根据预设策略从各第四图像像素块选出的，该预设策略具体可为相似度大于某一相似度阈值且距离小于某一距离阈值，也可为相似度在某一相似度区间之内且距离在某一距离区间之内，本发明对此不进行限制。随后，采用Alpha抠图技术将各最优图像像素块的纹理迁移至各第三图像像素块上，将迁移后的各第三图像像素块按照位置坐标进行图像堆叠，以使相邻的迁移后的两块第三图像像素块之间由部分像素区域重叠，并最终得到待重建图像的重建纹理特征图像。通过这样的方式，能够实现在纹理域上的风格化重建的基础上，保证待重建图像的重建纹理特征图像中的每一个像素块都能与周围的像素块相互匹配，平滑过渡。

步骤210、将待重建图像的重建颜色特征图像、待重建图像的重建结构特征图像和待重建图像的重建纹理特征图像融合，获得重建图像。

具体来说，可采用与步骤202中的分解方式的逆运算算法，将获得的重建结构特征图像和待重建图像的重建纹理特征图像进行融合，以形成在颜色域、结构域和纹理域均与目标风格图像的风格符合的重建图像。

本发明实施例二提供的图像风格化重建的方法在实施例一的基础上，还通过在颜色域上采用了根据图像的图像语义信息进行图像分割处理，并对分割处理后的掩膜图像进行颜色迁移，在纹理域上采用根据图像像素块对图像进行划分处理，并根据计算获得的待重建图像的各像素块与目标风格图像的各像素块之间的相似度和距离，确定最优图像像素块并进行纹理迁移，对迁移后的像素块进行图像堆叠处理的技术手段，从而实现待重建图像在颜色域和纹理域上的风格重建，进而使得获得的重建图像的风格与目标风格图像更加贴合。并分别获得目标风格图像和待重建图像的颜色特征图像、结构特征图像和纹理特征图像。对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割和颜色迁移，获得待重建图像的重建颜色特征图像。根据目标风格图像的结构特征图像、待重建图像的结构特征图像以及预设的稀疏表示算法，获得待重建图像的重建结构特征图像。对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行纹理迁移，获得待重建图像的重建纹理特征图像。将待重建图像的重建颜色特征图像、待重建图像的重建结构特征图像和待重建图像的重建纹理特征图像融合，获得重建图像。也就是说，通过在颜色域、结构域和纹理域对接收的待重建图像进行重建，从而使得重建图像不仅在结构域上与目标风格图像相似，还在颜色域和纹理域上与目标风格图像相似，进而提高了与目标风格图像的风格相似度。

在实施例一或实施例二的基础上，为了进一步与目标风格图像的风格相似度更高的重建图像，图3为本发明实施例三提供的一种图像风格化重建的方法的流程示意图。

如图3所示，该方法包括如下步骤：

步骤301、接收用户输入的目标风格图像和待重建图像。

步骤302、在颜色域、结构域和纹理域对目标风格图像和待重建图像分别进行分解，获取目标风格图像和待重建图像的颜色特征图像、结构特征图像和纹理特征图像。

步骤303、在对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割和颜色迁移，获得待重建图像的重建颜色特征图像。

步骤304、在根据目标风格图像的结构特征图像、待重建图像的结构特征图像以及预设的稀疏表示算法，获得待重建图像的重建结构特征图像。

步骤305、对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行纹理迁移，获得待重建图像的重建纹理特征图像；

具体来说，上述步骤301-305的具体实现方式可参见实施例一或实施例二的相应步骤，本实施例三在此不进行赘述。

步骤306、提取目标风格图像的细粒度特征，利用金字塔算法将细粒度特征与待重建图像的重建纹理特征图像进行融合，获得待重建图像的第二重建纹理特征图像。

与上述实施例一或实施例二不同的是，在本发明实施例三提供的技术方案中，还包括对目标风格图像的细粒度特征的提取。具体来说，由于当目标风格图像为油画肖像画时，其画布材料的细粒度特征也会成为其风格的一部分，本发明将目标风格图像中的与画布相关的细粒度纹理看做一种噪声信息进行提取，并采用图像金字塔的匹配方法进行匹配和融合，并获得包括细粒度特征的待重建图像的第二重建纹理特征图像。

步骤307、将待重建图像的重建颜色特征图像、待重建图像的重建结构特征图像和待重建图像的第二重建纹理特征图像融合，获得重建图像。

具体来说，可采用与步骤302中的分解方式的逆运算算法，将获得的重建结构特征图像和待重建图像的第二重建纹理特征图像进行融合，以形成在颜色域、结构域和纹理域均与目标风格图像的风格符合的重建图像。

本实施例三提供的图像风格化重建的方法，在实施例一或实施例二的基础上，还对目标风格图像的细粒度特征进行提取，并利用提取后的细粒度特征对待重建图像的重建纹理特征图像进行处理，以进一步提高重建图像在纹理域上与目标风格图像的相似度。

图4为本发明实施例四提供的一种图像风格化重建的装置的结构示意图，如图4所示，该装置包括：

接收模块10，用于接收用户输入的目标风格图像和待重建图像；

分解模块20，用于在颜色域、结构域和纹理域对目标风格图像和待重建图像分别进行分解，获取目标风格图像和待重建图像的颜色特征图像、结构特征图像和纹理特征图像；

颜色重建模块30，用于对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割和颜色迁移，获得待重建图像的重建颜色特征图像；

结构重建模块40，用于根据目标风格图像的结构特征图像、待重建图像的结构特征图像以及预设的稀疏表示算法，获得待重建图像的重建结构特征图像；

纹理重建模块50，用于对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行纹理迁移，获得待重建图像的重建纹理特征图像；

融合模块60，用于将待重建图像的重建颜色特征图像、待重建图像的重建结构特征图像和待重建图像的重建纹理特征图像融合，获得重建图像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程以及相应的有益效果，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明提供的图像风格化重建的装置，通过在颜色域、结构域和纹理域对接收的目标风格图像和待重建图像分别进行分解，并分别获得目标风格图像和待重建图像的颜色特征图像、结构特征图像和纹理特征图像。对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割和颜色迁移，获得待重建图像的重建颜色特征图像。根据目标风格图像的结构特征图像、待重建图像的结构特征图像以及预设的稀疏表示算法，获得待重建图像的重建结构特征图像。对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行纹理迁移，获得待重建图像的重建纹理特征图像。将待重建图像的重建颜色特征图像、待重建图像的重建结构特征图像和待重建图像的重建纹理特征图像融合，获得重建图像。通过在颜色域、结构域和纹理域对接收的待重建图像进行重建，从而使得重建图像不仅在结构域上与目标风格图像相似，还在颜色域和纹理域上与目标风格图像相似，进而提高了与目标风格图像的风格相似度。

在图4所示结构的基础上，图5为本发明实施例五提供的一种图像风格化重建的装置的结构示意图。

如图5所示，与实施例四的结构类似的是，本实施例五的结构包括：

接收模块10，用于接收用户输入的目标风格图像和待重建图像；

分解模块20，用于在颜色域、结构域和纹理域对目标风格图像和待重建图像分别进行分解，获取目标风格图像和待重建图像的颜色特征图像、结构特征图像和纹理特征图像；

颜色重建模块30，用于对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割和颜色迁移，获得待重建图像的重建颜色特征图像；

结构重建模块40，用于根据目标风格图像的结构特征图像、待重建图像的结构特征图像以及预设的稀疏表示算法，获得待重建图像的重建结构特征图像；

纹理重建模块50，用于对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行纹理迁移，获得待重建图像的重建纹理特征图像；

融合模块60，用于将待重建图像的重建颜色特征图像、待重建图像的重建结构特征图像和待重建图像的重建纹理特征图像融合，获得重建图像。

与实施例四所示结构不同的是，本实施例五中的图像风格化重建的装置中的各模块具体可包括：

颜色重建模块30，具体包括：

第一分割单元31，用于按照图像语义信息分别对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割处理，获得目标风格图像的掩膜图像和待重建图像的掩膜图像；其中，掩膜图像包括若干图像语义块、每个图像语义块的语义标识以及每个图像语义块的颜色信息；

颜色迁移单元32，用于根据各语义标识，确定与待重建图像的每个图像语义块对应的目标风格图像的图像语义块，并利用对应的目标风格图像的图像语义块的颜色信息，对待重建图像的各个图像语义块的颜色信息进行颜色迁移，获得待重建图像的迁移后的各图像语义块；

第一图像获取单元33，用于对迁移后的各个图像语义块进行图像融合处理，获取待重建图像的重建颜色特征图像。

结构重建模块40，具体包括：

滤波单元41，用于分别对目标风格图像的结构特征图像和待重建图像的结构特征图像进行滤波处理，获得目标风格图像的第一边缘图像和待重建图像的第二边缘图像；

第二分割单元42，用于将第一边缘图像和第二边缘图像进行像素块划分，获取若干第一图像像素块和若干第二图像像素块；其中，第一图像像素块和第二图像像素块的图像像素块的尺寸相同；

字典对模型单元43，用于计算各第一图像像素块与各第二图像像素块的相似度，分别建立目标风格图像的第一图像字典和待重建图像的第二图像字典；还用于利用预设的稀疏表示算法确定第一图像字典和第二图像字典之间的映射关系，获得字典对模型；

第二图像获取单元44，用于根据字典对模型和待重建图像的结构特征图像，获得待重建图像的重建结构特征图像。

纹理重建模块50，具体包括：

第三分割单元51，用于对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行像素块划分，分别获取若干第三图像像素块、若干第四图像像素块以及各图像像素块对应的位置坐标；其中，第三图像像素块和第四图像像素块的图像像素块的尺寸相同；

匹配单元52，用于计算各第三图像像素块与各第四图像像素块的相似度，以及各第三图像像素块的位置坐标与各第四图像像素块的位置坐标之间的距离，并根据各相似度和各距离，在各第四图像像素块中确定与各第三图像像素块匹配的最优图像像素块；

第三图像获取单元53，用于根据各最优图像像素块对各第三图像像素块进行纹理迁移，并对迁移后的各第三图像像素块进行图像堆叠处理，获得待重建图像的重建纹理特征图像。

此外，进一步来说，在上述实施方式的基础上，分解模块20还用于在纹理重建模块获得待重建图像的重建纹理特征图像之后，提取目标风格图像的细粒度特征；相应的，纹理重建模块50，还用于利用金字塔算法将细粒度特征与待重建图像的重建纹理特征图像进行融合，获得待重建图像的第二重建纹理特征图像。相应的，融合模块60，还用于将待重建图像的重建颜色特征图像、待重建图像的重建结构特征图像和待重建图像的第二重建纹理特征图像融合，获得重建图像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程以及相应的有益效果，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例五提供的图像风格化重建的装置在实施例四的基础上，还通过在颜色域上采用了根据图像的图像语义信息进行图像分割处理，并对分割处理后的掩膜图像进行颜色迁移，在纹理域上采用根据图像像素块对图像进行划分处理，并根据计算获得的待重建图像的各像素块与目标风格图像的各像素块之间的相似度和距离，确定最优图像像素块并进行纹理迁移，对迁移后的像素块进行图像堆叠处理的技术手段，从而实现待重建图像在颜色域和纹理域上的风格重建，进而使得获得的重建图像的风格与目标风格图像更加贴合。并分别获得目标风格图像和待重建图像的颜色特征图像、结构特征图像和纹理特征图像。对目标风格图像的颜色特征图像和待重建图像的颜色特征图像进行图像分割和颜色迁移，获得待重建图像的重建颜色特征图像。根据目标风格图像的结构特征图像、待重建图像的结构特征图像以及预设的稀疏表示算法，获得待重建图像的重建结构特征图像。对目标风格图像的纹理特征图像和待重建图像的纹理特征图像进行纹理迁移，获得待重建图像的重建纹理特征图像。将待重建图像的重建颜色特征图像、待重建图像的重建结构特征图像和待重建图像的重建纹理特征图像融合，获得重建图像。也就是说，通过在颜色域、结构域和纹理域对接收的待重建图像进行重建，从而使得重建图像不仅在结构域上与目标风格图像相似，还在颜色域和纹理域上与目标风格图像相似，进而提高了与目标风格图像的风格相似度。此外，还对目标风格图像的细粒度特征进行提取，并利用提取后的细粒度特征对待重建图像的重建纹理特征图像进行处理，以进一步提高重建图像在纹理域上与目标风格图像的相似度。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种图像风格化重建的方法，其特征在于，包括：

接收用户输入的目标风格图像和待重建图像；

在颜色域、结构域和纹理域对所述目标风格图像和待重建图像分别进行分解，获取所述目标风格图像和所述待重建图像的颜色特征图像、结构特征图像和纹理特征图像；

对所述目标风格图像的颜色特征图像和所述待重建图像的颜色特征图像进行图像分割和颜色迁移，获得所述待重建图像的重建颜色特征图像；

根据所述目标风格图像的结构特征图像、所述待重建图像的结构特征图像以及预设的稀疏表示算法，获得所述待重建图像的重建结构特征图像；

对所述目标风格图像的纹理特征图像和所述待重建图像的纹理特征图像进行纹理迁移，获得所述待重建图像的重建纹理特征图像；

将所述待重建图像的重建颜色特征图像、所述待重建图像的重建结构特征图像和所述待重建图像的重建纹理特征图像融合，获得重建图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标风格图像的颜色特征图像和所述待重建图像的颜色特征图像进行图像分割和颜色迁移，获得所述待重建图像的重建颜色特征图像，包括：

按照图像语义信息分别对所述目标风格图像的颜色特征图像和所述待重建图像的颜色特征图像进行图像分割处理，获得所述目标风格图像的掩膜图像和所述待重建图像的掩膜图像；其中，掩膜图像包括若干图像语义块、每个图像语义块的语义标识以及每个图像语义块的颜色信息；

根据各语义标识，确定与所述待重建图像的每个图像语义块对应的所述目标风格图像的图像语义块，并利用所述对应的所述目标风格图像的图像语义块的颜色信息，对所述待重建图像的各个图像语义块的颜色信息进行颜色迁移，获得所述待重建图像的迁移后的各图像语义块；

对所述迁移后的各个图像语义块进行图像融合处理，获取所述待重建图像的重建颜色特征图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标风格图像的结构特征图像和所述待重建图像的结构特征图像以及预设的稀疏表示算法，获得所述待重建图像的重建结构特征图像，包括：

分别对所述目标风格图像的结构特征图像和所述待重建图像的结构特征图像进行滤波处理，获得所述目标风格图像的第一边缘图像和所述待重建图像的第二边缘图像；

将所述第一边缘图像和所述第二边缘图像进行像素块划分，获取若干第一图像像素块和若干第二图像像素块；其中，所述第一图像像素块和第二图像像素块的图像像素块的尺寸相同；

计算各第一图像像素块与各第二图像像素块的相似度，分别建立所述目标风格图像的第一图像字典和所述待重建图像的第二图像字典；

利用预设的稀疏表示算法确定所述第一图像字典和所述第二图像字典之间的映射关系，获得字典对模型；

根据字典对模型和所述待重建图像的结构特征图像，获得所述待重建图像的重建结构特征图像。

4.根据权利要求1所述的方法，其特征在于，所述对所述目标风格图像的纹理特征图像和所述待重建图像的纹理特征图像进行纹理迁移，获得所述待重建图像的重建纹理特征图像，包括：

对所述待重建图像的纹理特征图像和所述目标风格图像的纹理特征图像进行像素块划分，分别获取若干第三图像像素块、若干第四图像像素块以及各图像像素块对应的位置坐标；其中，所述第三图像像素块和第四图像像素块的图像像素块的尺寸相同；

计算各第三图像像素块与各第四图像像素块的相似度，以及各第三图像像素块的位置坐标与各第四图像像素块的位置坐标之间的距离，并根据各相似度和各距离，在各第四图像像素块中确定与各第三图像像素块匹配的最优图像像素块；

根据各最优图像像素块对各第三图像像素块进行纹理迁移，并对迁移后的各第三图像像素块进行图像堆叠处理，获得所述待重建图像的重建纹理特征图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述获得所述待重建图像的重建纹理特征图像之后，还包括：

提取目标风格图像的细粒度特征，利用金字塔算法将所述细粒度特征与所述待重建图像的重建纹理特征图像进行融合，获得所述待重建图像的第二重建纹理特征图像；

相应的，将所述待重建图像的重建颜色特征图像、所述待重建图像的重建结构特征图像和所述待重建图像的重建纹理特征图像融合，获得重建图像，包括：

将所述待重建图像的重建颜色特征图像、所述待重建图像的重建结构特征图像和所述待重建图像的第二重建纹理特征图像融合，获得重建图像。

6.一种图像风格化重建的装置，其特征在于，包括：

接收模块，用于接收用户输入的目标风格图像和待重建图像；

分解模块，用于在颜色域、结构域和纹理域对所述目标风格图像和待重建图像分别进行分解，获取所述目标风格图像和所述待重建图像的颜色特征图像、结构特征图像和纹理特征图像；

颜色重建模块，用于对所述目标风格图像的颜色特征图像和所述待重建图像的颜色特征图像进行图像分割和颜色迁移，获得所述待重建图像的重建颜色特征图像；

结构重建模块，用于根据所述目标风格图像的结构特征图像、所述待重建图像的结构特征图像以及预设的稀疏表示算法，获得所述待重建图像的重建结构特征图像；

纹理重建模块，用于对所述目标风格图像的纹理特征图像和所述待重建图像的纹理特征图像进行纹理迁移，获得所述待重建图像的重建纹理特征图像；

融合模块，用于将所述待重建图像的重建颜色特征图像、所述待重建图像的重建结构特征图像和所述待重建图像的重建纹理特征图像融合，获得重建图像。

7.根据权利要求6所述的装置，其特征在于，所述颜色重建模块，具体包括：

第一分割单元，用于按照图像语义信息分别对所述目标风格图像的颜色特征图像和所述待重建图像的颜色特征图像进行图像分割处理，获得所述目标风格图像的掩膜图像和所述待重建图像的掩膜图像；其中，掩膜图像包括若干图像语义块、每个图像语义块的语义标识以及每个图像语义块的颜色信息；

颜色迁移单元，用于根据各语义标识，确定与所述待重建图像的每个图像语义块对应的所述目标风格图像的图像语义块，并利用所述对应的所述目标风格图像的图像语义块的颜色信息，对所述待重建图像的各个图像语义块的颜色信息进行颜色迁移，获得所述待重建图像的迁移后的各图像语义块；

第一图像获取单元，用于对所述迁移后的各个图像语义块进行图像融合处理，获取所述待重建图像的重建颜色特征图像。

8.根据权利要求6所述的装置，其特征在于，所述结构重建模块，具体包括：

滤波单元，用于分别对所述目标风格图像的结构特征图像和所述待重建图像的结构特征图像进行滤波处理，获得所述目标风格图像的第一边缘图像和所述待重建图像的第二边缘图像；

第二分割单元，用于将所述第一边缘图像和所述第二边缘图像进行像素块划分，获取若干第一图像像素块和若干第二图像像素块；其中，所述第一图像像素块和第二图像像素块的图像像素块的尺寸相同；

字典对模型单元，用于计算各第一图像像素块与各第二图像像素块的相似度，分别建立所述目标风格图像的第一图像字典和所述待重建图像的第二图像字典；还用于利用预设的稀疏表示算法确定所述第一图像字典和所述第二图像字典之间的映射关系，获得字典对模型；

第二图像获取单元，用于根据字典对模型和所述待重建图像的结构特征图像，获得所述待重建图像的重建结构特征图像。

9.根据权利要求6所述的装置，其特征在于，所述纹理重建模块，具体包括：

第三分割单元，用于对所述待重建图像的纹理特征图像和所述目标风格图像的纹理特征图像进行像素块划分，分别获取若干第三图像像素块、若干第四图像像素块以及各图像像素块对应的位置坐标；其中，所述第三图像像素块和第四图像像素块的图像像素块的尺寸相同；

匹配单元，用于计算各第三图像像素块与各第四图像像素块的相似度，以及各第三图像像素块的位置坐标与各第四图像像素块的位置坐标之间的距离，并根据各相似度和各距离，在各第四图像像素块中确定与各第三图像像素块匹配的最优图像像素块；

第三图像获取单元，用于根据各最优图像像素块对各第三图像像素块进行纹理迁移，并对迁移后的各第三图像像素块进行图像堆叠处理，获得所述待重建图像的重建纹理特征图像。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述分解模块还用于在所述纹理重建模块获得所述待重建图像的重建纹理特征图像之后，提取目标风格图像的细粒度特征；

相应的，所述纹理重建模块，还用于利用金字塔算法将所述细粒度特征与所述待重建图像的重建纹理特征图像进行融合，获得所述待重建图像的第二重建纹理特征图像；

相应的，所述融合模块，还用于将所述待重建图像的重建颜色特征图像、所述待重建图像的重建结构特征图像和所述待重建图像的第二重建纹理特征图像融合，获得重建图像。