CN106327422A - 一种图像风格化重建方法及装置 - Google Patents

Abstract

本发明提供了一种图像风格化重建方法及装置，该方法包括：获取待转换的输入图像的第一边缘图像，以及目标风格图像的第二边缘图像；获取第一边缘图像的每一第一图像块的相似图像块集合，该每一相似图像块集合中的元素为与该第一图像块相似的第二图像块；根据所有的第一图像块，获取输入图像字典以及稀疏分解的稀疏系数；根据所有第一图像块对应的相似图像块集合，获取目标图像字典；根据所述输入图像字典、目标图像字典、稀疏系数，获得重建出所述输入图像的目标风格的第三图像；将第三图像和预先生成的初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像。上述方法及装置用以解决现有技术中图像风格化重建时无外部训练集的问题。

Description

一种图像风格化重建方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像风格化重建方法及装置。

背景技术

随着科技的发展，人们可以用于图像采集的设备越来越多样化，对图像本身的表现形式的需求也越来越多样化。例如，在司法取证过程中需要把多个嫌疑人的照片与画家根据目击证人描述画出的素描图像进行比对以找出犯人，如果直接在素描图像基础上生成嫌疑人照片将大大提高疑犯识别效率；日常拍摄的图像也常常需要转换为油画风格的图像以改善视觉效果。以上应用都旨在实现图像在不同表现形式之间的转换，即图像的风格化重建。

图像风格化重建的任务是给定目标域的图像，如何将输入图像转换为与目标域一致的图像。例如，给定一张素描图像，如何将一张照片转换为对应的素描图。由于不同域上图像差异较大，即使是描述同一场景的图像也同样存在此差异，因此，如何挖掘不同域图像的内在联系是图像风格化重建的关键问题。

目前，利用稀疏表示来学习这种映射关系式近年来较为热门的方法，它的基本模型是认为自然信号(包括图像)可以用一组事先定义的基信号(即字典)的线性组合紧致表达，其中线性系数是稀疏的，即系数中大多数元素为0。稀疏系数在满约束条件的同时还需要非零元素的个数尽可能少，也就是需要尽可能稀疏，这是对图像信号的先验约束。大多数现有算法依赖于从外部耦合数据库学习不同域图像的映射关系，例如，业内人士提出可以事先分别训练对应的高低分辨率的字典，将输入的低分辨率图像用低分辨率字典稀疏表示，然后将该稀疏系数与对应的高分辨率字典相乘即可得到高分辨率的图像。现有已经使用类似的方法训练耦合字典从而解决图像风格转换问题。

然而，在实际应用中，这样的外部数据库非常有限，更多的情况是没有外部训练集的，即无源的，从而导致基于耦合数据库的跨域重建方法不再适用。

为此，如何实现一种无源的图像风格化重建方法成为当前急需解决的技术问题。

发明内容

针对现有技术中的缺陷，本发明提供一种图像风格化重建方法及装置，用以解决现有技术中图像风格化重建时无外部训练集的问题。

第一方面，本发明提供一种图像风格化重建方法，包括：

获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像；

将第一边缘图像划分为r*r大小的第一图像块，以及将第二边缘图像划分为r*r大小的第二图像块，r为大于1的自然数；

获取第一边缘图像的每一第一图像块的相似图像块集合，该每一相似图像块集合中的元素为与该第一图像块相似的第二图像块；

根据所有的第一图像块，获取输入图像字典以及稀疏分解的稀疏系数；

根据所有第一图像块对应的相似图像块集合，获取目标图像字典；

根据所述输入图像字典、目标图像字典、稀疏分解的稀疏系数，获得重建出所述输入图像的目标风格的第三图像；

采用纹理迁移方式，生成所述输入图像的初始化风格图像；

将所述第三图像和所述初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像。

可选地，所述获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像，包括：

根据下述公式一，获取所述输入图像的滤波输出图像以及所述目标风格图像的滤波输出图像；

将所述输入图像减去所述输入图像的滤波输出图像，获得所述第一边缘图像，以及将所述目标风格图像减去所述目标风格图像的滤波输出图像，获得所述第二边缘图像；

其中，h_i＝Σ_jW_i,j(I)g_j 公式一

g为待滤波的图像，h是滤波后的输出图像，I是引导图像，输出图像中i位置的像素值h_i；i和j均为像素编号；W_i,j为核函数。

可选地，获取第一边缘图像的每一第一图像块的相似图像块集合，包括：

根据下述公式二，确定所述第一边缘图像中每一第一图像块的相似图像块集合；

其中， $Diff(p,q)=\left|\right|p-q|{|}_2^2+\mathrm{\η}\·||\▿p-\▿q|{|}_2^2$ 公式二

Diff(p,q)表示p图像块和q图像块之间的相似性，p为所述第一边缘图像中的第一图像块的任一个，q为所述第二边缘图像中的第二图像块的任一个；是梯度算子，η为系统参数。

可选地，根据所有的第一图像块，获取输入图像字典，包括：

根据公式三，获取所述输入图像字典；

其中， $D_p=\arg {\min }_{D_p}{\{P-D_p\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式三

根据所有第一图像块对应的相似图像块集合，获取目标图像字典，包括：

根据公式四，获取所述目标图像字典；

其中， $D_q=\arg {\min }_{D_q}{\{Q-D_q\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式四

D_p为输入图像字典，D_q为目标图像字典，P＝{p₁,p₂,…,p_n}为第一边缘图像X中第一图像块的集合，Q＝{q₁,q₂,…,q_n}为第二边缘图像Y中与P对应的相似图像块的集合；Γ表示稀疏系数。

可选地，根据所述输入图像字典、目标图像字典、稀疏分解的稀疏系数，获得重建出所述输入图像的目标风格的第三图像，包括：

根据公式五，获取所述第三图像

其中，z＝D_qγ 公式五

z为组成所述第三图像的图像块，D_q为目标图像字典，每一个图像块稀疏分解后的系数为γ。

可选地，将所述第三图像和所述初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像，包括：

根据公式六，获取用于输出的所述输入图像的重建风格化图像；

其中， 公式六；

z为组成所述第三图像的图像块，z₀为初始化风格图像的图像块；α∈(0,1)为加权系数。

第二方面，本发明还提供一种图像风格化重建装置，包括：

边缘图像获取单元，用于获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像；

图像块划分单元，用于将第一边缘图像划分为r*r大小的第一图像块，以及将第二边缘图像划分为r*r大小的第二图像块，r为大于1的自然数；

相似图像块获取单元，用于获取第一边缘图像的每一第一图像块的相似图像块集合，该每一相似图像块集合中的元素为与该第一图像块相似的第二图像块；

字典获取单元，用于根据所有的第一图像块，获取输入图像字典以及稀疏分解的稀疏系数；以及根据所有第一图像块对应的相似图像块集合，获取目标图像字典；

第三图像获取单元，用于根据所述输入图像字典、目标图像字典、稀疏分解的稀疏系数，获得重建出所述输入图像的目标风格的第三图像；

初始化风格图像，用于采用纹理迁移方式，生成所述输入图像的初始化风格图像；

重建风格化图像获取单元，用于将所述第三图像和所述初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像。

可选地，所述边缘图像获取单元，具体用于：

根据下述公式一，获取所述输入图像的滤波输出图像以及所述目标风格图像的滤波输出图像；

将所述输入图像减去所述输入图像的滤波输出图像，获得所述第一边缘图像，以及将所述目标风格图像减去所述目标风格图像的滤波输出图像，获得所述第二边缘图像；

其中，h_i＝Σ_jW_i,j(I)g_j 公式一

g为待滤波的图像，h是滤波后的输出图像，I是引导图像，输出图像中i位置的像素值h_i；i和j均为像素编号；W_i,j为核函数。

可选地，相似图像块获取单元，具体用于

根据下述公式二，确定所述第一边缘图像中每一第一图像块的相似图像块集合；

其中， $Diff(p,q)=\left|\right|p-q|{|}_2^2+\mathrm{\η}\·||\▿p-\▿q|{|}_2^2$ 公式二

Diff(p,q)表示p图像块和q图像块之间的相似性，p为所述第一边缘图像中的第一图像块的任一个，q为所述第二边缘图像中的第二图像块的任一个；是梯度算子，η为系统参数。

可选地，字典获取单元，具体用于

根据公式三，获取所述输入图像字典；

其中， $D_p=\arg {\min }_{D_p}{\{P-D_p\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式三

根据所有第一图像块对应的相似图像块集合，获取目标图像字典，包括：

根据公式四，获取所述目标图像字典；

其中， $D_q=\arg {\min }_{D_q}{\{Q-D_q\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式四

D_p为输入图像字典，D_q为目标图像字典，P＝{p₁,p₂,…,p_n}为第一边缘图像X中第一图像块的集合，Q＝{q₁,q₂,…,q_n}为第二边缘图像Y中与P对应的相似图像块的集合；Γ表示稀疏系数。

由上述技术方案可知，本发明的图像风格化重建方法及装置，输入图像和目标风格图像建立图像字典，进而获取输出的所述输入图像的重建风格化图像，该方法无需使用外部数据库，在稀疏表示的基础上获取风格化重建图像，提高了图像风格化重建的性能并扩展了应用范围。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明一实施例提供的图像风格化重建方法的流程示意图；

图2为本发明一实施例提供的图像风格化重建方法的示意图；

图3为本发明另一实施例提供的图像风格化重建装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

本发明实施例的图像重建方法在稀疏表示的基础上研究图像的无源风格化重建方法，以提高图像风格化重建的性能并扩展其应用范围。

图1示出了本发明一实施例提供的图像风格化重建方法的流程示意图，如图1所示，本实施例的图像风格化重建方法包括如下步骤：

101、获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像；

102、将第一边缘图像划分为r*r大小的第一图像块，以及将第二边缘图像划分为r*r大小的第二图像块，r为大于1的自然数；

103、获取第一边缘图像的每一第一图像块的相似图像块集合，该每一相似图像块集合中的元素为与该第一图像块相似的第二图像块；

104、根据所有的第一图像块，获取输入图像字典以及稀疏分解的稀疏系数；根据所有第一图像块对应的相似图像块集合，获取目标图像字典；

105、根据所述输入图像字典、目标图像字典、稀疏分解的稀疏系数，获得重建出所述输入图像的目标风格的第三图像；

106、采用纹理迁移方式，生成所述输入图像的初始化风格图像；

107、将所述第三图像和所述初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像。

应说明的是，步骤106可为预先根据输入图像和预定的目标风格图像生成的，也可是在步骤107使用初始化风格图像之前生成的，本实施例不对其进行限定，可根据实际图像处理过程进行设置。

举例来说，前述的步骤101可在具体实现过程中采用下述方式实现：

根据下述公式一，获取所述输入图像的滤波输出图像以及所述目标风格图像的滤波输出图像；

将所述输入图像减去所述输入图像的滤波输出图像，获得所述第一边缘图像，以及将所述目标风格图像减去所述目标风格图像的滤波输出图像，获得所述第二边缘图像；

其中，h_i＝Σ_jW_i,j(I)g_j 公式一

g为待滤波的图像，h是滤波后的输出图像，I是引导图像，输出图像中i位置的像素值h_i；i和j均为像素编号；W_i,j为核函数。

本发明实施例可在稀疏表示的基础上研究图像的无源风格化重建方法，该方法可以提高图像风格化重建的性能，并扩展其应用范围。

现有技术中的图像风格化重建方法基于外部数据库，然而，在实际应用中，图像的外部训练集非常有限，更多的情况是没有外部训练集的即无源的，从而导致基于耦合训练集的跨域重建方法不适用。

需要说明的是，本发明实施例主要针对实际应用中经常遇到无源风格转换的情况，即有单个模板就可以直接生成对应风格的其他图像，典型的应用就是照片-素描图像的转换。

有源风格转换的经典框架，分为学习和合成两个阶段，对应有源的框架，在学习阶段，首先需要挖掘不同风格的图像本质上相似的内容，并在稀疏域上建立不同风格图像之间的映射关系。在合成阶段，利用该映射关系，可以重建目标风格图像的基本结构。

由此，本发明实施例可以利用图像边缘特征建立图像块映射关系，实现了无源单模块的图像风格化重建，克服了纹理合成无法保持图像基本结构的缺点；同时还可以将传统的基于学习的方法整合进来，适用性较好。

下面结合图2和步骤A01至步骤A06对图像风格化重建方法进行详细说明,。

A01、若目标风格(如素描、油画等)图像(即目标风格图像)为Y，输入的待转换的图像(即输入图像)为X；对参考的目标图像和输入图像应用边缘滤波器。

令g为待滤波的图像(对应上述的输入图像X)，h是滤波后的输出图像，I是引导图像，那么输出图像中i位置的像素值可以表示为以下加权和：

h_i＝Σ_jW_i,j(I)g_j (1)

其中，i和j均为像素编号。这里，引导图像可以直接使用待滤波图像g。相应地，上述公式(1)可变化为：

h_i＝Σ_jW_i,j(g)g_j (1’)

上述公式(1)和公式(1’)核函数W_i,j是关于引导图像的函数,有如下形式：

$W_{i,j}=\frac{1}{|\mathrm{\ω}{|}^2}\underset{k:(i,j)\∈{\mathrm{\ω}}_k}{\Σ}(1+\frac{(I_i-{\mathrm{\μ}}_k)(I_j-{\mathrm{\μ}}_k)}{{\mathrm{\σ}}_k^2+\∈})---\left(2\right)$

在公式(2)中，μ_k和σ_k表示I中r×r大小的窗口ω_k的均值和方差，k是窗口ω_k的中心像素，|ω|表示窗口中的像素个数。ε是平滑参数。

为了验证滤波核(filter kernel)可以保持输出图像中的边缘特征，以一维阶跃边为例。如果I_i和I_j在边缘的同侧，公式(2)中的(I_i-μ_k)(I_j-μ_k)应为正，否则为负。因此，公式(2)中的项，对于在边缘同侧的两个像素其值会较大，对于在边缘异侧的两个像素其值较小。这样，通过不同的权值即可将边缘区域与平坦区域加以区分。

由于现有技术中在内容不一致的两个单帧图像之间学习映射关系非常困难。因此，本发明实施例中无源图像风格化重建的解决方案是从仅有的目标图像和输入图像中创建耦合图像库作为训练集。也就是说，在具体应用中，是要在目标风格图像Y和输入图像X中寻找结构相同风格不同的相似图像块。例如，通过边缘特征可以在有限的参考图像上建立耦合训练集。

A02、对于目标风格图像Y，利用公式(1’)可以得到滤波后的输出Y_f。随后,将Y_f从原始目标风格图像Y中减去即可得到第二边缘图像，Y_e＝Y-Y_f。

同样地,可以得到输入图像的第一边缘图像X_e。

在第一边缘图像和第二边缘图像的基础上，进行相似图像块的匹配。

目前，均方差(Mean Square Error,MSE)是常用的衡量图像块相似性的距离标准，然而，这种逐像素计算像素差异的相似性衡量方式无法反映图像的内在结构，尤其这里需要衡量的是边缘域的图像块。因此，本实施例中采用梯度均方差(Gradient MSE)作为衡量图像相似性的标准。下述图像块可在边缘图像中按从左到右，从上到下每次移动一个像素取的图像块。

具体地，令p为X_e中的一个图像块，q为Y_e中的一个图像块。那么p和q之间的相似性D(p,q)可以如下计算:

$Diff(p,q)=\left|\right|p-q|{|}_2^2+\mathrm{\η}\·||\▿p-\▿q|{|}_2^2---\left(3\right)$

其中，是梯度算子，η为系统参数。

从公式(3)可知，用梯度均方差作为衡量标准同时考虑了像素值相似性和结构相似性，有利于提现图像的内容匹配特征。

A03、以梯度均方差为标准在边缘域上匹配不同风格之间的相似块(如相似图像块集合)，这样可以在匹配的相似图像块集合上进行字典训练，记P＝{p₁,p₂,…,p_n}为输入图像X中图像块的集合，Q＝{q₁,q₂,…,q_n}为目标风格图像Y中与P对应的相似图像块的集合。

字典训练学习时，利用稀疏分解在图像集(目标图像和输入图像，例如，素描-照片图像对)P，Q上训练耦合字典，即：

$D_p=\arg {\min }_{D_p}{\{P-D_p\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,---\left(4\right)$

$D_q=\arg {\min }_{D_q}{\{Q-D_q\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$

其中D_p和D_q是耦合字典，Γ表示稀疏系数。前述公式(3)中的D表示difference,该处公式(4)中的D表示Dictionary。

本实施例在训练字典过程中训练样本分解得到的稀疏系数，在训练的时候是先给一个初始值，比如一个全是1的矩阵，然后求出字典D_p，然后再重新求稀疏系数Γ，如此迭代交替更新。

Γ是下述所有γ的集合，也就是所有稀疏分解后的系数的集合。

特别地，通过字典训练，耦合图像在稀疏域上建立映射关系。

A04、在字典训练后，可以逐步重建风格图像。

首先，根据输入图像和目标风格图像生成初始化风格图像z₀。初始化风格图像的核心是从目标风格图像中选取与输入图像局部结构一致的图像块融合，因此可以采用纹理迁移的方法。纹理迁移指的是将目标图像上的纹理迁移到输入图像上，这样会得到具有输入图像结构但是由目标图像中的图像块构成的输出图像。纹理可以在一定程度上代表风格，因此这是生成初始化风格图像的一种可行方式。纹理迁移融合来自目标图像的像素，初始化的过程每个图像块都需要满足特定的响应分布。该响应分布是同时由目标图像和输入图像决定的，令d₁表示重建图像块与目标图像块低频部分的差值，d₂表示重建图像块与输入图像块的差值，d₁+d₂取值尽可能小就可以保证生成的结果一方面局部具有目标图像的纹理，另一方面从全局看具有输入图像的整体结构。

其次，在初始化的基础上，添加更多的细节信息。这是因为在无源图像风格重建的情况下，图像之间建立的映射关系仅仅在特征识别的范围。因此，需要首先建立图像块基本像素分布之间的映射关系，然后利用稀疏重建等技术重建高频细节。

A05、在重建阶段，将输入图像在输入图像字典D_p上稀疏分解得到的稀疏系数与目标图像字典D_q相乘即可重建出转换后的图像。更具体地，以一个输入图像块y为例，其稀疏分解后的系数为γ，那么转换后的图像块z，就可以用z＝D_qγ求出。

γ是每个图像块稀疏系数，Γ是所有γ的集合，也就是所有稀疏系数的集合。

令步骤A04中得到的初始化风格图像的图像块为z₀，将z₀和z加权融合即可得到最终的重建图像

其中，α∈(0,1)为加权系数。

因此，本发明实现了无源图像的风格建模与映射，从仅有的目标图像和输入图像中创建耦合图像库作为训练集，利用图像边缘特征匹配耦合的图像块，从而建立图像块映射关系，实现无源单模板的图像风格转换，克服无法保持图像基本结构的缺点。目前的图像风格化方法均需耦合训练集，考虑无源的场景这一创新性应用也是本发明的特色之处。

图3示出了本发明另一实施例提供的图像风格化重建装置的结构示意图，如图3所示，本实施例的图像风格化重建装置包括：边缘图像获取单元31、图像块划分单元32、相似图像块获取单元33、字典获取单元34、第三图像获取单元35、初始化风格图像36、重建风格化图像获取单元37；

其中，边缘图像获取单元31，用于获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像；

图像块划分单元32，用于将第一边缘图像划分为r*r大小的第一图像块，以及将第二边缘图像划分为r*r大小的第二图像块，r为大于1的自然数；

相似图像块获取单元33，用于获取第一边缘图像的每一第一图像块的相似图像块集合，该每一相似图像块集合中的元素为与该第一图像块相似的第二图像块；

字典获取单元34，用于根据所有的第一图像块，获取输入图像字典以及稀疏分解的稀疏系数；以及根据所有第一图像块对应的相似图像块集合，获取目标图像字典；

第三图像获取单元35，用于根据所述输入图像字典、目标图像字典、稀疏系数，获得重建出所述输入图像的目标风格的第三图像；

初始化风格图像36，用于采用纹理迁移方式，生成所述输入图像的初始化风格图像；

重建风格化图像获取单元37，用于将所述第三图像和所述初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像。

所述边缘图像获取单元，具体用于：

根据下述公式一，获取所述输入图像的滤波输出图像以及所述目标风格图像的滤波输出图像；

将所述输入图像减去所述输入图像的滤波输出图像，获得所述第一边缘图像，以及将所述目标风格图像减去所述目标风格图像的滤波输出图像，获得所述第二边缘图像；

其中，h_i＝Σ_jW_i,j(I)g_j 公式一

g为待滤波的图像，h是滤波后的输出图像，I是引导图像，输出图像中i位置的像素值h_i；i和j均为像素编号；W_i,j为核函数。

可选地，在一种可能的实现方式中，相似图像块获取单元33具体用于

根据下述公式二，确定所述第一边缘图像中每一第一图像块的相似图像块集合；

其中， $Diff(p,q)=\left|\right|p-q|{|}_2^2+\mathrm{\η}\·||\▿p-\▿q|{|}_2^2$ 公式二

Diff(p,q)表示p图像块和q图像块之间的相似性，p为所述第一边缘图像中的第一图像块的任一个，q为所述第二边缘图像中的第二图像块的任一个；是梯度算子，η为系统参数。

在第二种可选的实现方式中，字典获取单元34具体用于

根据公式三，获取所述输入图像字典；

其中， $D_p=\arg {\min }_{D_p}{\{P-D_p\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式三

根据所有第一图像块对应的相似图像块集合，获取目标图像字典，包括：

根据公式四，获取所述目标图像字典；

其中， $D_q=\arg {\min }_{D_q}{\{Q-D_q\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式四

D_p为输入图像字典，D_q为目标图像字典，P＝{p₁,p₂,…,p_n}为第一边缘图像中第一图像块的集合，Q＝{q₁,q₂,…,q_n}为第二边缘图像中与P对应的相似图像块的集合；Γ表示稀疏系数。

本发明实施例中的图像风格化重建装置，可以灵活应用于素描合成，油画风格合成等图像风格化重建领域，不仅可以满足实际应用的需求，还可以帮助人们更好的理解人眼视觉系统特征识别的机制。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的系统中的模块可以按照实施例描述进行分布于实施例的系统中，也可以进行相应变化位于不同于本实施例的一个或多个系统中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像风格化重建方法，其特征在于，包括：

获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像；

将第一边缘图像划分为r*r大小的第一图像块，以及将第二边缘图像划分为r*r大小的第二图像块，r为大于1的自然数；

获取第一边缘图像的每一第一图像块的相似图像块集合，该每一相似图像块集合中的元素为与该第一图像块相似的第二图像块；

根据所有的第一图像块，获取输入图像字典以及稀疏分解的稀疏系数；

根据所有第一图像块对应的相似图像块集合，获取目标图像字典；

根据所述输入图像字典、目标图像字典、稀疏分解的稀疏系数，获得重建出所述输入图像的目标风格的第三图像；

采用纹理迁移方式，生成所述输入图像的初始化风格图像；

将所述第三图像和所述初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像。

2.根据权利要求1所述的方法，其特征在于，所述获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像，包括：

根据下述公式一，获取所述输入图像的滤波输出图像以及所述目标风格图像的滤波输出图像；

将所述输入图像减去所述输入图像的滤波输出图像，获得所述第一边缘图像，以及将所述目标风格图像减去所述目标风格图像的滤波输出图像，获得所述第二边缘图像；

其中，h_i＝Σ_jW_i,j(I)g_j 公式一

g为待滤波的图像，h是滤波后的输出图像，I是引导图像，输出图像中i位置的像素值h_i；i和j均为像素编号；W_i,j为核函数。

3.根据权利要求1所述的方法，其特征在于，获取第一边缘图像的每一第一图像块的相似图像块集合，包括：

根据下述公式二，确定所述第一边缘图像中每一第一图像块的相似图像块集合；

其中， $Diff(p,q)=\left|\right|p-q|{|}_2^2+\mathrm{\η}\·||\▿p-\▿q|{|}_2^2$ 公式二

Diff(p,q)表示p图像块和q图像块之间的相似性，p为所述第一边缘图像中的第一图像块的任一个，q为所述第二边缘图像中的第二图像块的任一个；是梯度算子，η为系统参数。

4.根据权利要求1所述的方法，其特征在于，根据所有的第一图像块，获取输入图像字典，包括：

根据公式三，获取所述输入图像字典；

其中， $D_p={\mathrm{argmin}}_{D_{\mathrm{\ρ}}}{\{P-D_p\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式三

根据所有第一图像块对应的相似图像块集合，获取目标图像字典，包括：

根据公式四，获取所述目标图像字典；

其中， $D_q={\mathrm{argmin}}_{D_q}{\{Q-D_q\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式四

D_p为输入图像字典，D_q为目标图像字典，P＝{p₁,p₂,…,p_n}为第一边缘图像中第一图像块的集合，Q＝{q₁,q₂,…,q_n}为第二边缘图像中与P对应的相似图像块的集合；Γ表示稀疏系数。

5.根据权利要求1所述的方法，其特征在于，根据所述输入图像字典、目标图像字典、稀疏分解的稀疏系数，获得重建出所述输入图像的目标风格的第三图像，包括：

根据公式五，获取所述第三图像

其中，z＝D_qγ 公式五

z为组成所述第三图像的图像块，D_q为目标图像字典，每一个图像块稀疏分解后的稀疏系数为γ。

6.根据权利要求1所述的方法，其特征在于，将所述第三图像和所述初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像，包括：

根据公式六，获取用于输出的所述输入图像的重建风格化图像；

其中， $\hat{z}=z+\mathrm{\α}\·z_0$ 公式六；

z为组成所述第三图像的图像块，z₀为初始化风格图像的图像块；α∈(0,1)为加权系数。

7.一种图像风格化重建装置，其特征在于，包括：

边缘图像获取单元，用于获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像；

图像块划分单元，用于将第一边缘图像划分为r*r大小的第一图像块，以及将第二边缘图像划分为r*r大小的第二图像块，r为大于1的自然数；

相似图像块获取单元，用于获取第一边缘图像的每一第一图像块的相似图像块集合，该每一相似图像块集合中的元素为与该第一图像块相似的第二图像块；

字典获取单元，用于根据所有的第一图像块，获取输入图像字典以及稀疏分解的稀疏系数；以及根据所有第一图像块对应的相似图像块集合，获取目标图像字典；

第三图像获取单元，用于根据所述输入图像字典、目标图像字典、稀疏分解的稀疏系数，获得重建出所述输入图像的目标风格的第三图像；

初始化风格图像，用于采用纹理迁移方式，生成所述输入图像的初始化风格图像；

重建风格化图像获取单元，用于将所述第三图像和所述初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像。

8.根据权利要求7所述的装置，其特征在于，所述边缘图像获取单元，具体用于：

根据下述公式一，获取所述输入图像的滤波输出图像以及所述目标风格图像的滤波输出图像；

将所述输入图像减去所述输入图像的滤波输出图像，获得所述第一边缘图像，以及将所述目标风格图像减去所述目标风格图像的滤波输出图像，获得所述第二边缘图像；

其中，h_i＝Σ_jW_i,j(I)g_j 公式一

g为待滤波的图像，h是滤波后的输出图像，I是引导图像，输出图像中i位置的像素值h_i；i和j均为像素编号；W_i,j为核函数。

9.根据权利要求7所述的装置，其特征在于，相似图像块获取单元，具体用于

根据下述公式二，确定所述第一边缘图像中每一第一图像块的相似图像块集合；

其中， $Diff(p,q)={||p-q||}_2^2+\mathrm{\η}\·{||\▿p-\▿q||}_2^2$ 公式二

Diff(p,q)表示p图像块和q图像块之间的相似性，p为所述第一边缘图像中的第一图像块的任一个，q为所述第二边缘图像中的第二图像块的任一个；是梯度算子，η为系统参数。

10.根据权利要求7所述的装置，其特征在于，字典获取单元，具体用于

根据公式三，获取所述输入图像字典；

其中， $D_p={\mathrm{argmin}}_{D_{\mathrm{\ρ}}}{\{P-D_p\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式三

根据所有第一图像块对应的相似图像块集合，获取目标图像字典，包括：

根据公式四，获取所述目标图像字典；

其中， $D_q={\mathrm{argmin}}_{D_q}{\{Q-D_q\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式四

D_p为输入图像字典，D_q为目标图像字典，P＝{p₁,p₂,…,p_n}为第一边缘图像中第一图像块的集合，Q＝{q₁,q₂,…,q_n}为第二边缘图像中与P对应的相似图像块的集合；Γ表示稀疏系数。