CN106327539A - 基于样例的图像重建方法及装置 - Google Patents

Abstract

本发明提供了一种基于样例的图像重建方法及装置，所述方法包括：将待转换的第一图像划分为r*r大小的第一图像块，r属于预设集合K中的元素；将预设的目标风格图像划分为r*r大小的第二图像块；获取每一第一图像块的目标第二图像块；将所有第一图像块的目标第二图像块融合，重建第一图像的目标风格图像，将第一图像的目标风格图像作为转换后的第二图像；依次获取预设集合K中每一元素r对应的第二图像；采用多层次融合策略将重建的所有第二图像进行融合，得到用于输出的第一图像的目标风格图像。上述方法利用输入图像的结构信息和纹理信息实现对图像目标风格化的重建，进而优化图像的风格化重建效果。

Description

基于样例的图像重建方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于样例的图像重建方法及装置。

背景技术

随着科技的发展，人们可以用于图像采集的设备越来越多样化，对图像本身的表现形式的需求也越来越多样化。以素描图像合成为例，对于没有专业绘画技巧的人来说，绘制一幅生动的素描肖像画会很难。近年来，鉴于肖像素描在数字娱乐和司法取证等方面的应用，越来越多的人开始关注人脸素描的自动生成。借助于自动肖像素描合成技术，非专业的用户可以很简便地完成一幅素描肖像。在司法取证方面，通常先由画师根据目击证人口述绘制嫌犯素描，再与人脸库中由照片转换成的素描匹配，而自动肖像素描生成系统有助于警方据此来搜寻嫌犯的照片。

以上应用都旨在实现图像在不同表现形式之间的转换，即将原始风格的图像转换为目标风格的图像。它们本质上都是在不同形式的图像之间建立联系，从而达到在不同图像空间转换的目的。

为此，图像风格化重建在图像研究和应用领域得到了广泛的关注，业内人士提出了一种基于样例的图像重建方法。具体地，该方法从训练集中学习出原始图像及其对应目标风格图像之间的映射关系，将该映射应用到一幅新的输入图像得到其对应的目标风格图像。

然而，上述图像重建方法中由于输入图像的图像块往往还存在着更加底层的结构信息没有得到有效的考虑和利用。

为此，现有技术中还公开一种基于样例的图像重建方法，具体地，该方法是将图像块的大小固定对整幅图像进行逐图像块处理，同时对图像块间重叠区域求平均值拼接成最终的风格化结果。这种方法容易造成图像块间融合不恰当，产生块效应，并且由于没有很好地捕捉局部特征，导致合成的风格图像和原始的图像不够相像；另一方面，如果图像块过大可能造成结构信息丢失，如果图像块过小则会导致纹理信息不明显。

因此，亟需改进现有技术的图像风格化重建过程中无法利用图像的结构信息导致的无法优化图像的风格化重建效果的问题。

发明内容

针对现有技术中的缺陷，本发明提供一种基于样例的图像重建方法及装置，用以解决现有技术的图像风格化重建过程中无法利用图像的结构信息导致的无法优化图像的风格化重建效果的问题。

第一方面，本发明提供一种基于样例的图像重建方法，包括：

将待转换的第一图像划分为r*r大小的第一图像块，r属于预设集合K中的元素；

将预设的目标风格图像划分为r*r大小的第二图像块；

基于图像块的局部方差和局部直方图分布差异，获取每一第一图像块的目标第二图像块；

将所有第一图像块的目标第二图像块融合，重建第一图像的目标风格图像，将第一图像的目标风格图像作为转换后的第二图像；

依次获取预设集合K中每一元素r对应的第二图像；

采用多层次融合策略将重建的所有第二图像进行融合，得到用于输出的所述第一图像的目标风格图像。

可选地，所述基于图像块的局部方差和局部直方图分布差异，获取每一第一图像块的目标第二图像块，包括：

提取每一第一图像块的局部方差和局部直方图分布差异，以及每一第二图像块的局部方差和局部直方图分布差异；

根据所有图像块对应的局部方差和局部直方图分布差异，确定每一第一图像块的候选图像块集合，该候选图像块集合中的元素为用于重建所述第二图像的第二图像块；

基于能量方程分配策略，从每一第一图像块的候选图像块集合选取该第一图像块的目标第二图像块。

可选地，所述候选图像块集合C_d(t)中的候选图像块c_i即s_l,r为：

其中，

局部方差f₁(t,r)＝υ(P_r(t))， $P_r\left(t\right)=T(x+i,y+j),\∀i,j=-r/2,...,r/2,$

r为图像块的第一图像块尺寸；

局部直方图分布差异 $f_2(t,r,h_i)={\mathrm{\Σ}}_{j=1}^i{\mathrm{\Σ}}_{u\∈P_r\left(t\right)}\frac{\mathrm{\δ}\left(T\right(u),h_j)}{P_r\left(t\right)};j=1,2,...i;$

各组直方图为 $\{h_1,\mathrm{..}{h}_i,h_H\},\∀i=1,...i,...,H,$ 像素值T(u)属于第j组h_j，即T(u)∈h_j，那么δ(T(u),h_j)＝1，否则δ(T(u),h_j)＝0；

T(t)＝T(x,y)是像素t∈T的值，T为第一图像的像素的集合。

可选地，基于能量方程分配策略，从每一第一图像块的候选图像块集合选取该第一图像块的目标第二图像块，包括：

若能量方程为

$E(v,w)=\underset{T}{\Σ}min{||v-c_i||}_2^2=\underset{w\∈W}{min}\underset{T}{\Σ}\underset{i}{\Σ}{w}_i{||v-c_i||}_2^2;$

v是第一图像的第一图像块，c_i是C_d(t)中的第i个图像块，权值矩阵W定义为： $W=\{w\left(t\right)={\left\{w_i\left(t\right)\right\}}_{i=1}^N,w_i:T\→\[0;1\],s.t.\underset{i=1}{\overset{N}{\Σ}}{w}_i\left(t\right)=1\};$

则在E(v,w)最小时，对应的c_i作为该第一图像块的目标第二图像块。

可选地，采用多层次融合策略将重建的所有第二图像进行融合，得到输出的所述第一图像的目标风格图像，包括：

若I_r ¹,I_r ²分别代表由两个不同第一图像块的尺寸得到的第二图像；则根据下述公式获取输出的所述第一图像的目标风格图像；

公式：I_new＝(1-A)·I_r ¹+A·I_r ²

其中，I_new为输出的目标风格图像，A^m＝V·W^m；

权值矩阵 $W^m\left(x\right)=\left\{\begin{array}{cc}1& ifm\∈B_{\mathrm{\λ}}\left(x\right)\\ 0& else\end{array}\right.$

B_λ(x)为中心点x处的第一图像块的主要方向的子带集合，m代表第m个子带方向；

V为待转换的第一图像的纹理和平坦程度的变化指数分布图。

第二方面，本发明还提供一种基于样例的图像重建装置，包括：

图像块划分单元，用于将待转换的第一图像划分为r*r大小的第一图像块，以及将预设的目标风格图像划分为r*r大小的第二图像块，r属于预设集合K中的元素；

获取单元，用于基于图像块的局部方差和局部直方图分布差异，获取每一第一图像块的目标第二图像块；

第二图像获取单元，用于将所有第一图像块的目标第二图像块融合，重建第一图像的目标风格图像，将第一图像的目标风格图像作为转换后的第二图像；

通过所述图像块划分单元、获取单元和第二图像获取单元获取预设集合K中每一元素r对应的第二图像；

融合单元，用于采用多层次融合策略将重建的所有第二图像进行融合，得到用于输出的所述第一图像的目标风格图像。

可选地，所述获取单元，具体用于

提取每一第一图像块的局部方差和局部直方图分布差异，以及每一第二图像块的局部方差和局部直方图分布差异；

根据所有图像块对应的局部方差和局部直方图分布差异，确定每一第一图像块的候选图像块集合，该候选图像块集合中的元素为用于重建所述第二图像的第二图像块；

基于能量方程分配策略，从每一第一图像块的候选图像块集合选取该第一图像块的目标第二图像块。

可选地，所述候选图像块集合C_d(t)中的候选图像块c_i即s_l,r为：

其中，

局部方差f₁(t,r)＝υ(P_r(t))， $P_r\left(t\right)=T(x+i,y+j),\∀i,j=-r/2,...,r/2,$ r为图像块的第一图像块尺寸；

局部直方图分布差异 $f_2(t,r,h_i)={\mathrm{\Σ}}_{j=1}^i{\mathrm{\Σ}}_{u\∈P_r\left(t\right)}\frac{\mathrm{\δ}\left(T\right(u),h_j)}{P_r\left(t\right)};j=1,2,...i;$

各组直方图为 $\{h_1,\mathrm{..}{h}_i,h_H\},\∀i=1,...i,...,H,$ 像素值T(u)属于第j组h_j，即T(u)∈h_j，那么δ(T(u),h_j)＝1，否则δ(T(u),h_j)＝0；

T(t)＝T(x,y)是像素t∈T的值，T为第一图像的像素的集合。

可选地，所述获取单元，具体用于

若能量方程为

$E(v,w)=\underset{T}{\Σ}min{||v-c_i||}_2^2=\underset{w\∈W}{min}\underset{T}{\Σ}\underset{i}{\Σ}{w}_i{||v-c_i||}_2^2;$

v是第一图像的第一图像块，c_i是C_d(t)中的第i个图像块，权值矩阵W定义为： $W=\{w\left(t\right)={\left\{w_i\left(t\right)\right\}}_{i=1}^N,w_i:T\→\[0;1\],s.t.\underset{i=1}{\overset{N}{\Σ}}{w}_i\left(t\right)=1\};$

在E(v,w)最小时，对应的c_i作为该第一图像块的目标第二图像块。

可选地，所述融合单元，具体用于

若I_r ¹,I_r ²分别代表由两个不同第一图像块的尺寸得到的第二图像；则根据下述公式获取输出的所述第一图像的目标风格图像；

公式：I_new＝(1-A)·I_r ¹+A·I_r ²

其中，I_new为输出的目标风格图像，A^m＝V·W^m；

权值矩阵 $W^m\left(x\right)=\left\{\begin{array}{cc}1& ifm\∈B_{\mathrm{\λ}}\left(x\right)\\ 0& else\end{array}\right.$

B_λ(x)为中心点x处的第一图像块的主要方向的子带集合，m代表第m个子带方向；

V为待转换的第一图像的纹理和平坦程度的变化指数分布图。

由上述技术方案可知，本发明的基于样例的图像重建方法及装置，利用图像块的局部方差和直方图分布差异，获取每一第一图像块的目标第二图像块，已获得重建后的第二图像，依次获取预设集合中每一元素对应的第二图像，采用多层次融合策略将所有的第二图像融合，获得用于输出的第一图像的目标风格图像，由此，本发明的方法和装置利用输入图像的结构信息和纹理信息实现对图像目标风格化的重建，进而优化图像的风格化重建效果。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明一实施例提供的基于样例的图像重建方法的流程示意图；

图2为本发明另一实施例提供的基于样例的图像重建装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

图1示出了本发明一实施例提供的基于样例的图像重建方法的流程示意图，如图1所示，本实施例的基于样例的图像重建方法包括如下步骤：

101、将待转换的第一图像划分为r*r大小的第一图像块，以及将预设的目标风格图像划分为r*r大小的第二图像块；

本实施例中，r属于预设集合K中的元素。

102、基于图像块的局部方差和局部直方图分布差异，获取每一第一图像块的目标第二图像块；

103、将所有第一图像块的目标第二图像块融合，重建第一图像的目标风格图像，将第一图像的目标风格图像作为转换后的第二图像；

104、依次获取预设集合K中每一元素r对应的第二图像。

也就是说，在实际应用中，重复步骤101至步骤104，进而获取预设集合K中每一元素r对应的第二图像。

105、采用多层次融合策略将重建的所有第二图像进行融合，得到用于输出的所述第一图像的目标风格图像。

例如，若I_r ¹,I_r ²分别代表由两个不同第一图像块的尺寸得到的第二图像；则根据下述公式获取输出的所述第一图像的目标风格图像；

公式：I_new＝(1-A)·I_r ¹+A·I_r ²

其中，I_new为输出的目标风格图像，A^m＝V·W^m；

权值矩阵 $W^m\left(x\right)=\left\{\begin{array}{cc}1& ifm\∈B_{\mathrm{\λ}}\left(x\right)\\ 0& else\end{array}\right.$

B_λ(x)为中心点x处的第一图像块的主要方向的子带集合，m代表第m个子带方向；

V为待转换的第一图像的纹理和平坦程度的变化指数分布图。

本实施例中的基于样例的图像重建方法，利用图像块的局部方差和直方图分布差异，获取每一第一图像块的目标第二图像块，已获得重建后的第二图像，依次获取预设集合中每一元素对应的第二图像，采用多层次融合策略将所有的第二图像融合，获得用于输出的第一图像的目标风格图像，由此，可解决现有技术中无法利用输入图像的结构信息实现对图像目标风格化的重建的问题，进而优化图像的风格化重建效果。

举例来说，在实际应用中，前述的步骤102可包括下述的图中未示出的子步骤1021至子步骤1023：

1021、提取每一第一图像块的局部方差和局部直方图分布差异，以及每一第二图像块的局部方差和局部直方图分布差异；

1022、根据所有图像块对应的局部方差和局部直方图分布差异，确定每一第一图像块的候选图像块集合，该候选图像块集合中的元素为用于重建所述第二图像的第二图像块；

例如，所述候选图像块集合C_d(t)中的候选图像块c_i即s_l,r为：

其中，

局部方差f₁(t,r)＝υ(P_r(t))， $P_r\left(t\right)=T(x+i,y+j),\∀i,j=-r/2,...,r/2,$ r为图像块的第一图像块尺寸；

局部直方图分布差异 $f_2(t,r,h_i)={\mathrm{\Σ}}_{j=1}^i{\mathrm{\Σ}}_{u\∈P_r\left(t\right)}\frac{\mathrm{\δ}\left(T\right(u),h_j)}{P_r\left(t\right)};$

j＝1,2,…i，各组直方图为 $\{h_1,\mathrm{..}{h}_i,h_H\},\∀i=1,...i,...,H.$ 也就是说，j是取值范围1～i的整数，i是取值范围1～H的整数，表示直方图的第i组。

像素值T(u)属于第j组h_j，即T(u)∈h_j，那么δ(T(u),h_j)＝1，否则δ(T(u),h_j)＝0；

T(t)＝T(x,y)是像素t∈T的值，T为第一图像的像素的集合。

在本实施例中，按的标准选出一批图像块，按的标准选出一批图像块，将这些图像块组合构成了候选图像块集合C_d(t)。

1023、基于能量方程分配策略，从每一第一图像块的候选图像块集合选取该第一图像块的目标第二图像块。

举例来说，在具体实现过程中，若能量方程为

$E(v,w)=\underset{T}{\Σ}min{||v-c_i||}_2^2=\underset{w\∈W}{min}\underset{T}{\Σ}\underset{i}{\Σ}{w}_i{||v-c_i||}_2^2;$

则在E(v,w)最小时，对应的c_i作为该第一图像块的目标第二图像块。

其中，能量方程中的v是第一图像的第一图像块，c_i是C_d(t)中的第i个图像块，

权值矩阵W定义为：

$W=\{w\left(t\right)={\left\{w_i\left(t\right)\right\}}_{i=1}^N,w_i:T\→\[0;1\],s.t.\underset{i=1}{\overset{N}{\Σ}}{w}_i\left(t\right)=1\}.$

本实施例中的图像重建方法，可以灵活应用于素描合成，油画风格合成等图像风格化重建领域，不仅可以满足实际应用的需求，还可以帮助人们更好的理解人眼视觉系统特征识别的机制。

在实际应用中，经常遇到需要风格转换的照片，例如，有单个目标风格模板就可以直接将照片生成该目标风格模板的图像。典型的应用就是照片-素描图像的转换。

当前，有源风格转换的框架，分为学习和合成两个阶段，对应有源的框架，分为学习和合成两个阶段，学习阶段可为建立两个不同风格图像之间的映射关系。为此，在学习阶段，首先需要挖掘不同风格的图像之间本质上相似的内容，进而在稀疏域上建立不同风格图像之间的映射关系。在合成阶段，可利用学习阶段建立的映射关系，重建目标风格模板的图像的基本结构。

在本发明实施例中，基于样例的图像重建方法的学习阶段，可利用图像块的局部方差和直方图分布提取特征的两个特征量建立待转换的第一图像的图像块相关性指数函数；

进而采用相关性指数函数搜索目标风格图像结构中与当前图像块相似的候选图像块集合，随后在保证局部一致性的同时，从候选图像块中选择合适的目标第二图像块重建第二图像。

针对重建的多个第二图像，可进行多尺度的图像块的融合，以便根据图像内容有选择地保留重建图像的纹理细节信息。

下面结合步骤A01至步骤A05举例说明一个具体的例子。

A01、给定输入图像T，T(t)＝T(x,y)是像素t∈T的值，S表示目标风格图像，s是S中的一个像素，将在位置t＝(x,y)处的r×r大小的图像块表示为:

$P_r\left(t\right)=T(x+i,y+j),\∀i,j=-r/2,...,r/2---\left(1\right)$

A02、对于输入图像T中的任何像素t∈T和不同尺寸r的图像块，考虑两个特征量：

·图像块的局部方差，可以区分平坦区域和纹理区域，

f₁(t,r)＝υ(P_r(t))； (2)

其中，公式(2)中的υ(·)是一个求图像块方差的函数，可采用现有的公认的计算公式进行计算。

·图像块的局部直方图分布差异，直方图可以表示为以下形式，令各组为h表示直方图的每个柱子(也就是下述的组的概念)，则

$f_2(t,r,h_i)={\mathrm{\Σ}}_{j=1}^i{\mathrm{\Σ}}_{u\∈P_r\left(t\right)}\frac{\mathrm{\δ}\left(T\right(u),h_j)}{P_r\left(t\right)}---\left(3\right)$

其中，如果像素a属于第j组h_j，即a∈h_j，那么δ(a,h_j)＝1，否则δ(a,h_j)＝0。需要注意的是像素a无物理意义，在此为说明δ()函数的取值；

公式(3)中的u表示当前要计算直方图分布差异的图像块P_r(t)中的一个像素。

A03、定义一个二维的相关性指数，对于像素t∈T和s∈S，按照上述两个特征量确定的相关性：

以相关性指数为标准，可以从目标风格图像中筛选出与输入图像的图像块(对应图1的第一图像块)相似的候选图像块，即对于每个像素t∈T，候选图像块为，

令像素t∈T所在图像块的候选相似块s_l,r组成集合C_d(t)，c_i表示集合中的一个元素。

在该步骤中，可结合步骤A02中的两个特征量不仅可以估计输入图像和目标风格图像的图像块的整体情况，还可以考虑到图像块的内部分布。

A04、令输入图像中像素t所在图像块的候选相似图像块组成集合C_d(t)，通过能量函数来同时建模图像块选择和空域一致性约束的问题，

$E(v,w)=\underset{T}{\Σ}min{||v-c_i||}_2^2=\underset{w\∈W}{min}\underset{T}{\Σ}\underset{i}{\Σ}{w}_i{||v-c_i||}_2^2---\left(5\right)$

其中，公式(5)中v是待重建的图像块，

c_i是C_d(t)中的第i个图像块，

权值矩阵W定义为 $W=\{w\left(t\right)={\left\{w_i\left(t\right)\right\}}_{i=1}^N,w_i:T\→\[0;1\],s.t.\underset{i=1}{\overset{N}{\Σ}}{w}_i\left(t\right)=1\}.$ 这样在一致性约束下，将选出的最优图像块融合，重建出图像纹理层的第二图像。

A05、改变图像块的尺寸r，重复步骤(A01)～(A06)，可以得到不同粒度的重建图像层即多个第二图像，r越小，图像的纹理特征越明显，r越大，图像的结构特征越强。本实施例中，r可为5、7、9、11或者，r为5、6、7、8、9等，本实施例仅为举例说明。

为此，在以上各层次图像的基础上，提出一个适应于与图像局部结构的多层次融合策略，从而达到图像统一风格化重建的目的。

A06、令I_r ¹,I_r ²分别代表由两个不同图像块尺寸得到的重建结果，并且I_r ²是由较小的r重建的结果，因此I_r ²的细节特征更多。

定义空域约束和频域约束来决定各层融合的权重。

·空域约束：该约束的核心是纹理越丰富的区域，在重建时需要提供更多的细节特征信息，这样可以在此类区域发挥不同层次纹理丰富程度不同的优势，对于输入图像的每个像素点，定义变化指数，其值为该点对应图像块与邻域图像块的绝对差均值，可以在一定程度上反映图像区域的纹理和平坦程度，即变化值越大，纹理越丰富。对每个位置求变化指数，即可得到整个输入图像的变化指数分布图，V。

·频域约束：频域子带分解可以分离出图像的主要结构成分，合理的先验假设是如果沿着图像结构的主要方向增加细节特征，可以在提高图像重建效果的同时抑制噪声保持图像的平滑性，这也是图像融合过程中的一个关键问题。因此，对图像进行频域分解，考虑中心点在x处的一个图像块，B_λ(x)为其主要方向的子带集合，定义权值W^m(x)为关于该集合的权值矩阵，m代表第m个子带方向，

$W^m\left(x\right)=\left\{\begin{array}{cc}1& ifm\∈B_{\mathrm{\λ}}\left(x\right)\\ 0& else\end{array}\right..---\left(6\right)$

对于两层重建图像，可以在上述权值的基础上得到融合后的结果，例如，

I_new＝(1-A)·I_r ¹+A·I_r ². (7)

其中，A^m＝V·W^m，同时结合了空域约束和频域约束，保证了图像在重要的结构和纹理区域保留细节信息，在平坦区域保持平滑，融合多种方法的优势改进重建效果。

上述公式(6)与前述的公式(5)无任何关系。

在具体应用中，频域分解有公认的方式得到一系列的子带，能量比较大的子带代表了图像结构的主要方向。

如果第m个子带是主要的方向，那么权值就是1，在后面层间融合的时候对应的像素的位置就可以保留细节信息比较丰富的I_r ²。

如果第m个子带不是主要的方向，那么权值就是0，在后面层间融合的时候对应的像素的位置就不会保留细节信息比较丰富的I_r ²，而是取I_r ¹中的值。

因此，本发明实施例实现基于一致性约束的纹理层重建和进一步多层次融合算法，提升整体统一重建框架性能，优化图像的风格化重建效果。

图2示出了本发明另一实施例提供的基于样例的图像重建装置的结构示意图，如图2所示，本实施例的基于样例的图像重建装置包括：

图像块划分单元21、获取单元22、第二图像获取单元23和融合单元24；

其中，图像块划分单元21用于将待转换的第一图像划分为r*r大小的第一图像块，以及将预设的目标风格图像划分为r*r大小的第二图像块，r属于预设集合K中的元素；

获取单元22用于基于图像块的局部方差和局部直方图分布差异，获取每一第一图像块的目标第二图像块；

第二图像获取单元23用于将所有第一图像块的目标第二图像块融合，重建第一图像的目标风格图像，将第一图像的目标风格图像作为转换后的第二图像；

通过所述图像块划分单元21、获取单元22和第二图像获取单元23获取预设集合K中每一元素r对应的第二图像；

融合单元24用于采用多层次融合策略将重建的所有第二图像进行融合，得到用于输出的所述第一图像的目标风格图像。

例如，若I_r ¹,I_r ²分别代表由两个不同第一图像块的尺寸得到的第二图像；则根据下述公式获取输出的所述第一图像的目标风格图像；

公式：I_new＝(1-A)·I_r ¹+A·I_r ²

其中，I_new为输出的目标风格图像，A^m＝V·W^m；

权值矩阵 $W^m\left(x\right)=\left\{\begin{array}{cc}1& ifm\∈B_{\mathrm{\λ}}\left(x\right)\\ 0& else\end{array}\right.$

B_λ(x)为中心点x处的第一图像块的主要方向的子带集合，m代表第m个子带方向；

V为待转换的第一图像的纹理和平坦程度的变化指数分布图。

上述的装置能够利用输入图像的结构信息和纹理信息实现对图像目标风格化的重建，进而优化图像的风格化重建效果。

可选地，在一种可能的实现过程中，所述获取单元22可具体用于

提取每一第一图像块的局部方差和局部直方图分布差异，以及每一第二图像块的局部方差和局部直方图分布差异；

根据所有图像块对应的局部方差和局部直方图分布差异，确定每一第一图像块的候选图像块集合，该候选图像块集合中的元素为用于重建所述第二图像的第二图像块；

例如，所述候选图像块集合C_d(t)中的候选图像块c_i即s_l,r为：

其中，

局部方差f₁(t,r)＝υ(P_r(t))， $P_r\left(t\right)=T(x+i,y+j),\∀i,j=-r/2,...,r/2,$ r为图像块的第一图像块尺寸；

局部直方图分布差异 $f_2(t,r,h_i)={\mathrm{\Σ}}_{j=1}^i{\mathrm{\Σ}}_{u\∈P_r\left(t\right)}\frac{\mathrm{\δ}\left(T\right(u),h_j)}{P_r\left(t\right)};$

各组直方图为 $\{h_1,.h_j\mathrm{..}{h}_i,h_H\},\∀i=1,...j,...i,...,H,$ 像素值T(u)属于第j组h_j，即T(u)∈h_j，那么δ(T(u),h_j)＝1，否则δ(T(u),h_j)＝0；

T(t)＝T(x,y)是像素t∈T的值，T为第一图像的像素的集合。

基于能量方程分配策略，从每一第一图像块的候选图像块集合选取该第一图像块的目标第二图像块。

若能量方程为

$E(v,w)=\underset{T}{\Σ}min{||v-c_i||}_2^2=\underset{w\∈W}{min}\underset{T}{\Σ}\underset{i}{\Σ}{w}_i{||v-c_i||}_2^2;$

v是第一图像的第一图像块，c_i是C_d(t)中的第i个图像块，权值矩阵W定义为： $W=\{w\left(t\right)={\left\{w_i\left(t\right)\right\}}_{i=1}^N,w_i:T\→\[0;1\],s.t.\underset{i=1}{\overset{N}{\Σ}}{w}_i\left(t\right)=1\};$

在E(v,w)最小时，对应的c_i作为该第一图像块的的目标第二图像块。

本实施例中的装置可在保证局部一致性的同时，从候选图像块集合中选择合适的样例图像块重建第二图像，进而结合能量方程实现多层图像的融合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的系统中的模块可以按照实施例描述进行分布于实施例的系统中，也可以进行相应变化位于不同于本实施例的一个或多个系统中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于样例的图像重建方法，其特征在于，包括：

将待转换的第一图像划分为r*r大小的第一图像块，r属于预设集合K中的元素；

将预设的目标风格图像划分为r*r大小的第二图像块；

基于图像块的局部方差和局部直方图分布差异，获取每一第一图像块的目标第二图像块；

将所有第一图像块的目标第二图像块融合，重建第一图像的目标风格图像，将第一图像的目标风格图像作为转换后的第二图像；

依次获取预设集合K中每一元素r对应的第二图像；

采用多层次融合策略将重建的所有第二图像进行融合，得到用于输出的所述第一图像的目标风格图像。

2.根据权利要求1所述的方法，其特征在于，所述基于图像块的局部方差和局部直方图分布差异，获取每一第一图像块的目标第二图像块，包括：

提取每一第一图像块的局部方差和局部直方图分布差异，以及每一第二图像块的局部方差和局部直方图分布差异；

根据所有图像块对应的局部方差和局部直方图分布差异，确定每一第一图像块的候选图像块集合，该候选图像块集合中的元素为用于重建所述第二图像的第二图像块；

基于能量方程分配策略，从每一第一图像块的候选图像块集合选取该第一图像块的目标第二图像块。

3.根据权利要求2所述的方法，其特征在于，

所述候选图像块集合C_d(t)中的候选图像块c_i即s_l,r为：

其中，

局部方差f₁(t,r)＝υ(P_r(t))，P_r(t)＝T(x+i,y+j)r为图像块的第一图像块尺寸；

局部直方图分布差异 $f_2(t,r,h_i)={\mathrm{\Σ}}_{j=1}^i{\mathrm{\Σ}}_{u\∈P_r\left(t\right)}\frac{\mathrm{\δ}\left(T\right(u),h_j)}{P_r\left(t\right)};$ j＝1,2,…i；

各组直方图为{h₁,.h_i,h_H}，像素值T(u)属于第j组h_j，即T(u)∈h_j，那么δ(T(u),h_j)＝1，否则δ(T(u),h_j)＝0；

T(t)＝T(x,y)是像素t∈T的值，T为第一图像的像素的集合。

4.根据权利要求2所述的方法，其特征在于，基于能量方程分配策略，从每一第一图像块的候选图像块集合选取该第一图像块的目标第二图像块，包括：

若能量方程为

$E(v,w)=\underset{T}{\Σ}\min {||v-c_i||}_2^2=\underset{w\∈W}{\min }\underset{T}{\Σ}\underset{i}{\Σ}{w}_i{||v-c_i||}_2^2;$

v是第一图像的第一图像块，c_i是C_d(t)中的第i个图像块，权值矩阵W定义为： $W=\{w\left(t\right)={\left\{w_i\left(t\right)\right\}}_{i=1}^N,w_i:T\→\[0;1\],s.t.\underset{i=1}{\overset{N}{\Σ}}{w}_i\left(t\right)=1\};$

则在E(v,w)最小时，对应的c_i作为该第一图像块的目标第二图像块。

5.根据权利要求1所述的方法，其特征在于，采用多层次融合策略将重建的所有第二图像进行融合，得到输出的所述第一图像的目标风格图像，包括：

若I_r ¹,I_r ²分别代表由两个不同第一图像块的尺寸得到的第二图像；则根据下述公式获取输出的所述第一图像的目标风格图像；

公式：I_new＝(1-A)·I_r ¹+A·I_r ²

其中，I_new为输出的目标风格图像，A^m＝V·W^m；

权值矩阵 $W^m\left(x\right)=\left\{\begin{array}{cc}1& ifm\∈B_{\mathrm{\λ}}\left(x\right)\\ 0& else\end{array}\right.$

B_λ(x)为中心点x处的第一图像块的主要方向的子带集合，m代表第m个子带方向；

V为待转换的第一图像的纹理和平坦程度的变化指数分布图。

6.一种基于样例的图像重建装置，其特征在于，包括：

图像块划分单元，将待转换的第一图像划分为r*r大小的第一图像块，以及将预设的目标风格图像划分为r*r大小的第二图像块，r属于预设集合K中的元素；

获取单元，用于基于图像块的局部方差和局部直方图分布差异，获取每一第一图像块的目标第二图像块；

第二图像获取单元，用于将所有第一图像块的目标第二图像块融合，重建第一图像的目标风格图像，将第一图像的目标风格图像作为转换后的第二图像；

通过所述图像块划分单元、获取单元和第二图像获取单元获取预设集合K中每一元素r对应的第二图像；

融合单元，用于采用多层次融合策略将重建的所有第二图像进行融合，得到用于输出的所述第一图像的目标风格图像。

7.根据权利要求6所述的装置，其特征在于，所述获取单元，具体用于

提取每一第一图像块的局部方差和局部直方图分布差异，以及每一第二图像块的局部方差和局部直方图分布差异；

根据所有图像块对应的局部方差和局部直方图分布差异，确定每一第一图像块的候选图像块集合，该候选图像块集合中的元素为用于重建所述第二图像的第二图像块；

基于能量方程分配策略，从每一第一图像块的候选图像块集合选取该第一图像块的目标第二图像块。

8.根据权利要求权7所述的装置，其特征在于，所述候选图像块集合C_d(t)中的候选图像块c_i即s_l,r为：

其中，

局部方差f₁(t,r)＝υ(P_r(t))，P_r(t)＝T(x+i,y+j)r为图像块的第一图像块尺寸；

局部直方图分布差异 $f_2(t,r,h_i)={\mathrm{\Σ}}_{j=1}^i{\mathrm{\Σ}}_{u\∈P_r\left(t\right)}\frac{\mathrm{\δ}\left(T\right(u),h_j)}{P_r\left(t\right)};$ j＝1,2,…i；

各组直方图为{h₁,...h_i,h_H}，像素值T(u)属于第j组h_j，即T(u)∈h_j，那么δ(T(u),h_j)＝1，否则δ(T(u),h_j)＝0；

T(t)＝T(x,y)是像素t∈T的值，T为第一图像的像素的集合。

9.根据权利要求7所述的装置，其特征在于，所述获取单元，具体用于

若能量方程为

$E(v,w)=\underset{T}{\Σ}\min {||v-c_i||}_2^2=\underset{w\∈W}{\min }\underset{T}{\Σ}\underset{i}{\Σ}{w}_i{||v-c_i||}_2^2;$

v是第一图像的第一图像块，c_i是C_d(t)中的第i个图像块，权值矩阵W定义为： $W=\{w\left(t\right)={\left\{w_i\left(t\right)\right\}}_{i=1}^N,w_i:T\→\[0;1\],s.t.\underset{i=1}{\overset{N}{\Σ}}{w}_i\left(t\right)=1\};$

在E(v,w)最小时，对应的c_i作为该第一图像块的目标第二图像块。

10.根据权利要求6所述的装置，其特征在于，所述融合单元，具体用于

若I_r ¹,I_r ²分别代表由两个不同第一图像块的尺寸得到的第二图像；则根据下述公式获取输出的所述第一图像的目标风格图像；

公式：I_new＝(1-A)·I_r ¹+A·I_r ²

其中，I_new为输出的目标风格图像，A^m＝V·W^m；

权值矩阵 $W^m\left(x\right)=\left\{\begin{array}{cc}1& ifm\∈B_{\mathrm{\λ}}\left(x\right)\\ 0& else\end{array}\right.$

B_λ(x)为中心点x处的第一图像块的主要方向的子带集合，m代表第m个子带方向；

V为待转换的第一图像的纹理和平坦程度的变化指数分布图。