CN102194241A - 基于互联网的艺术拼图系统设计方法 - Google Patents

Abstract

本发明提出了一种基于互联网的艺术拼图系统设计方法。该方法参考了图像检索领域中基于内容的图像检索技术以及计算机图形学中有关图像合成的相关方法，根据输入图像，将从互联网上搜索到的若干图像拼接成一幅具有艺术特质的拼接图像。与传统的基于内容的图像检索方法不同，本发明提出了一个全新的、基于形状和颜色进行检索的能量函数，得到了比较理想的检索结果；在确定各分快之间层次顺序时，提出了三个重要的用于判断相邻分块间层次关系的线索，并引入拓扑排序，有效地将所有的局部层次关系综合起来，得到合理的全局层次关系。本发明根据输入图像得到一幅具有艺术特质的拼接图，在娱乐和艺术领域是一个全新的尝试。

Description

基于互联网的艺术拼图系统设计方法

技术领域

本发明属于计算机图像处理方法，具体涉及一种基于互联网的艺术拼图系统设计方法。

背景技术

意大利画家朱塞佩·阿尔钦博托(1527-1593)的代表作品《四季》别出心裁地用水果、蔬菜等拼合而成，产生了别具一格的艺术效果，对后来的超现实主义产生了重要的影响。

从计算机图形学的角度来看，阿尔钦博托的作品与图像合成有着密不可分的关系。图像合成是指将两个或两个以上的图像进行加工处理，叠加或组合成一幅具有特殊效果的图像的过程。这方面的工作已经有很多，比如图像马赛克(A.Hausner.Simulating decorative mosaics，Proceedings of the 28thannual conference on Computer graphics and interactive techniques，2001)和数字照片合成(A.Agarwala，M.Dontcheva，M.Agrawala，et al.Interactive digital photomontage.ACM Transactions on Graphics(TOG)，23(3)：294-302，2004)，Gal等甚至提出了基于3D模型的拼图设计系统(R.Gal，O.Sorkine，T.Popa，et al.3D collage：Expressive non-realistic modeling，ACM，2007)。以上图像合成工作生成了较具吸引力的合成结果，但是由于其数据库中的元素有限，其系统的表现能力受到了很大的限制。

随着电子设备的普及以及互联网技术的发展，互联网上数字图像的数量急剧增加：国外著名社交网站Facebook的图片数量已经突破150亿，国内著名社交网站51.com的用户上传的图片数量也超过110亿。如果能利用互联网上海量图像数据库来辅助图像合成工作，定能解决当前多数图像合成系统的表现能力过低的问题。

但是，如何对如此大规模的图像进行有效的管理和利用是一个十分重要的课题。目前，搜索引擎是对互联网信息进行有效管理和利用的有效手段，但是对于图像来说，当前的搜索引擎多是基于图像的文本注释进行搜索，由于图像的文本注释完全依靠人工完成，而且不同的人对同一幅图像有着不同的理解，随意性较大，不够客观，同时随着多媒体技术的注入，图像数量急剧增加，对实现图像库自动检索的需求更加迫切，单纯依靠手工注释是不现实的，所以从九十年代开始，基于内容的图像检索CBIR(Content-based Image Retrieval)技术受到人们越来越多的关注。基于内容的图像检索，就是把图像的视觉特征作为图像的内容表示，进行匹配、查找。迄今，已有许多基于内容的图像检索系统问世，比如IBM的QBIC和MIT的Photobook等。尽管如此，基于内容的图像检索技术仍然处于研究阶段，根据具体的应用范围设计具体的检索规则仍是使用该方法的常用方法。

发明内容

本发明的目的是提供一种基于互联网的艺术拼图系统设计方法，该方法能够利用互联网上的海量图像，根据输入图像，生成具有艺术特质的拼接图像。

为达到上述目的，本发明采用的技术方案是：

1)对输入的图像进行分割得到分块图像，并提供交互工具对分块图像进行调整和修正；

2)根据用户输入的替代物的类别标签在互联网上进行搜索，并去除内容不相关以及前景复杂的图像，然后采用前景提取算法进行前景分割，得到前景物体和对应的掩码图像；

3)构造能量函数，保证所选用的替代图像和步骤1)中得到的对应分块图像在形状和颜色特征方面尽可能地保持一致；

4)求取各分块的层次关系，并提供交互工具对得到的层次关系进行调整；

5)对输入图像进行对称性检测，找到对称的分块；

6)采用高斯融合算法对拼接图像的边界进行处理，并提供交互工具对替代图像的位置、大小和旋转角度进行调整；

7)对拼接图像进行亮度调整。

所述步骤1)对于输入的图像，采用经典的均值偏移算法进行分割，在图像分割阶段引入用户交互工具，通过鼠标在分割结果图像上画一笔，即将该笔画覆盖的分块合并成一个分块，或将一个分块进一步分割成两个分块，且该交互工具实现像素级的操作，用来对分割边界进行修正，即分块的合并是指将待合并分块中的所有像素合并到一个分块中；分块的进一步分割是指根据用户的交互，采用图割算法将指定分块分成两块。

所述步骤2)在图像搜索之前要求用户输入该拼接图像所用替代图像的物体所属的分类标签在互联网上进行搜索，对于搜索到的图像，仅需要包含相关物体的前景区域，用以作为各分块的替代图像，采用基于内容的图像过滤方法对互联网上得到的图像进行内容相关的过滤去除不易进行前景分割的图像，采用Grabcut(C.Rother，V.Kolmogorov，and A.Blake.Grabcut：Interactive foreground extraction using iterated graph cuts，ACM，2004)方法进行前景分割，得到前景物体和对应的掩码图像。

所述步骤3)所选用的替代图像S_i和对应分块图像P_i在形状和颜色特征方面保持一致；其中替代图像S_i通过最小化下面的能量函数得到：

[式1]

E(Q_j)＝G(Q_j，P_i)+λC(Q_j，P_i)，Q_j∈I

其中，G(Q_j，P_i)表示从互联网上下载的并进行了前景分割的图像Q_j与分块图像P_i在形状特征方面的相似性，C(Q_j，P_i)表示Q_j与P_i在颜色特征方面的相似性，λ用来调节形状和颜色特征之间的相对重要性，I表示前景分割之后的图像数据库；

选取仿射变换对步骤2)得到的前景图像进行处理，即对前景图像进行平移、缩放、旋转、切变等仿射变换，再采用基于矩分布的仿射注册方法(J.Ho，A.Peter，A.Rangarajan，et al.An algebraic approach to affine registration of point sets，IEEE 12th International Conference on Computer Vision，2009)得到上述仿射变换，所得仿射变换包括一个2×2的仿射矩阵A_ij和一个1×2的平移矩阵v_ij，通过最小化G(Q_j，p_i)得到与分块图像匹配的前景图像，G(Q_j，P_i)定义如下：

[式2]

其中，σ₁和σ₂是矩阵A_ij的奇异值，且σ₁≥σ₂，

表示变换之后的图像，d(·)表示区域面积，用像素数表示，

σ₁/σ₂越接近于1，表明仿射变换中切变以及x、y方向的不等比例缩放变换的成分越少；

颜色相似性定义为前景图像与分块图像之间的颜色分布之间的差异，首先将RGB彩色图像转换到YUV空间，定义颜色相似性如下：

[式3]

C(Q_j，P_i)＝D_QC(H_u(Q_j)，H_u(P_i))+D_QC(H_v(Q_j)，H_v(P_i))

其中，H_u和H_v分表表示U通道和V通道的颜色直方图，D_QC(·)表示直方图之间的QC距离(O.Pele and M.Werman.The Quadratic-Chi Histogram Distance Family.Computer Vision-ECCV：749-762，2010)，该距离对量化带来的影响比较稳定；

通过最小化[式1]所示的能量函数，得到在形状和颜色特征方面与分块图像比较一致的替代图像集{S_i，i＝1，2，...，N}，N表示分块图像的数目。

所述步骤4)在将步骤3)得到的替代图像集拼接成最终的图像之前，需要确定各分块之间的层次关系，即恢复图像的深度信息，采用三个用以判断各分块之间遮挡关系的线索——包含关系、“T”点信息和阴影分布，并通过投票方式将这三个线索得到的结果综合起来，得到相邻分块之间的层次关系，将各相邻分块之间的层次关系综合起来，得到一个全局的层次关系，用P_i＜P_j表示分块图像P_i位于分块图像P_j的上面，

1)包含关系

如果分块图像P_j的边界完全包含分块图像P_i的边界，那么P_i＜P_j；

2)“T”点信息

当两个分块图像的边界相交的时候会出现“T”点，假设在“T”点t周围存在一系列分块图像{P_k|k＝1，2，...，m}，Ω_t，r是以t点为圆心，r为半径的圆，t点周围的分块图像的层次关系依据各分块图像与Ω_t，r相交部分的面积来确定，面积越大，层次在上面的可能性越大，即，如果d(P_k∩Ω_t，r)＜d(P_l∩Ω_t，r)，则判断P_l＜P_k，为了去除分割不准确带来的影响，用一系列半径不同的圆来重复上述操作，对于每一个圆，得到该图像分块系列{P_k|k＝1，2，...，m}的一个相对层次关系；

3)阴影信息

阴影是判断分块图像层次关系的一个重要因素，如果分块图像上有阴影分布，那么该分块图像位于周围分块图像下面的可能性更大一些，给定两个相邻分块图像P_i和P_j，记其相交边界为s，可能存在阴影的区域R＝(P_i∪P_j)∩dia(s)，其中dia(s)表示对边界s进行形态学膨胀操作得到的区域，区域R在亮度通道中对应像素值的分布通过一个双高斯分布组成的高斯混合模型来近似表示，这两个高斯分布表示为{g₁(y；μ₁，σ₁)；g₂(y；μ₂，σ₂)}，其中μ₁，μ₂(μ₁＜μ₂)分别表示g₁，g₂的均值，σ₁，σ₂分别表示g₁，g₂的标准差，如果μ₂-μ₁大于一给定的阈值，则认为在区域R中包含阴影区域，对于区域R中的像素p_i，其亮度值为y_i，如果g₁(y_i)＜g₂(y_i)，则认为该像素为阴影像素；最后通过比较两分块图像中包含的阴影像素的数目，来判断其层次关系，包含阴影像素的数目多的分块图像位于下方；

通过上面的三个线索，得到一系列用来表示相邻分块间层次关系的不等式，根据上述不等式对相邻两分块之间的层次关系进行投票，具体投票方法如下：对于由包含关系和阴影关系得到的不等式，投票算法为对应分块间的层次关系投1票；对于由“T”点确定的不等式，投票算法为对应分块间的层次关系投1/h票，其中h表示在该“T”点周围取的圆的数目，通过投票算法，得到一个不等式集合∑，在该集合中可能存在互相矛盾的不等式，为了得到一个全局一致的层次关系，采用拓扑排序算法(D.Sykora，D.Sedlacek，S.Jinchao，et al.Adding Depth to Cartoons Using Sparse Depth(In)equalities，John Wiley & Sons Computer Graphics Forum，2010)对该不等式集合∑进行处理。

所述步骤5)对于具有明显对称性的输入图像，先进行对称性检测：采用三维模型的对称性检测算法(N.Mitra，L.Guibas，and M.Pauly.Partial and approximate symmetry detection for 3D geometry.ACM Transactions on Graphics(TOG)，25(3)：560-568，2006)应用在二维图像上，对于输入图像先进行对称性检测，得到分块图像之间的对称关系。

所述步骤6)根据步骤4)中确定的各分块之间的层次关系，先后摆放替代图像，组合形成拼接图像，并采用高斯融合算法对拼接图像的边界进行处理，高斯融合算法如下：

假设拼接系统已经按照各分块之间的层次关系拼接完成了前k个分块，得到临时拼接图像需要将第k+1个替代图像S_k+1和临时拼接图像

进行融合，记替代图像S_k+1与临时拼接图像

相交的边界为

通过对该边界进行形态学膨胀操作，得到一个与替代图像S_k+1相交的宽度为w的二值带状区域

然后，用窗口宽度为w/2的高斯滤波器对

区域进行滤波，并结合原掩码图像，得到一个边缘模糊的掩码图像α，用前k+1个替代图像合成的临时拼接图像

上位于(i，j)位置的像素值

通过下式计算得到：

[式4]

其中，α(i，j)、S_k+1(i，j)和

分别表示掩码图像α、替代图像S_k+1和临时拼接图像

位于(i，j)处的像素值。

所述步骤7)在进行亮度调整的时候以输入图像的亮度分布为目标，亮度调整是通过在替代图像S_i与分块图像P_i之间进行直方图匹配实现的，假设AH_P和AH_S分别表示分块图像P_i和替代图像S_i的亮度通道归一化累积直方图分布，对于替代图像中的每一个像素p∈S_i，其亮度值y₀用y′来替换，即

[式5]

y₀←y′，s.t.AH_S(y₀)＝AH_P(y′)。

本发明采用基于内容的图像检索方法，结合计算机图形学领域的图像合成技术以及若干其它图像处理技术，根据输入图像，对互联网上的图像进行过滤、处理，并合成一幅具有艺术特质的拼接图像。即对输入图像进行分割，并对分割结果进行层次的确定和对称性检测，并在互联网上搜索替代图像用来合成拼接图像，同时尽可能地保证各替代图像的可识别性。

本发明首先对给定的输入图像进行分割，系统在该过程中允许用户交互，以保证最终的分割结果符合用户的要求；同时，为了更好地保证替代图像的可识别性，本发明要求用户为输入图像指定所用替换物的类别标签，比如水果、蔬菜。系统根据用户提供的标签，在互联网上搜索相关图像，并采用内容相关的图像过滤方法对搜索到的图像进行过滤，并对过滤得到的图像进行前景分割，得到前景图像的轮廓；最后结合形状和颜色等特征信息，筛选得到与对应分块最相似的搜索结果，用来作为该分块的替换图像。对于分割得到的各分块之间的层次关系，通过分析各分块之间的覆盖关系、相交关系和阴影分布，确定相邻分块之间的层次关系，在此基础上，创新性地应用拓扑排序算法得到全局的层次关系，实现各分块之间层次关系的自动确定。对于一些对称性较强的输入图像，采用对称性检测算法得到对称关系，并结合分割结果得到各分块之间的对称关系，以保证在最终的分割结果中，对称的部分采用的是相同种类的图像，以提高拼接图像的视觉欣赏性。在拼接过程，为了消除拼接时边缘的不连续性，应用高斯融合算法处理，保证各分块边缘之间的平滑过渡。为了保证最终的拼接图像和输入图像在亮度上的一致性，本发明对每一个分块的替代图像进行了亮度调整。

附图说明

图1是基于互联网的艺术拼图系统设计流程图；

图2是分块图像层次确定示意图；

图3是对称性检测及其对应的拼接图效果比较；

图4是对拼接边界进行高斯融合处理的过程；

图5是亮度调整效果图比较；

图6是一些卡通图像的拼接图效果展示，每组图像中左边为拼接图像，右边为输入图像。

具体实施方式

下面将根据附图对本发明进行详细说明。

本发明流程图如

图1所示，主要分为7个步骤。

步骤1：图像分割

对于输入图像，采用经典的均值偏移算法(D.Comaniciu and P.Meer.Mean shift：A robust approach toward feature space analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence，24(5)：603-619，2002)进行分割。为了更好地满足用户的要求，最大限度地发挥用户的设计能力和创造性，本发明在图像分割阶段引入了用户交互工具，使得用户可以通过鼠标在分割结果图像上简单地画一笔，即可将该笔画覆盖的分块合并成一个分块，也可以将一个分块分成两个分块。且该交互工具实现像素级的操作，用来对分割边界进行修正，即分块的合并是指将待合并分块中的所有像素合并到一个分块中；分块的进一步分割是指根据用户的交互，采用图割算法将指定分块分成两块。

步骤2：图像搜索、过滤、前景分割

由于互联网上的图像数量巨大，逐一进行处理是不现实的；而且，为了保证每一个分块的替代图像的可识别性，本发明要求对于一个拼接图像所用的替代图像属于同一或者相近的分类。所以，本发明在图像搜索之前要求用户输入该拼接图像所用替代图像的物体所属的分类标签，比如水果、蔬菜。

然而，基于文本的图像搜索仍然会搜索到很多内容不相关的图像；而且，对于搜索到的图像，本发明仅需要包含相关物体的前景区域，用以作为各分块的替代图像。因此，需要对互联网上得到的图像进行内容相关的过滤，并且去除不易进行前景分割的图像。本发明采用陈等提出的基于内容的图像过滤方法(T.Chen，M.Cheng，P.Tan，et al.Sketch2Photo：internet image montage.ACM Transactions on Graphics(TOG)，28(5)：1-10，2009)达到上述目的，并采用Grabcut(C.Rother，V.Kolmogorov，and A.Blake.Grabcut：Interactive foreground extraction using iterated graph cuts，ACM，2004)方法进行前景分割，得到前景物体和对应的掩码图像。

对于搜索到的图像，仅需要包含相关物体的前景区域，用以作为各分块的替代图像，采用基于内容的图像过滤方法对互联网上得到的图像进行内容相关的过滤去除不易进行前景分割的图像，采用Grabcut(C.Rother，V.Kolmogorov，and A.Blake.Grabcut：Interactive foreground extraction using iterated graph cuts，ACM，2004)方法进行前景分割，得到前景物体和对应的掩码图像。

步骤3：图像匹配

为了保证拼接图像和原图像在视觉上的一致性，同时保证替代图像的可识别性，要求所选用的替代图像S_i和对应分块图像P_i在形状和颜色特征方面尽可能地保持一致。

其中替代图像S_i通过最小化下面的能量函数得到：

[式1]

E(Q_j)＝G(Q_j，P_i)+λC(Q_j，P_i)，Q_j∈I

其中，G(Q_j，P_i)表示从互联网上下载的并进行了前景分割的图像Q_j与分块图像P_i在形状特征方面的相似性，C(Q_j，P_i)表示Q_j与P_i在颜色特征方面的相似性，λ用来调节形状和颜色特征之间的相对重要性，I表示前景分割之后的图像数据库；

下面将分别对G(Q_j，P_i)和C(Q_j，P_i)进行详细说明。

选取仿射变换对步骤2)得到的前景图像进行处理，即对前景图像进行平移、缩放、旋转、切变仿射变换，再采用基于矩分布的仿射注册方法(J.Ho，A.Peter，A.Rangarajan，et al.An algebraic approach to affine registration of point sets，IEEE 12th International Conference on Computer Vision，2009)得到上述仿射变换，所得仿射变换包括一个2×2的仿射矩阵A_ij和一个1×2的平移矩阵v_ij，通过最小化G(Q_j，P_i)得到与分块图像匹配的前景图像，G(Q_j，P_i)定义如下：

[式2]

其中，σ₁和σ₂是矩阵A_ij的奇异值，且σ≥σ₂，

表示变换之后的图像，d(·)表示区域面积，用像素数表示，

σ₁/σ₂越接近于1，表明仿射变换中切变以及x、y方向的不等比例缩放变换的成分越少；

颜色相似性定义为前景图像与分块图像之间的颜色分布之间的差异，首先将RGB彩色图像转换到YUV空间，定义颜色相似性如下：

[式3]

C(Q_j，P_i)＝D_QC(H_u(Q_j)，H_u(P_i))+D_QC(H_v(Q_j)，H_v(P_i))

其中，H_u和H_v分表表示U通道和V通道的颜色直方图，D_QC(·)表示直方图之间的QC距离(O.Pele and M.Werman.The Quadratic-Chi Histogram Distance Family.Computer Vision-ECCV：749-762，2010)，该距离对量化带来的影响比较稳定；

通过最小化[式1]所示的能量函数，得到在形状和颜色特征方面与分块图像比较一致的替代图像集{S_i，i＝1，2，...，N}，N表示分块图像的数目。

步骤4：层次关系确定

在将步骤3)得到的替代图像集拼接成最终的图像之前，需要确定各分块之间的层次关系，即恢复图像的深度信息。受Hoiem等基于单幅图像判断遮挡边界的信息(D.Hoiem，A.Efros，and M.Hebert.Recovering occlusion boundaries from an image.International Journal of Computer Vision：1-19，2010)的启发，本发明提出了三个用以判断各分块之间遮挡关系的线索——包含关系、“T”点信息和阴影分布，并通过投票方式将这三个线索得到的结果综合起来，得到相邻分块之间的层次关系。在此基础上，创新性地引入拓扑排序算法，将各相邻分块之间的层次关系综合起来，得到一个全局的层次关系。下面首先介绍一下这三条线索(在本发明中，用P_i＜P_j表示分块图像P_i位于分块图像P_j的上面)。

1)包含关系

如果分块图像P_j的边界完全包含分块图像P_i的边界，那么P_i＜P_j(见图2(b))。

2)“T”点信息

当两个分块图像的边界相交的时候会出现“T”点，如图2(c)所示。假设在“T”点t周围存在一系列分块图像{P_k|k＝1，2，...，m}，Ω_t，r是以t点为圆心，r为半径的圆。t点周围的分块图像的层次关系即可依据各分块图像与Ω_t，r相交部分的面积来确定，面积越大，层次在上面的可能性越大，即，如果d(P_k∩Ω_t，r)＜d(P_l∩Ω_t，r)，则判断P_l＜P_k。为了去除分割不准确带来的影响，本发明创新性地用一系列半径不同的圆来重复上述操作，对于每一个圆，可以得到该图像分块系列{P_k|k＝1，2，...，m}的一个相对层次关系。

3)阴影信息

阴影是判断分块图像层次关系的一个重要因素，如果分块图像上有阴影分布，那么该分块图像位于周围分块图像下面的可能性更大一些。给定两个相邻分块图像P_i和P_j，记其相交边界为s，如图2(d)所示。可能存在阴影的区域R＝(P_i∪P_j)∩dia(s)，其中dia(s)表示对边界s进行形态学膨胀操作得到的区域。区域R在亮度通道中对应像素值的分布可以通过一个双高斯分布组成的高斯混合模型来近似表示，这两个高斯分布可以表示为{g₁(y；μ₁，σ₁)；g₂(y；μ₂，σ₂)}，其中μ₁，μ₂(μ₁＜μ₂)分别表示g₁，g₂的均值，σ₁，σ₂分别表示g₁，g₂的标准差。如果μ₂-μ₁大于一给定的阈值，则认为在区域R中包含阴影区域。对于区域R中的像素p_i，其亮度值为y_i，如果g₁(y_i)＜g₂(y_i)，则认为该像素为阴影像素。最后通过比较两分块图像中包含的阴影像素的数目，来判断其层次关系，包含阴影像素的数目多的分块图像位于下方。

通过上面的三个线索，可以得到一系列用来表示相邻分块间层次关系的不等式。本发明设计了一种投票算法，根据上述不等式对相邻两分块之间的层次关系进行投票，具体投票方法如下：对于由包含关系和阴影关系得到的不等式，投票算法为对应分块间的层次关系投1票；对于由“T”点确定的不等式，投票算法为对应分块间的层次关系投1/h票，其中h表示在该“T”点周围取的圆的数目。通过投票算法，我们可以得到一个不等式集合∑，在该集合中可能存在互相矛盾的不等式。为了得到一个全局一致的层次关系，本发明引入拓扑排序算法(D.Sykora，D.Sedlacek，S.Jinchao，et al.Adding Depth to Cartoons Using Sparse Depth(In)equalities，John Wiley & Sons Computer Graphics Forum，2010)对该不等式集合∑进行处理。即便如此，仍然可能出现不正确的层次关系，针对这个问题，本发明设计了一套允许用户交互的层次调整工具，用户可以调整任意两分块之间的层次关系。

步骤5：对称性检测

对称性是一个重要的视觉特征，往往能够引起人的特别关注。对于具有明显对称性的输入图像，可以先进行对称性检测。本发明采用三维模型的对称性检测算法(N.Mitra，L.Guibas，and M.Pauly.Partial and approximate symmetry detection for 3D geometry.ACM Transactions on Graphics(TOG)，25(3)：560-568，2006)应用在二维图像上，对于输入图像先进行对称性检测，得到分块图像之间的对称关系如图3(a)所示；在拼接过程中，对称的分块改用相同的替代图像，明显提高了拼接图像的视觉观赏性，如图3(b)所示。

步骤6：拼接融合

根据步骤4)中确定的各分块之间的层次关系，先后摆放替代图像，组合形成拼接图像。并采用高斯融合算法对拼接图像的边界进行处理。高斯融合算法如下：

由于拼接图像所选用替代图像的前景和背景之间的边界比较清晰，前景分割效果较好，可以得到比较理想的掩码图像，所以，本发明采用简单的高斯融合方法对拼接过程的边界进行处理。假设拼接系统已经按照各分块之间的层次关系拼接完成了前k个分块，得到临时拼接图像

现在需要将第k+1个替代图像S_k+1和临时拼接图像

进行融合。记替代图像S_k+1与临时拼接图像

相交的边界为通过对该边界进行形态学膨胀操作，得到一个与替代图像S_k+1相交的宽度为w的二值带状区域

然后，用窗口宽度为w/2的高斯滤波器对

区域进行滤波，并结合原掩码图像，得到一个边缘模糊的掩码图像α。用前k+1个替代图像合成的临时拼接图像上位于(i，j)位置的像素值

通过下式计算得到：

[式4]

其中，α(i，j)、S_k+1(i，j)和

分别表示掩码图像α、替代图像S_k+1和临时拼接图像

位于(i，j)处的像素值。融合效果如图4所示。

步骤7：亮度调整

由于替代图像在亮度上可能存在严重的不一致性，因此需要对合成的拼接图像进行亮度调整。在进行亮度调整的时候以输入图像的亮度分布为目标，既可以保持拼接图像和输入图像在亮度分布上的一致性，同时又能保证各替代图像之间亮度的协调性。

本发明的亮度调整是通过在替代图像S_i与分块图像P_i之间进行直方图匹配实现的。假设AH_P和AH_S分别表示分块图像P_i和替代图像S_i的亮度通道归一化累积直方图分布，对于替代图像中的每一个像素p∈S_i，其亮度值y₀用y′来替换，即

[式5]

y₀←y′，s.t.AH_S(y₀)＝AH_P(y′)

图5展示的是亮度调整的效果。亮度调整并不是必须的，尤其是在输入图像没有真实亮度的情况下，比如卡通图像。同时，为了保证替代图像的可识别性，并不总是必须将替代图像的亮度调整到与分块图像完全一致，比如当分块图像为一全黑的分块时，如果将替代图像的亮度分布调整的和分块图像完全一致，很可能导致其不可识别。针对这一问题，本发明实现了一个工具，可以对拼接图像的亮度分布进行连续调整，选出一个合适的亮度分布。

另外，本发明还实现了直接对各替代图像的位置、大小、旋转角度进行编辑的工具，以保证替代图像能更好地与分块图像匹配。

以上就是基于互联网的艺术拼图系统设计的所有步骤，图6展示了一些卡通图像拼接图的效果。

如上所述，本发明提出了一种基于互联网的艺术拼图系统的设计方法。该方法是一个综合了若干图像处理技术的艺术拼图系统，其中基于形状和颜色相似性对图像进行筛选的机制是基于内容的图像检索技术的成功应用；另外，在确定各分快之间层次顺序时，创新性地提出三个线索并引入拓扑排序，得到一个合理的全局的层次关系。

尽管已经参考附图对本发明进行了解释和描述，专业技术人员应该理解，在不脱离本发明精神和范围的情况下，可以在其中或对其进行各种其他改变，增删。

Claims (8)

1.一种基于互联网的艺术拼图系统设计方法，其特征在于包含以下步骤：

1)对输入的图像进行分割得到分块图像，并提供交互工具对分块图像进行调整和修正；

2)根据用户输入的替代物的类别标签在互联网上进行搜索，并去除内容不相关以及前景复杂的图像，然后采用前景提取算法进行前景分割，得到前景物体和对应的掩码图像；

3)构造能量函数，保证所选用的替代图像和步骤1)中得到的对应分块图像在形状和颜色特征方面尽可能地保持一致；

4)求取各分块的层次关系，并提供交互工具对得到的层次关系进行调整；

5)对输入图像进行对称性检测，找到对称的分块；

6)采用高斯融合算法对拼接图像的边界进行处理，并提供交互工具对替代图像的位置、大小和旋转角度进行调整；

7)对拼接图像进行亮度调整。

2.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于：所述步骤1)对于输入的图像，采用经典的均值偏移算法进行分割，在图像分割阶段引入用户交互工具，通过鼠标在分割结果图像上画一笔，即将该笔画覆盖的分块合并成一个分块，或将一个分块进一步分割成两个分块，且该交互工具实现像素级的操作，用来对分割边界进行修正，即分块的合并是指将待合并分块中的所有像素合并到一个分块中；分块的进一步分割是指根据用户的交互，采用图割算法将指定分块分成两块。

3.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于：所述步骤2)在图像搜索之前要求用户输入该拼接图像所用替代图像的物体所属的分类标签在互联网上进行搜索，对于搜索到的图像，仅需要包含相关物体的前景区域，用以作为各分块的替代图像，采用基于内容的图像过滤方法对互联网上得到的图像进行内容相关的过滤去除不易进行前景分割的图像，采用Grabcut(C.Rother，V.Kolmogorov，and A.Blake.Grabcut：Interactive foreground extraction using iterated graph cuts，ACM，2004)方法进行前景分割，得到前景物体和对应的掩码图像。

4.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于：所述步骤3)所选用的替代图像S_i和对应分块图像P_i在形状和颜色特征方面保持一致；其中替代图像S_i通过最小化下面的能量函数得到：

[式1]

E(Q_j)＝G(Q_j，P_i)+λC(Q_j，P_i)，Q_j∈I

其中，G(Q_j，P_i)表示从互联网上下载的并进行了前景分割的图像Q_j与分块图像P_i在形状特征方面的相似性，C(Q_j，P_i)表示Q_j与P_i在颜色特征方面的相似性，λ用来调节形状和颜色特征之间的相对重要性，I表示前景分割之后的图像数据库；

选取仿射变换对步骤2)得到的前景图像进行处理，即对前景图像进行平移、缩放、旋转、切变等仿射变换，再采用基于矩分布的仿射注册方法(J.Ho，A.Peter，A.Rangarajan，et al.An algebraic approach to affine registration of point sets，IEEE 12th International Conference on Computer Vision，2009)得到上述仿射变换，所得仿射变换包括一个2×2的仿射矩阵A_ij和一个1×2的平移矩阵v_ij，通过最小化G(Q_j，P_i)得到与分块图像匹配的前景图像，G(Q_j，P_i)定义如下：

[式2]

其中，σ₁和σ₂是矩阵A_ij的奇异值，且σ₁≥σ₂，表示变换之后的图像，d(·)表示区域面积，用像素数表示，

σ₁/σ₂越接近于1，表明仿射变换中切变以及x、y方向的不等比例缩放变换的成分越少；

颜色相似性定义为前景图像与分块图像之间的颜色分布之间的差异，首先将RGB彩色图像转换到YUV空间，定义颜色相似性如下：

[式3]

C(Q_j，P_i)＝D_QC(H_u(Q_j)，H_u(P_i))+D_QC(H_v(Q_j)，H_v(P_i))

其中，H_u和H_v分表表示U通道和V通道的颜色直方图，D_QC(·)表示直方图之间的QC距离(O.Pele and M.Werman.The Quadratic-Chi Histogram Distance Family.Computer Vision-ECCV：749-762，2010)，该距离对量化带来的影响比较稳定；

通过最小化[式1]所示的能量函数，得到在形状和颜色特征方面与分块图像比较一致的替代图像集{S_i，i＝1，2，...，N}，N表示分块图像的数目。

5.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于：所述步骤4)在将步骤3)得到的替代图像集拼接成最终的图像之前，需要确定各分块之间的层次关系，即恢复图像的深度信息，采用三个用以判断各分块之间遮挡关系的线索——包含关系、“T”点信息和阴影分布，并通过投票方式将这三个线索得到的结果综合起来，得到相邻分块之间的层次关系，将各相邻分块之间的层次关系综合起来，得到一个全局的层次关系，用P_i＜P_j表示分块图像P_i位于分块图像P_j的上面，

1)包含关系

如果分块图像P_j的边界完全包含分块图像P_i的边界，那么P_i＜P_j；

2)“T”点信息

当两个分块图像的边界相交的时候会出现“T”点，假设在“T”点t周围存在一系列分块图像{P_k|k＝1，2，...，m}，Ω_t，r是以t点为圆心，r为半径的圆，t点周围的分块图像的层次关系依据各分块图像与Ω_t，r相交部分的面积来确定，面积越大，层次在上面的可能性越大，即，如果d(P_k∩Ω_t，r)＜d(P_l∩Ω_t，r)，则判断P_l＜P_k，为了去除分割不准确带来的影响，用一系列半径不同的圆

来重复上述操作，对于每一个圆，得到该图像分块系列{P_k|k＝1，2，...，m}的一个相对层次关系；

3)阴影信息

阴影是判断分块图像层次关系的一个重要因素，如果分块图像上有阴影分布，那么该分块图像位于周围分块图像下面的可能性更大一些，给定两个相邻分块图像P_i和P_j，记其相交边界为s，可能存在阴影的区域R＝(P_i∪P_j)∩dia(s)，其中dia(s)表示对边界s进行形态学膨胀操作得到的区域，区域R在亮度通道中对应像素值的分布通过一个双高斯分布组成的高斯混合模型来近似表示，这两个高斯分布表示为{g₁(y；μ₁，σ₁)；g₂(y；μ₂，σ₂)}，其中μ₁，μ₂(μ₁＜μ₂)分别表示g₁，g₂的均值，σ₁，σ₂分别表示g₁，g₂的标准差，如果μ₂-μ₁大于一给定的阈值，则认为在区域R中包含阴影区域，对于区域R中的像素p_i，其亮度值为y_i，如果g₁(y_i)＜g₂(y_i)，则认为该像素为阴影像素；最后通过比较两分块图像中包含的阴影像素的数目，来判断其层次关系，包含阴影像素的数目多的分块图像位于下方；

通过上面的三个线索，得到一系列用来表示相邻分块间层次关系的不等式，根据上述不等式对相邻两分块之间的层次关系进行投票，具体投票方法如下：对于由包含关系和阴影关系得到的不等式，投票算法为对应分块间的层次关系投1票；对于由“T”点确定的不等式，投票算法为对应分块间的层次关系投1/h票，其中h表示在该“T”点周围取的圆的数目，通过投票算法，得到一个不等式集合∑，在该集合中可能存在互相矛盾的不等式，为了得到一个全局一致的层次关系，采用拓扑排序算法(D.Sykora，D.Sedlacek，S.Jinchao，et al.Adding Depth to Cartoons Using Sparse Depth(In)equalities，John Wiley & Sons Computer Graphics Forum，2010)对该不等式集合∑进行处理。

6.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于：所述步骤5)对于具有明显对称性的输入图像，先进行对称性检测：采用三维模型的对称性检测算法(N.Mitra，L.Guibas，and M.Pauly.Partial and approximate symmetry detection for 3D geometry.ACM Transactions on Graphics(TOG)，25(3)：560-568，2006)应用在二维图像上，对于输入图像先进行对称性检测，得到分块图像之间的对称关系。

7.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于：所述步骤6)根据步骤4)中确定的各分块之间的层次关系，先后摆放替代图像，组合形成拼接图像，并采用高斯融合算法对拼接图像的边界进行处理，高斯融合算法如下：

假设拼接系统已经按照各分块之间的层次关系拼接完成了前k个分块，得到临时拼接图像

需要将第k+1个替代图像S_k+1和临时拼接图像

进行融合，记替代图像S_k+1与临时拼接图像

相交的边界为

通过对该边界进行形态学膨胀操作，得到一个与替代图像S_k+1相交的宽度为w的二值带状区域

然后，用窗口宽度为w/2的高斯滤波器对区域进行滤波，并结合原掩码图像，得到一个边缘模糊的掩码图像α，用前k+1个替代图像合成的临时拼接图像

上位于(i，j)位置的像素值

通过下式计算得到：

[式4]

其中，α(i，j)、S_k+1(i，j)和

(i，j)分别表示掩码图像α、替代图像S_k+1和临时拼接图像

位于(i，j)处的像素值。

8.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于：所述步骤7)在进行亮度调整的时候以输入图像的亮度分布为目标，亮度调整是通过在替代图像S_i与分块图像P_i之间进行直方图匹配实现的，假设AH_P和AH_S分别表示分块图像P_i和替代图像S_i的亮度通道归一化累积直方图分布，对于替代图像中的每一个像素p∈S_i，其亮度值y₀用y′来替换，即

[式5]

y₀←y′，s.t.AH_S(y₀)＝AH_P(y′)。

Images