CN102881032B - 一种基于改进算法的图片拼接方法 - Google Patents

Abstract

为了解决传统拼图方法很难对大量图片中所包含的事件有一个快速准确的拼接分类的问题，本发明提出一种基于改进算法的图片拼接方法，属于图像处理领域。该方法通过分析和提取图片中的人物、时间、地点、情节等叙事属性，将图片按层次结构组织，形成图片的层次拼接；此外该方法还提出一种新的照片相似性计算和叙事重要性区域检测方法，能够更好的实现按照叙事元素的照片分类和紧凑的拼图表示。

Description

一种基于改进算法的图片拼接方法

技术领域

本发明属于图像处理领域，一种基于改进算法的图片拼接方法，具体涉及一种基于改进的图片相似性计算以及重要性区域检测的图片拼接方法。

背景技术

从计算机图形学的角度来看，可以采用拼图方法将重要的图片拼接组合在一起形成内容总结，使用户从拼图可以了解大量图片中所包含的主要事件。这方面的工作已经有很多，比如基于矩形画板的图片拼图（Wang J.D.,Sun J.,Quan L.,Tang X.O.,Shum H.Y.Picture collage.Proceeding of CVPR,2006）和自动拼图（Rother C.,Bordeaux L.,Hamadi Y.,Blake A.AutoCollage.ACM Transactions onGraphics,25(3):847-852,2006）。以上图片拼图工作生成了较具吸引力的结果，可以对大量的图片内容进行一定范围的总结。但是由于在拼图制作过程中单纯从图片之间布局的协调性出发，比如包含天空的图片应该置于拼图的上方，色调相近的图片应该彼此相邻，而没有从事件发展的进程进行考虑，因此通过该种基于矩形画板的图片拼图算法很难对大量图片中所包含的事件有一个快速准确的拼接分类。

在各种拼图算法中，判断图像场景内容的相似性是对图片进行分类的重要步骤。现有的图片相似性计算方法（Simakov D.,Caspi Y.,Shechtman E.,Irani M.Summarizing visual data using bidirectional similarity.Proceeding of CVPR,2008）通常只考虑单一的颜色、纹理等因素，该方法采用如下公式定义两幅图片S、T之间的相似性d(S,T)：

$d(S,T)=\frac{1}{N_s}\underset{P\⋐S}{\mathrm{\Σ}}\underset{Q\⋐T}{\min }D(P,Q)+\frac{1}{N_T}\underset{Q\⋐T}{\mathrm{\Σ}}\underset{P\⋐S}{\min }D(Q,P)$

其中，P、Q是像素，D是像素之间颜色差异，N_s和N_T是两幅图片各自的像素个数。通过这种方法计算的相似性，仅能够描述两幅图片色彩上的一致性，体现不出两幅图片是否在相同或相近的时间、地点拍摄，导致相似性判断的不准确，进而导致图片不能准确的分类拼接的问题。

为了获取更紧凑的拼图表示形式，现有的拼图方法通常从图片中提取视觉重要的区域，即进行图像重要性区域检测，只将感兴趣的重要部分进行拼接。目前的图像重要性区域检测方法（Cheng M.M.,Zhang G.X.,Mitra N.J.,Huang X.L.,Hu S.M.Global contrast based salient region detection.Proceeding of CVPR,2011.）只是分析单幅图像内部各像素之间的对比度，在对颜色分布进行直方图量化后，选取直方图中出现频率少、颜色差异大的方格对应的像素为重要性区域。其计算公式为：

$Y\left(I_k\right)=Y\left(p_i\right)=\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{f}_{l}D(p_l,p_i)$

其中对于给定图片P_i，Y(I_k)为对于颜色为p_i的像素I_k，其在自身图片中的重要性n是像素的个数，l是像素索引，D是颜色空间的距离，f_l代表颜色出现的频率，p_l代表像素颜色。

这种方法虽然可以判断单幅图像中最容易引起关注的前景区域，但通常会过滤掉背景中的重要的场景物体，从而不能准确反映拍摄图片重要的地点信息，进而导致图片不能准确的分类拼接的问题。

发明内容

为了解决传统拼图方法很难对大量图片中所包含的事件有一个快速准确的拼接分类的问题，本发明提出一种基于改进算法的图片拼接方法，能够对图片记录的事件发展过程有更清晰的展示。该方法通过分析和提取图片中的人物、时间、地点、情节等叙事属性，将图片按层次结构组织，形成图片的层次拼接。

本发明具体的实现过程如下：

一种基于改进算法的图片拼接方法，该方法包括如下步骤：

步骤一、图片读取；

按照图片拍摄的时间顺序依次读取图片，并记录每张图片的拍摄时间；

步骤二、人脸区域检测；

依次从图片中检测人脸区域，并记录人脸的数量、位置及大小；

步骤三、图片相似性计算；

对于每张图片P，采用直方图统计方法计算其颜色直方图h和采用GIST方法计算形状符g；计算步骤一读取的所有图片中每两张图片P_i和P_j的图片相似性S_ij：

$s_{\mathrm{ij}}=-\exp ({(g_i-g_j)}^2+w_1\·\frac{{(h_i-h_j)}^2}{h_i^2+h_j^2}+w_2\·{(t_i-t_j)}^2)$

其中exp是指数函数，t_i和t_j分别对应图片P_i和P_j的拍摄时间，w₁，w₂是加权因子；

步骤四、获取图片叙事层次；

根据图片之间的相似性S_ij，采用信息传递聚类算法对步骤一中所有的图片进行聚类运算，得到多个聚类中心，将聚类中心作为情节；将处于聚类中心的情节图片按拍摄时间进行排列，从而得到第一层次的图片叙事层次；

针对处于第一层次的每两张相邻图片，从步骤一读取的图片中，获取这两张相邻图片之间的图片，并采用所述信息传递聚类算法得到聚类中心，将得到的处于聚类中心的情节图片按照按拍摄时间排列，得到第二层次的图片叙事层次；

针对第二层次的图片叙事层次进行图片获取、聚类、排序的处理，得到下一层次的图片叙事层次，以此类推，得到各层次的图片叙事层次；

每执行一次聚类运算同时记录聚类中心所在聚类的所有图片；

步骤五、针对步骤一读取的每张图片进行叙事重要性计算；

针对每张图片获取其作为聚类中心的聚类，将获取的聚类中聚类中心以外的图片作为样本参考图片，对于处于聚类中心的图片，选定任意像素I_k在自身图片中的重要性定义为：

$Y\left(I_k\right)=Y\left(p_i\right)=\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{f}_{l}D(p_l,p_i)$

其中，n是图片中的像素个数，l是像素索引，D(x,y)是颜色x和y在颜色空间的距离，f_l代表颜色p_l在图片中出现的频率，p_i为像素I_k的颜色，p_l代表图片中点l像素颜色；定义该像素I_k在样本参考图像中出现的频率重要性为：

$Y^{\′}\left(I_k\right)=Y^{\′}\left(p_i\right)=\underset{j=1}{\overset{n_r}{\mathrm{\Σ}}}\left[f_i^{\′j}\log (1+f_i^{\′j}/f_i)\right]/n_r$

其中是颜色p_i在样本参考图片j中的频率，j是样本图像索引，n_r为样本参考图片个数；

则像素I_k的叙事重要性定义为：

S(I_k)＝S(p_i)＝Y(p_i)·Y'(p_i)

针对处于聚类中心的图片中的每种像素，获取所述叙事重要性；

根据步骤二获得的人脸的数量、位置及大小，从处于聚类中心的图片中提取人脸位置，将人脸区域中的像素赋予一个补充叙事重要性值，并叠加到所述叙事重要性值上，从而得到每个像素最终的叙事重要性；

步骤六、兴趣区域裁剪；

针对步骤一读取的每张图片，根据步骤五获得的叙事重要性，通过动态阈值裁剪方法计算并裁剪出兴趣区域；

步骤七、无缝层次拼图；

针对图片叙事层次中的每个层次，将该层次中所有的图片进行无缝拼接。

有益效果：

（1）传统的拼图方法只考虑图片布局的协调性，不能够很好的表现图片记录事件的发展过程，而本发明方法可以将图片按事件发展的顺序进行无缝拼接；具体从数码图片中提取相关的人物、时间、地点、情节等叙事要素，将其进行多层次组织，形成对图片的层次拼接。

（2）为了解决现有技术中图片相似性计算不准确的问题，本发明采用了改进的相似性计算方法，除考虑传统的图片颜色特征，还考虑了反映拍摄时间、地点场景相似程度的度量：在相同或相近时间、地点拍摄的图片的相似性会更高。通过综合颜色、地点、时间等多方面特征，可以将图片的主要内容反映出来，提高相似性计算的准确性，获取图片时间、地点等信息的一致性。由此得到的图片分类拼接更加准确，进而能够更有效的反映图片所记录事件的发展过程，便于图片的拼接浏览。

（3）由于人们在某一地点拍摄图片时，通常会选择不同角度、焦距等进行拍摄，从而在内容相似的几张图片中出现重复的物体。这些重复物体，能够充分体现图片的拍摄意图，反映拍摄的场景信息。本发明提出的重要性区域检测计算方法是基于图片拍摄的特点，在单幅图像重要性区域检测计算方法（即背景技术中所采用的重要性计算方法）的基础上，综合内容相似的几幅图片的重要性分布，在采用基于整体对比度的单幅图片重要性区域检测基础上，进一步分析内容相似的图片之间各自独立的重要性检测的关联程度，通过获取单幅图片出现频率低、对比度高，而在多幅图片中出现频率高的像素，计算图片中包含的最重要的场景物体信息，得到图片的重要性区域。

附图说明

图1是本发明图片拼接方法的流程图；

图2是具有相似属性的图片聚类结果；

图3是第一层次的图片叙事层次；

图4是递归所得的各层次的图片叙事层次结果；

图5是基于样本图片的叙事重要性计算结果；

图6是图片无缝拼接结果；

图7是拼接图片的显示。

具体实施方式

下面结合附图1对本发明方法的实施方式做详细说明。

一种基于改进算法的图片拼接方法，该方法首先对给定的数码相册中的每张图片，通过人脸检测方法提取人物属性信息，记录数量、区域位置与大小；通过读取EXIF（Exchangeable image file format）中的日期信息，记录图片拍摄的时间；通过定义图片的颜色直方图和形状符，计算两张图片之间的地点属性的相似性；通过人物、时间、地点信息对图片聚类，借助聚类中心获取情节属性；对于情节之间的图片递归的按照人物、时间、地点属性进行聚类，获得所有图片的层次叙事结构；通过在相似图片中提取共性内容，计算图片的叙事重要性区域，并进行矩形裁剪得到兴趣区域；按时间顺序将兴趣区域排列拼接，进行无缝融合得到包含事件发展过程的拼图，具体流程图如图1所示。

一种基于改进算法的图片拼接方法，其具体实现过程如下：

步骤一、图片读取；

按照图片拍摄的时间顺序依次读取图片，并记录每张图片的拍摄时间。

步骤二、人脸区域检测；

为了获得步骤一读取的图片中的人物信息，采用经典的人脸检测算法（ViolaP.,Jones M.:Rapid object detection using a boosted cascade of simple features.InProc.CVPR,2001）检测图片中的人脸区域，并记录人脸的数量、位置以及大小。

步骤三、图片相似性计算；

虽然现有的一些高端摄像机配备GPS装置，可以直接获取拍摄的地点信息。但这类相机价格昂贵，而且记录的地点信息精度不高，难以获取一般用户采用低端相机拍摄图片的地理属性信息。为此，采用分析比较图片相似性的方法来对图片进行分类，进而将场景相近的图片划分为具有相近地点属性的集合。传统的图片相似性计算方法通常只考虑单一的颜色、纹理等因素，缺乏对叙事元素的考虑；我们通过综合多种因素的相似性度量，计算图片的叙事相似性。对于每张图片Pi，采用简单的直方图统计方法计算其颜色直方图hi，然后采用GIST方法（Oliva A.，Torralia A.:Modeling the shape of the scene:a holistic representationof the spatial envelope.Int.J.Comput.Vision 42,3,145–175,2001）计算形状符g_i。那么，给定的步骤一种的每两张图片P_i和P_j，定义一种崭新的基于叙事属性的图片相似性S_ij为：

$s_{\mathrm{ij}}=-\exp ({(g_i-g_j)}^2+w_1\·\frac{{(h_i-h_j)}^2}{h_i^2+h_j^2}+w_2\·{(t_i-t_j)}^2)$

其中exp是指数函数，t_i和t_j分别对应图片P_i和P_j的拍摄时间，w₁，w₂是加权因子，取值为大于0小于1的实数。在本实施例中，为了图片的相似性S_ij计算更加准确，较佳地选取w₁＝0.2，w₂＝0.2。

目前的图片相似性计算方法大多从图像本身的颜色、纹理等像素级别的特征考虑，所计算的图片相似性缺乏场景内容上的关联，不能够反应图片拍摄时间、地点等高级语义信息的一致性，从而造成按相似性分类准确性较低，在图片浏览时产生跳跃性。上式采用的相似性计算方法，除考虑传统的图片颜色特征，还考虑了反映拍摄时间、地点场景相似程度的度量。通过综合颜色、地点、时间等多方面特征，可以获得更准确的图片相似性计算，由此得到的图片分类更加准确，能够更有效的反映图片所记录事件的发展过程。

步骤四、获取图片叙事层次；

根据图片之间的相似性S_ij，采用信息传递聚类算法（Frey B.J.,Dueck D.:Clustering by passing messages between data points.Science 315,972–976,2007.）对步骤一中所有的图片进行聚类运算，得到多个聚类中心。如图2所示，具有相似人物、时间、地点属性的图片分为同一聚类，对应相应的事件进程，从聚类中选取有代表性的尽可能包含人物信息的作为聚类中心，图中处于中心的图片是聚类中心。将处于聚类中心的情节图片按拍摄时间进行排列，从而得到第一层次的图片叙事层次，如图3所示。

针对处于第一层次的每两张相邻图片，从步骤一读取的图片中，获取这两张相邻图片之间的图片，并采用所述信息传递聚类算法得到聚类中心，将得到的处于聚类中心的情节图片按照按拍摄时间排列，得到第二层次的图片叙事层次。

针对第二层次的图片叙事层次进行图片获取、聚类、排序的处理，得到下一层次的图片叙事层次，以此类推，得到各层次的图片叙事层次。

每执行一次聚类运算同时记录聚类中心所在聚类的所有图片。

如图4所示，每一行代表一个层次的聚类中心，而位于相邻情节之间的图片通过图片获取、聚类、排序的处理生成下一层次的情节图片，图中H1代表第一层次的图片叙事层次，以此类推生成第H2至第H4层次的图片叙事层次。

步骤五、针对步骤一读取的每张图片进行叙事重要性计算；

针对每张图片获取其作为聚类中心的聚类，将获取的聚类中聚类中心以外的图片作为样本参考图片，对于处于聚类中心的图片，选定任意像素I_k在自身图片中的重要性定义为：

$Y\left(I_k\right)=Y\left(p_i\right)=\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{f}_{l}D(p_l,p_i)$

其中，n是图片中的像素个数，l是像素索引，D(x,y)是颜色x和y在颜色空间的距离，f_l代表颜色p_l在图片中出现的频率，p_i为像素I_k的颜色，p_l代表图片中点l像素颜色；定义该像素I_k在样本参考图像中出现的频率重要性为：

$Y^{\′}\left(I_k\right)=Y^{\′}\left(p_i\right)=\underset{j=1}{\overset{n_r}{\mathrm{\Σ}}}\left[f_i^{\′j}\log (1+f_i^{\′j}/f_i)\right]/n_r$

其中是颜色p_i在样本参考图片j中的频率，j是样本图像索引，n_r为样本参考图片个数。

则像素I_k的叙事重要性定义为：

S(I_k)＝S(p_i)＝Y(p_i)·Y'(p_i)

针对处于聚类中心的图片中的每种像素，获取所述叙事重要性。

根据步骤二获得的人脸的数量、位置及大小，从处于聚类中心的图片中提取人脸位置，将人脸区域中的像素赋予一个补充叙事重要性值，并叠加到所述叙事重要性值上，从而得到每个像素最终的叙事重要性。

上述计算过程中，当聚类中只有一副图片时，就没有样本参考图片，就不用计算Y'(I_k)，则像素I_k的叙事重要性为S(I_k)＝S(p_i)＝Y(p_i)。

通过上述公式可以定义图片的叙事重要性。如图5所示，从左至右依次为输入图像、叙事重要性计算结果以及样本参考图片，其中从左至右第二张图片中覆盖人脸的小光斑正好显示了叙事重要性计算结果。

目前的图片重要性区域检测方法只是针对单张图片作为输入进行，通过分析图片内像素之间的颜色对比度计算特征突出的部分作为重要性区域，虽然可以判断单幅图像中最容易引起关注的区域，但通常不能准确反映拍摄图片重要的地点信息。上面的计算方法则是综合内容相似的几幅图片的重要性分布，在单幅图片重要性区域检测基础上，通过进一步分析图片之间各自独立的重要性检测结构的关联程度，计算能够反应图片中包含的最重要的场景物体信息。通过这种方法计算的重要性区域，不仅可以保留单幅图片由对比度产生视觉突出的重要区域，而且能够更准确的反映图片记录事件中重要的地标信息，生成更准确的重要性区域。

步骤六、兴趣区域裁剪；

针对步骤一读取的每张图片，根据步骤五获得的叙事重要性，通过动态阈值裁剪方法（Suh B.,Ling H.B.,Bederson B.B.,Jacobs D.W.:Automatic thumbnailcropping and its effectiveness.ACM symposium on User interface software andtechnology，95–104,2003.）计算并裁剪出包围最多重要性的最小矩形区域作为兴趣区域。

步骤七、无缝层次拼图；

针对图片叙事层次中的每个层次，将该层次中所有的图片进行无缝拼接。

其中，无缝拼接的方法可采用透明通道泊松融合方法（Rother C.,Bordeaux L.,Hamadi Y.,Blake A.ACM Transactions on Graphics,25(3):847-852,2006）。

拼接过程中相邻图片之间设置30个像素的重叠区域。

如图6所示，第一行为按时间顺序排列的图片，相邻图片设置30个像素重叠区域；第二行为无缝拼接后的拼图结果。

步骤八、拼接图片的显示；

首先显示图片叙事层次中的第一层次无缝拼接后的图片，根据用户的指示，展开显示用户选定两幅图片之间的下一层次的无缝拼接后的图片，以此类推，根据用户指示进行各层次无缝拼接后的图片显示。

如图7所示，图中最后一层即为无缝拼接后显示的第一层次，根据用户的指示，可以显示第二层次的无缝拼接结果，以此类推，显示各个层次的无缝拼接结果。

所述的显示包括树形显示或者加在两幅图片之间进行条形显示。

所述的用户指示可以在两幅图片之间设置一个按钮来实现。

其中，需要说明的是由于图片放置的位置的空间有限，图中采用空白部分代表图片拼接结果的省略。

Claims (5)

1.一种基于改进算法的图片拼接方法，其特征在于，该方法包括如下步骤：

步骤一、图片读取；

按照图片拍摄的时间顺序依次读取图片，并记录每张图片的拍摄时间；

步骤二、人脸区域检测；

依次从图片中检测人脸区域，并记录人脸的数量、位置及大小；

步骤三、图片相似性计算；

对于每张图片P，采用直方图统计方法计算其颜色直方图h和采用GIST方法计算形状符g；计算步骤一读取的所有图片中每两张图片P_i和P_j的图片相似性S_ij：

$S_{ij}=-\exp ({(g_i-g_j)}^2+w_1.\frac{{(h_i-h_j)}^2}{h_i^2+h_j^2}+w_2\·{(t_i-t_j)}^2)$

其中，P_i和P_j中的i、j表示两张图片的索引标号，exp是指数函数，t_i和t_j分别对应图片P_i和P_j的拍摄时间，w₁，w₂是加权因子，h_i代表图片P_i的颜色直方图，h_j代表图片P_j的颜色直方图，g_i代表图片P_i的形状符，g_j代表图片P_j的形状符；

步骤四、获取图片叙事层次；

根据图片之间的相似性S_ij，采用信息传递聚类算法对步骤一中所有的图片进行聚类运算，得到多个聚类中心，将聚类中心作为情节；将处于聚类中心的情节图片按拍摄时间进行排列，从而得到第一层次的图片叙事层次；

针对处于第一层次的每两张相邻图片，从步骤一读取的图片中，获取这两张相邻图片之间的图片，并采用所述信息传递聚类算法得到聚类中心，将得到的处于聚类中心的情节图片按照拍摄时间排列，得到第二层次的图片叙事层次；

针对第二层次的图片叙事层次进行图片获取、聚类、排序的处理，得到下一层次的图片叙事层次，以此类推，得到各层次的图片叙事层次；

每执行一次聚类运算同时记录聚类中心所在聚类的所有图片；

步骤五、针对步骤一读取的每张图片进行叙事重要性计算；

针对每张图片获取其作为聚类中心的聚类，将获取的聚类中聚类中心以外的图片作为样本参考图片，对于处于聚类中心的图片A，选定任意像素I_k在自身图片A中的重要性定义为：

$Y\left(I_k\right)=Y\left(p_i\right)=\underset{l=1}{\overset{n}{\Σ}}{f}_{l}D(p_l,p_i)$

其中，n是图片A中的像素个数，l是像素索引，D(p_l,p_i)是颜色p_l和p_i在颜色空间的距离，f_l代表颜色p_l在图片A中出现的频率，p_i为像素I_k的颜色，p_l代表图片A中点l像素颜色；定义该像素I_k在样本参考图片中出现的频率重要性为：

$Y^{\′}\left(I_k\right)=Y^{\′}\left(p_i\right)=\underset{j=1}{\overset{n_r}{\Σ}}\[{f^{\′}}_i^{j}log(1+{f^{\′}}_i^j/f_i)\]/n_r$

其中是颜色p_i在样本参考图片j中的频率，j是样本参考图片索引，n_r为样本参考图片个数；

则像素I_k的叙事重要性定义为：

S(I_k)＝S(p_i)＝Y(p_i)·Y'(p_i)

针对处于聚类中心的图片中的每个像素，获取所述叙事重要性；

根据步骤二获得的人脸的数量、位置及大小，从处于聚类中心的图片中提取人脸位置，将人脸区域中的像素赋予一个补充叙事重要性值，并叠加到叙事重要性值上，从而得到每个像素最终的叙事重要性；

步骤六、兴趣区域裁剪；

针对步骤一读取的每张图片，根据步骤五获得的叙事重要性，通过动态阈值裁剪方法计算并裁剪出兴趣区域；

步骤七、无缝层次拼图；

针对图片叙事层次中的每个层次，将该层次中所有的图片进行无缝拼接。

2.如权利要求1所述的一种基于改进算法的图片拼接方法，其特征在于：步骤三中，加权因子w₁＝0.2，w₂＝0.2。

3.如权利要求1所述的一种基于改进算法的图片拼接方法，其特征在于：该方法进一步包括对拼接图片的显示：

首先显示图片叙事层次中的第一层次无缝拼接后的图片，根据用户的指示，展开显示用户选定两幅图片之间的下一层次的无缝拼接后的图片，以此类推，根据用户指示进行各层次无缝拼接后的图片显示。

4.如权利要求1所述的一种基于改进算法的图片拼接方法，其特征在于：无缝拼接采用透明通道泊松融合方法处理图片重叠区域。

5.如权利要求1所述的一种基于改进算法的图片拼接方法，其特征在于：步骤七中，相邻图片之间设置30个像素的重叠区域。