CN107133920A - 一种基于视觉特征的马赛克拼图的自动生成方法 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种基于视觉特征的马赛克拼图的自动生成方法，将大量的小图像拼接成一副大图像。相比现在半自动的制作方式，自动生成方法基于图像底层特征，从有限的小图像素材集中找到一张最佳的图像拼接顺序，从而减少拼图中突兀的噪声块；采用基于信噪比的自适应图像叠加方法，避免在宏观上，大图局部细节的丢失。方法具体包括：大图的矩形分割；图像底层特征抽取；基于图像底层特征的小图像筛选；基于信噪比的自适应图像叠加。从拼图的效果上看，本发明的方法相比于目前的拼图方法有更好的视觉效果，与原图的误差较小；达到了人工手动调整的视觉效果，实现了全自动的马赛克拼图。

Description

一种基于视觉特征的马赛克拼图的自动生成方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于视觉特征的马赛克拼图的自动生成方法。

背景技术

马赛克拼图技术是将大量的图像自动拼组成具有蒙太奇效果的马赛克图像。蒙太奇效果的马赛克拼图是指通过很多小图像拼接和组合生成另一幅的大图像，从宏观上看，是一幅大的图像；而在细节上观察，每个图像块也是单独的一幅图像。单幅图像的表述能力有限，缺少时间上的描述能力和语境，而蒙太奇效果的马赛克拼图可以表达更丰富的内涵，在电影艺术，视觉艺术以及室内设计等方面有着广泛的应用。

目前，蒙太奇效果的马赛克图像自动生成方法主要通过图像分割，图像组合，以及图像的线性运算等操作生成。要生成蒙太奇效果的马赛克图像需要一个小图像集合以及待生成的大幅图像的原图。

最简单的自动生成方式是对待拼接的进行随机的组合，然后叠加上待生成的图像；这也是目前市场上大多数马赛克图像的生成原理。

为了使得最好生成的图像视觉效果更好，也存在一些对半自动的方式方法。首先通过随机组合和叠加的方式，初步生成马赛克图像。采用颜色特征，对小图像区域进行匹配优化；以及对匹配效果欠佳的图像进行颜色修正；并且对生成的图像，采用Photoshop工具进行一系列的视觉效果优化处理。

虽然这种半自动的方式可以得到视觉效果相对较好的马赛克图像，但是需要耗费的人工成本较大，同时对于非专业的用户，基本无法操作。当前市场上仍缺少一种自动生成视觉效果较好的马赛克拼图方法和产品。

综上所述，现有技术存在的问题是：

现有的自动生成的马赛克大图像存在很多突兀的噪声块；由于小图像叠加到大图像的位置是随机选择的，当组合到大图像上的时候，如果背景的差异较大，小图像的叠加并没有产生量化的视觉效果，反而变成了大图的噪声，产生这些噪声小图像的原因一方面是小图像素材集合的选择；另一方面是现有方法没有在有限的小图像素材集中找到一种最优的组合方法；

大幅图像的局部信息丢失；马赛克图像生成时，需要大幅图像和小图像叠加；在现有的方法中都采用相同的叠加系数进行操作；这种方式虽然可以手动调整到一个相对好的效果，但是在一些细节上也会不可避免地造成大图的细节丢失。

发明内容

针对现有技术存在的问题，本发明提供了一种基于视觉特征的马赛克拼图的自动生成方法。

本发明是这样实现的，一种基于视觉特征的马赛克拼图的自动生成方法，所述基于视觉特征的马赛克拼图的自动生成方法：

采用基于图像底层特征的小图像筛选，从有限的小图像素材集中找到一张最佳的图像拼接顺序，减少拼图中突兀的噪声块；

采用基于信噪比的自适应图像叠加方法，避免在宏观上，大图局部细节的丢失。

进一步，所述基于视觉特征的马赛克拼图的自动生成方法具体包括：

大图的矩形分割；将所有的小图像调整到统一大小；根据小图像的大小，对大幅图像进行矩形分割，可以得到多个图像区域，图像区域的大小和小图像一致；

图像底层特征抽取；计算每个分割后的图像区域和小图像集合中每个图像的视觉特征；使用颜色直方图特征作为图像的视觉特征；对于输入的图像，分别对RGB三个通道的图像进行直方图特征的统计；对于任一通道的图像均可看成一幅灰度图像，统计图像中的像素点数，得到数量分布直方图；将数量分布直方图归一化后得到直翻图特征；最后对RGB三个通道图像的直方图特征串联到一起，得到视觉特征；

基于图像底层特征的小图像筛选；对于大幅图像的每个分割区域，从小图像集合中选择视觉特征最相似的小图像，使用欧式距离表示两幅图像的相似度；

基于信噪比的自适应图像叠加；对于大幅图像的分割区域，在找到最相似的小图像后，将小图像叠加到分割区域，实现马赛克拼图。

进一步，所述大图的矩形分割具体包括：

为将小图像拼组成大图，首先对大幅图像进行分割；假设大幅图像的大小为X×Y；其中X表示宽度；Y表示图像的高度；将所有的小图像调整到统一大小w×h，其中w表示宽度；h表示图像的高度；；根据小图像的大小，对大幅图像进行矩形分割，得到个图像区域，图像区域的大小和小图像一致，均为w×h。

进一步，所述图像底层特征抽取具体包括：

计算每个分割后的图像区域和小图像集合中每个图像的视觉特征；使用颜色直方图特征作为图像的视觉特征；对于输入的图像，大小为w×h；

分别对RGB三个通道的图像进行直方图特征的统计；对于任一通道的图像均看成一幅灰度图像，每个像素点的像素值在[0，255]的范围；

将像素值量化为16个bin，每个bin的区间长度为16个灰度级；统计图像中落在每个bin中的像素点数，得到数量分布直方图：

{m₁，m₂，...m₁₆}，

其中m_i表示第i个bin中像素点的数量，

m₁+m₂+…+m₁₆＝w×h；

将数量直方图归一化后得到直方图特征

{f₁，f₂，...f₁₆}，

其中f_i表示特征向量第i维数据，

最后对RGB三个通道图像的直方图特征串联到一起，得到视觉特征：

f＝{f_r1，f_r2，…f_r16，f_g1，f_g2，…f_g16，f_b1，f_b2，…f_b16}，

特征维度为48，f_ri，f_gi，f_bi分别表示RGB三个通道的图像特征。

进一步，所述基于图像底层特征的小图像筛选，具体包括：

对于大幅图像的每个分割区域，从小图像集合中选择视觉特征最相似的小图像，即：

其中i表示分割区域，j表示小图像；使用欧式距离表示两幅图像的相似度，即：

其中，k＝1…48表示图像的特征维度。

进一步，所述基于信噪比的自适应图像块叠加，具体包括：

对于大幅图像的分割区域，在找到最相似的小图像后，将小图像叠加到分割区域，实现马赛克拼图；

采用信噪比计算叠加系数；两幅图像叠加后表示为：

S＝a×P+(1-a)×N，

其中S表示叠加之后的图像，P表示大幅图像的分割区域，N表示小图像，a是叠加系数；

所述信噪比，将大幅图像的分割区域作为信号，小图像块作为噪声；信噪比表示为：

当两个图像完全一致时，SNR的值为1，此时叠加系数是任意值；如果SNR的值大于1，则表示大幅图像的分割区域亮度强于小图像，则在叠加时，小图像对大图像的影响小，参数设置为a＝0.4；

当SNR小于1时，表示小图像对分割区域有较强的影响，在叠加是应增强大幅图像区域的强度，则参数设置为a＝0.6；

当所有的分割区域均叠加上小图像后得到具有蒙太奇效果的马赛克拼图。

本发明的另一目的在于提供一种利用上述基于视觉特征的马赛克拼图的自动生成方法的自动生成系统。

本发明的优点及积极效果为：

本发明进行了基于视觉特征的小图像位置筛选，从有限的小图像素材集中找到一张最佳的图像拼接顺序，从而较少拼图中突兀的噪声块。

本发明采用基于信噪比的自适应图像叠加方法，更有效地避免在宏观上，大图局部细节的丢失。对拼图效果的衡量，目前采用的表示是计算拼图与原大图的平均绝对误差(Mean Absolute Error，MAE)，误差越小，表示拼接成的大图效果越好，与原图越接近。在本发明中对30张原图进行测试，采用同样的小图像拼接成这30幅图像。本发明的方法，与目前市场上拼图效果最好的方法Foto-Mosaik-Edda进行对比，结果如图2所示。从对比结果上看，本发明所提出的拼图方法在这些数据上的误差均是最小的。对于30张图像，Foto-Mosaik-Edda方法的平均误差为8.01，本发明的方法的平均误差为6.80，降低了1.21。

附图说明

图1是本发明实施例提供的基于视觉特征的马赛克拼图的自动生成方法流程图。

图2本发明的方法与其他方法的对比结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供的基于视觉特征的马赛克拼图的自动生成方法：

采用基于图像底层特征的小图像筛选，从有限的小图像素材集中找到一张最佳的图像拼接顺序，减少拼图中突兀的噪声块；

采用基于信噪比的自适应图像叠加方法，避免在宏观上，大图局部细节的丢失。

下面结合附图对本发明的应用原理作详细描述。

如图1所示，本发明实施例提供的基于视觉特征的马赛克拼图的自动生成方法，包括以下步骤：

S101：大图的矩形分割；将所有的小图像调整到统一大小；根据小图像的大小，对大幅图像进行矩形分割，可以得到多个图像区域，图像区域的大小和小图像一致；

S102：图像底层特征抽取；计算每个分割后的图像区域和小图像集合中每个图像的视觉特征；使用颜色直方图特征作为图像的视觉特征；对于输入的图像，分别对RGB三个通道的图像进行直方图特征的统计；对于任一通道的图像均可看成一幅灰度图像，统计图像中的像素点数，得到数量分布直方图；将数量分布直方图归一化后得到直翻图特征；最后对RGB三个通道图像的直方图特征串联到一起，得到视觉特征；

S103：基于图像底层特征的小图像筛选；对于大幅图像的每个分割区域，从小图像集合中选择视觉特征最相似的小图像，使用欧式距离表示两幅图像的相似度；

S104：基于信噪比的自适应图像叠加；对于大幅图像的分割区域，在找到最相似的小图像后，将小图像叠加到分割区域，实现马赛克拼图。

下面结合具体实施例对本发明作进一步描述。

本发明实施例提供的基于视觉特征的马赛克拼图的自动生成方法，包括大图的矩形分割、图像底层特征抽取、基于图像底层特征的小图像筛选以及基于信噪比的图像叠加。

1)大图像的矩形分割。为了将小图像拼组成大图，首先对大幅图像进行分割。假设大幅图像的大小为X×Y；其中X表示宽度；Y表示图像的高度。将所有的小图像调整到统一大小w×h。根据小图像的大小，对大幅图像进行矩形分割，可以得到个图像区域，图像区域的大小和小图像一致，均为w×h。

2)计算每个分割后的图像区域和小图像集合中每个图像的视觉特征。在本发明中使用，使用颜色直方图特征作为图像的视觉特征。对于输入的图像，大小为w×h。分别对RGB三个通道的图像进行直方图特征的统计。对于任一通道的图像，均可看成一幅灰度图像，每个像素点的像素值在[0，255]的范围。将像素值量化为16个bin，每个bin的区间长度为16个灰度级。统计图像中落在每个bin中的像素点数，则可以得到数量分布直方图：{m₁，m₂，...m₁₆}，其中m_i表示第i个bin中像素点的数量，

m₁+m₂+…+m₁₆＝w×h。

将数量直方图归一化后得到直翻图特征{f₁，f₂，...f₁₆}，其中

最后对RGB三个通道图像的直方图特征串联到一起，得到视觉特征：

f＝{f_r1，f_r2，…f_r16，f_g1，f_g2，…f_g16，f_b1，f_b2，…f_b16}，

特征维度为48。

3)对于大幅图像的每个分割区域，从小图像集合中选择视觉特征最相似的小图像，即：

其中i表示分割区域，j表示小图像。使用欧式距离表示两幅图像的相似度，即：

4)基于信噪比的图像块叠加。对于大幅图像的分割区域，在找到最相似的小图像后，将小图像叠加到分割区域，就可以实现马赛克拼图。而为了呈现出更好的蒙太奇效应和视觉效果，在本发明中采用信噪比计算叠加系数。两幅图像叠加可以表示为：

S＝a×P+(1-a)×N，

其中S表示叠加之后的图像，P表示大幅图像的分割区域，N表示小图像，a是叠加系数。不同现有技术对于所有的分割区域采用同一叠加系数的方法，本发明提出了基于信噪比的自适应图像叠加方式，以提高马赛克拼图的视觉效果。蒙太奇效果的要求是从宏观看，拼图的效果越接近原图越好。因此，从信噪比的角度，可以将大幅图像的分割区域看出是信号，小图像块是噪声。信噪比定义为：

当两个图像完全一致时，SNR的值为1，此时叠加系数可以是任意值；如果SNR的值大于1，则表示大幅图像的分割区域亮度强于小图像，则在叠加时，小图像对大图像的影响较小，参数设置为a＝0.4；当SNR小于1时，表示小图像对分割区域有较强的影响，在叠加是应增强大幅图像区域的强度，则参数设置为a＝0.6。当所有的分割区域均叠加上小图像后就可以得到具有蒙太奇效果的马赛克拼图。

本发明进行了基于视觉特征的小图像位置筛选，从有限的小图像素材集中找到一张最佳的图像拼接顺序，从而较少拼图中突兀的噪声块。

本发明采用基于信噪比的自适应图像叠加方法，更有效地避免在宏观上，大图局部细节的丢失。

本发明的方法，与目前市场上拼图效果最好的方法Foto-Mosaik-Edda进行对比，结果如图2所示。从对比结果上看，本发明所提出的拼图方法在这些数据上的误差均是最小的。对于30张图像，Foto-Mosaik-Edda方法的平均误差为8.01，本发明的方法的平均误差为6.80，降低了1.21。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于视觉特征的马赛克拼图的自动生成方法，其特征在于，所述基于视觉特征的马赛克拼图的自动生成方法：

采用基于图像底层特征的小图像筛选，从有限的小图像素材集中找到一张最佳的图像拼接顺序，减少拼图中突兀的噪声块；

采用基于信噪比的自适应图像叠加方法，避免在宏观上，大图局部细节的丢失。

2.如权利要求1所述的基于视觉特征的马赛克拼图的自动生成方法，其特征在于，所述基于视觉特征的马赛克拼图的自动生成方法具体包括：

大图的矩形分割；将所有的小图像调整到统一大小；根据小图像的大小，对大幅图像进行矩形分割，得到多个图像区域，图像区域的大小和小图像一致；

图像底层特征抽取；计算每个分割后的图像区域和小图像集合中每个图像的视觉特征；使用颜色直方图特征作为图像的视觉特征；对于输入的图像，分别对RGB三个通道的图像进行直方图特征的统计；对于任一通道的图像均可看成一幅灰度图像，统计图像中的像素点数，得到数量分布直方图；将数量分布直方图归一化后得到直翻图特征；最后对RGB三个通道图像的直方图特征串联到一起，得到视觉特征；

基于图像底层特征的小图像筛选；对于大幅图像的每个分割区域，从小图像集合中选择视觉特征最相似的小图像，使用欧式距离表示两幅图像的相似度；

基于信噪比的自适应图像叠加；对于大幅图像的分割区域，在找到最相似的小图像后，将小图像叠加到分割区域，实现马赛克拼图。

3.如权利要求1所述的基于视觉特征的马赛克拼图的自动生成方法，其特征在于，所述大图的矩形分割具体包括：

为将小图像拼组成大图，首先对大幅图像进行分割；假设大幅图像的大小为X×Y；其中X表示宽度；Y表示图像的高度；将所有的小图像调整到统一大小w×h；根据小图像的大小，对大幅图像进行矩形分割，得到

个图像区域，图像区域的大小和小图像一致，均为

w×h。

4.如权利要求1所述的基于视觉特征的马赛克拼图的自动生成方法，其特征在于，所述图像底层特征抽取具体包括：

计算每个分割后的图像区域和小图像集合中每个图像的视觉特征；使用颜色直方图特征作为图像的视觉特征；对于输入的图像，大小为w×h；

分别对RGB三个通道的图像进行直方图特征的统计；对于任一通道的图像均看成一幅灰度图像，每个像素点的像素值在[0,255]的范围；

将像素值量化为16个bin，每个bin的区间长度为16个灰度级；统计图像中落在每个bin中的像素点数，得到数量分布直方图：

{m₁,m₂,...m₁₆}，

其中m_i表示第i个bin中像素点的数量，

m₁+m₂+…+m₁₆＝w×h；

将数量直方图归一化后得到直翻图特征

{f₁,f₂,...f₁₆}，

其中

最后对RGB三个通道图像的直方图特征串联到一起，得到视觉特征：

f＝{f_r1，f_r2，…f_r16，f_g1，f_g2，…f_g16，f_b1，f_b2，…f_b16}，

特征维度为48。

5.如权利要求1所述的基于视觉特征的马赛克拼图的自动生成方法，其特征在于，所述基于图像底层特征的小图像筛选，具体包括：

对于大幅图像的每个分割区域，从小图像集合中选择视觉特征最相似的小图像，即：

其中i表示分割区域，j表示小图像；使用欧式距离表示两幅图像的相似度，即：

6.如权利要求1所述的基于视觉特征的马赛克拼图的自动生成方法，其特征在于，所述基于信噪比的自适应图像块叠加，具体包括：

对于大幅图像的分割区域，在找到最相似的小图像后，将小图像叠加到分割区域，实现马赛克拼图；

采用信噪比计算叠加系数；两幅图像叠加后表示为：

S＝a×P+(1-a)×N，

其中S表示叠加之后的图像，P表示大幅图像的分割区域，N表示小图像，a是叠加系数；

所述信噪比，将大幅图像的分割区域作为信号，小图像块作为噪声；信噪比表示为：

当两个图像完全一致时，SNR的值为1，此时叠加系数是任意值；如果SNR的值大于1，则表示大幅图像的分割区域亮度强于小图像，则在叠加时，小图像对大图像的影响小，参数设置为a＝0.4；

当SNR小于1时，表示小图像对分割区域有较强的影响，在叠加是应增强大幅图像区域的强度，则参数设置为a＝0.6；

当所有的分割区域均叠加上小图像后得到具有蒙太奇效果的马赛克拼图。

7.一种利用权利要求1所述基于视觉特征的马赛克拼图的自动生成方法的自动生成系统。