CN104091357A - 一种利用主题相关图片的在线马赛克图片生成方法 - Google Patents

Abstract

本发明公开了一种利用主题相关图片的在线马赛克图片生成方法，包括1)图片分块；2)单值特征序列提取；3)特征级联映射快速匹配；4)图片块拼接。该方法主要针对现有的生成方法速度慢而无法进行在线Web应用，或者生成速度快了却生成图片效果不佳等问题而设计。本发明提出了一种新的处理框架，可以既快又好的生成马赛克图片，也就是说本发明将同时解决图片生成速度与生成质量问题。

Description

一种利用主题相关图片的在线马赛克图片生成方法

技术领域

本发明涉及图像检索技术领域,尤其是涉及一种利用主题相关图片的在线马赛克图片生成方法。

背景技术

马赛克是已知最古老的装饰艺术之一。在计算机生成图像马赛克技术领域，用于拼成马赛克的元素琳琅满目，为观众呈现更多极具意义的视觉信息。图像马赛克生成技术拓宽了马赛克的艺术应用和商业应用范围。

随着数字成像技术的迅速发展,图像处理技术得到广泛的应用。在计算机生成图像马赛克技术领域，尤其是大量主题相关图片在线生成马赛克拼接方法领域里，往往获取的图像中的信息量不足以满足大需求，生成技术繁琐，制作效率低。

发明内容

本发明的主要目的在于克服现有技术中的上述缺点，提出一种利用主题相关图片的在线马赛克图片生成方法，通过将精确配准的图像进行无缝拼合，高效快速地输出马赛克图片。

本发明采用如下技术方案：

一种利用主题相关图片的在线马赛克图片生成方法，其特征在于：预先设置预期生成马赛克图片的大小和用于拼接的主题相关图片大小，后台预先提取主题相关图片的单值特征，其余步骤如下：

1)根据预期生成的马赛克图片大小，将输入图片划分成若干个图片块；

2)对每个图片块提取单值特征构成单值特征序列，单值特征包括：RGB平均值组合、HSV平均值组合和HSV量化显著色组合中的一种或多种；

3)将得到的各个图片块的单值特征序列按照取值范围大小排序后，再与后台主题相关图片预先提取的单值特征进行比较匹配找到相似的图片；

4)将每个图片块与相似图片进行拼接后输出马赛克图片。

优选的，所述单值特征包括RGB平均值组合，将图片块各像素点的R、G、B求平均值Avg(R)、Avg(G)、Avg(B),而后对该平均值进行组合，组合公式为：CA(RGB)＝Avg(R)*256*256+Avg(G)*256+Avg(B)，该单值特征的取值范围为[0,16777215]。

优选的，步骤2)中，所述单值特征包括HSV平均值组合，将各像素的R、G、B转换成H、S、V后的平均值Avg(H)、Avg(S)、Avg(V)进行组合，Avg(S)和Avg(V)为放大100倍后的数值，组合方式及取值范围如下表。

优选的，步骤2)中，所述的单值特征包括HSV量化显著色组合，将图片块各像素的R、G、B转换成H、S、V后进行量化，量化方式如下：

综合量化值L＝9H+3S+V，其取值范围为[0,71]，再对图片块所有像素的综合量化值进行直方图统计，取出统计次数最多的前K种显著色Top₁,Top₂,Top₃…Top_k作为该图片块的代表色，对取出的k种显著色进行组合形成单值特征，组合公式为：Top₁×72^k-1+Top₂×72^k-2+…+Top_k。

优选的，取出统计次数最多的前1种或2种或3种显著色作为该图片块的代表色，再对显著色进行组合，组合方式及取值范围如下表。

组合名称	组合方法	组合说明	特征范围
				CT1(HSV)	Top1*5184+Top2*72+Top3	K＝3	[0,373247]
CT2(HSV)	Top1*72+Top2	K＝2	[0,5183]
				CT3(HSV)	Top1	K＝1	[0,72]

优选的，步骤3)中，后台对每个预先提取单值特征的主题相关图片建立特征值与图片ID的哈希映射：Map(特征值,图片ID)，特征值即为提取的单值特征，构成哈希映射序列Map₁,Map₂,…,Map_n,n代表对单一图片提取了n种单值特征，该哈希映射序列按照特征值范围的大小从大到小排序。

优选的，步骤3)中，与后台主题相关图片预先提取的单值特征进行比较匹配找到相似的图片，具体是指将图片块的单值特征序列与哈希映射序列进行匹配，当图片块的单值特征能够在哈希映射序列里映射到对应的特征值，即可获得该特征值对应的图片ID，从而找到相似图片。

优选的，后台预先提取主题相关图片的单值特征，具体包括如下步骤：

a后台对大量图片进行分类形成相关主题的分类图片库；

b后台对主题相关图片生产预定义大小的缩略图；

c后台对缩略图提取多个单值特征构成单值特征序列，包括：RGB平均值组合、HSV平均值组合和HSV量化显著色组合中的一种或多种，并存放至数据库中。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

本发明作为一种新的利用主题相关图片的在线马赛克图片的方法，可以更加高效地在数秒内完成并输出马赛克图片，该方法可以同时解决马赛克图片的生成速度与生成质量问题。

附图说明

图1为马赛克图片生成过程的方法流程图；

图2为特征级联映射快速匹配过程的原理结构图；

图3为举例的输入图片；

图4为输入图片利用本发明方法生成的关于花朵的主题相关图片的马赛克图片。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

参照图1，一种利用主题相关图片的在线马赛克图片生成方法，预先设置预期生成马赛克图片的大小和用于拼接的主题相关图片大小，后台预先提取主题相关图片的单值特征，其余步骤如下：

1)根据预期生成的马赛克图片大小，将输入图片划分成若干个图片块。假设输入图片的大小为(W1,H1)，预期生成的图片大小为(W2,H2)，后台用于拼接的主题相关图片大小已规范为(W,H)，则对输入图像可划分成的图片块，块大小为

2)对每个图片块提取多个单值特征构成单值特征序列，包括：RGB平均值组合、HSV平均值组合和HSV量化显著色组合中的一种或多种。这里的单值特征是指仅用一个数值描述该图片块。例如，图片块亮度的平均值就是一种“单值”特征。当然亮度平均值描述图片块太过于粗糙，因为它的可能取值只有[0,255]。一般来说，取值范围越大，则该单值的描述越精细，可匹配到更相似的图像，但能匹配到的概率也越小。对多种不同方式的单值特征的提取要求尽可能在一遍扫描图片块后能全部提取到，这样才能满足Web在线生成的速度需求。

其中：RGB平均值组合：

图片块一遍扫描后分别求得各像素R、G、B的平均值Avg(R)、Avg(G)、Avg(B),而后对平均值进行组合，即CA(RGB)＝Avg(R)*256*256+Avg(G)*256+Avg(B),计算数值作为该图片块的一单值特征。由于R、G、B平均值的取值范围都在[0,255],故该、单值、特征的取值范围为[0,16777215]。

HSV各平均值的组合：

由于HSV(色调、饱和度和亮度)空间能较好反映人对色彩的感知和鉴别能力，在图片块一遍扫描后分别求得各像素R、G、B转换成H、S、V后的平均值Avg(H)、Avg(S)、Avg(V),其中Avg(S),Avg(V)为放大100倍后的数值，三个平均值的取值范围分别为[0,360],[0,100],[0,100]。下面对平均值进行组合，以获得不同取值范围的单值特征。组合过程的基本思想是分别对H、S、V平均值进行不同程度的量化，从而使得组合具有不同粒度的取值范围。根据后台数据库可供填充图像的数量，可按需设置不同取值范围的粒度。具体一些可选的HSV平均值组合方式如表1所示。

表1、H、S、V平均值的不同组合方式及取值范围

HSV量化显著色的组合：

在图片块一遍扫描中分别求得各像素R、G、B转换后的H、S、V值,对该像素点的H、S、V值进行量化，具体如下

最后综合量化值L＝9H+3S+V,其取值范围为[0,71]，即每个像素的可能取值有72种情况。对图片块的所有像素的综合量化值进行直方图统计，取出统计次数最多的前k种颜色Top₁,Top₂,Top₃…Top_k，作为该图片块的代表色。对取出的k种颜色进行组合形成单值特征，组合方法为：

Top₁×72^k-1+Top₂×72^k-2+…+Top_k

一般代表色不宜太多，我们这里k取1种，2种或3种显著色来代表图像色块。那么其单值特征及取值范围如下表2所示。

表2、H、S、V显著色的不同组合方式及取值范围

组合名称	组合方法	组合说明	特征范围
				CT1(HSV)	Top1*5184+Top2*72+Top3	K＝3	[0,373247]
CT2(HSV)	Top1*72+Top2	K＝2	[0,5183]
				CT3(HSV)	Top1	K＝1	[0,72]

3)将得到的各个图片块的单值特征序列按照取值范围大小排序后，再与后台主题相关图片预先提取的单值特征进行比较匹配找到相似的图片。具体的，根据对输入图片一遍扫描后即可得到各个图片块的单值特征序列，对序列的特征按照可取范围的大小进行排序，而后进行比较匹配。由于特征值都是单值，在与后台图像预先提取好的特征进行比较匹配时，仅需通过哈希映射即可快速得到图片块相似的图像。具体级联匹配过程如下：

在后台，对每个预先提取的单值特征的主题相关图片建立特征值与图像ID的哈希映射，即Map(特征值,图像ID)，特征值即为提取的“单值”特征。这样即形成了哈希映射序列Map₁,Map₂,…,Map_n,n代表对单一图片提取了n种单值特征。序列按照特征值可取范围的大小从大到小排序。

一个图片块的单值特征序列与哈希映射序列的匹配过程如图2所示。如果相应的单值特征能够在哈希映射里面映射到值，即获得该特征值对应的图片ID,否则进入下一层，并使用序列中的相应特征值进行哈希映射。由于最下层哈希映射特征值的取值范围比较小，而后台待匹配图像在数量级上远远大于其取值范围，故通过该级联推进的策略总能映射匹配到相似图像的ID。最后通过图片ID获取图片块的相似图片。

4)将每个图片块与相似图片进行拼接后输出马赛克图片。在提供马赛克图片生成服务之前，后台的图片和数据库已经做了一些准备处理，包括：

a.对大量图片进行分类，形成相关主题的分类图片库；

b.对主题相关图片生成预定义大小的缩略图；

c.利用前述步骤2所述的方法对缩略图提取排序的单值特征序列，并存放到数据库中。

在用户上传图片进行Web马赛克图片生成时，由于预期生成的马赛克图片大小已知，并且用于拼接的后台相关主题图片是预定义固定大小的，故图片块的拼接过程可以多线程并行进行，即对输入图片中划分后的每个图片块独立线程进行特征提取、特征哈希匹配、相似性图片获取，以及在相应位置上“画”上马赛克图片。

利用本发明的马赛克图片生成方法，所有过程可在数秒内完成并输出马赛克图片。图3是输入图片，图4将图3利用本发明方法生成的关于花朵的主题相关图片的马赛克图片。该方法可同时解决马赛克图片的生成速度与生成质量问题。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (8)

1.一种利用主题相关图片的在线马赛克图片生成方法，其特征在于：预先设置预期生成马赛克图片的大小和用于拼接的主题相关图片大小，后台预先提取主题相关图片的单值特征，其余步骤如下：

1)根据预期生成的马赛克图片大小，将输入图片划分成若干个图片块；

2)对每个图片块提取多个单值特征构成单值特征序列，单值特征包括：RGB平均值组合、HSV平均值组合和HSV量化显著色组合中的一种或多种；

3)将得到的各个图片块的单值特征序列按照取值范围大小排序后，再与后台主题相关图片预先提取的单值特征进行比较匹配找到相似的图片；

4)将每个图片块与相似图片进行拼接后输出马赛克图片。

2.如权利要求1所述的一种利用主题相关图片的在线马赛克图片生成方法，其特征在于：所述单值特征包括RGB平均值组合，将图片块各像素点的R、G、B求平均值Avg(R)、Avg(G)、Avg(B),而后对该平均值进行组合，组合公式为：CA(RGB)＝Avg(R)*256*256+Avg(G)*256+Avg(B)，该单值特征的取值范围为[0,16777215]。

3.如权利要求1所述的一种利用主题相关图片的在线马赛克图片生成方法，其特征在于：步骤2)中，所述单值特征包括HSV平均值组合，将各像素的R、G、B转换成H、S、V后的平均值Avg(H)、Avg(S)、Avg(V)进行组合，Avg(S)和Avg(V)为放大100倍后的数值，组合方式及取值范围如下表。

4.如权利要求1所述的一种利用主题相关图片的在线马赛克图片生成方法，其特征在于：步骤2)中，所述单值特征包括HSV量化显著色组合，是将图片块各像素的R、G、B转换成H、S、V后进行量化，量化方式如下：

综合量化值L＝9H+3S+V，其取值范围为[0,71]，再对图片块所有像素的综合量化值进行直方图统计，取出统计次数最多的前K种显著色Top₁,Top₂,Top₃…Top_k作为该图片块的代表色，对取出的k种显著色进行组合形成单值特征，组合公式为：Top₁×72^k-1+Top₂×72^k-2+…+Top_k。

5.如权利要求要求4所述的一种利用主题相关图片的在线马赛克图片生成方法，其特征在于：取出统计次数最多的前1种或2种或3种显著色作为该图片块的代表色，再对显著色进行组合，组合方式及取值范围如下表。

组合名称 组合方法 组合说明 特征范围 CT1(HSV) Top1*5184+Top2*72+Top3 K＝3 [0,373247] CT2(HSV) Top1*72+Top2 K＝2 [0,5183] CT3(HSV) Top1 K＝1 [0,72]

6.如权利要求1所述的一种利用主题相关图片的在线马赛克图片生成方法，其特征在于：步骤3)中，后台对每个预先提取单值特征的主题相关图片建立特征值与图片ID的哈希映射：Map(特征值,图片ID)，特征值即为提取的单值特征，构成哈希映射序列Map₁,Map₂,…,Map_n,n代表对单一图片提取了n种单值特征，该哈希映射序列按照特征值范围的大小从大到小排序。

7.如权利要求6所述的一种利用主题相关图片的在线马赛克图片生成方法，其特征在于：步骤3)中，与后台主题相关图片预先提取的单值特征进行比较匹配找到相似的图片，具体是指将图片块的单值特征序列与哈希映射序列进行匹配，当图片块的单值特征能够在哈希映射序列里映射到对应的特征值，即可获得该特征值对应的图片ID，从而找到相似图片。

8.权利要求1所述的一种利用主题相关图片的在线马赛克图片生成方法，其特征在于：后台预先提取主题相关图片的单值特征，具体包括如下步骤：

a后台对大量图片进行分类形成相关主题的分类图片库；

b后台对主题相关图片生产预定义大小的缩略图；

C后台对缩略图提取多个单值特征构成单值特征序列，包括：RGB平均值组合、HSV平均值组合和HSV量化显著色组合中的一种或多种，并存放至数据库中。