CN105931180A - 利用显著信息引导的图像不规则马赛克拼接方法 - Google Patents

Abstract

本发明公开了一种利用显著信息引导的图像不规则马赛克拼接方法，主要解决现有技术目标边界锯齿现象严重、细节信息缺失的问题。其实现步骤为：1.输入目标图像，提取图像的显著性区域；2.根据显著性等级将目标图像分割成不同密度的网格图像；3.提取拼接图像集图像和目标图像网格区域的颜色均值特征；4.为网格区域选取颜色特征最相似的拼接图像；5.提取网格区域宽度与高度信息，并据此缩放对应拼接图像，将拼接图像与网格区域对齐并裁剪，再将其填充到相应网格中，完成整幅图像的马赛克填充。本发明不仅保持了马赛克拼接图像的观赏性，同时加强了目标图像的细节信息，可用于图像传输、图像安全、图像信息隐藏及广告设计。

Description

利用显著信息引导的图像不规则马赛克拼接方法

技术领域

本发明属于图像处理技术领域，具体的说是一种图像拼接方法，可用于图像传输、图像安全、图像信息隐藏及广告设计。

背景技术

图像马赛克拼接技术是将目标图像的每一个像素或区域使用与之相似的图像代替，使得马赛克拼接后的目标图像在一定距离外观看时与原目标图像相近；而在近处观察时，每一个像素或区域都是一幅独立的图像。马赛克拼接技术除了在图像美学及艺术上的应用外，在为图像传输、图像安全、图像信息隐藏及广告设计等领域也有巨大的潜力。

已有研究者对图像马赛克拼接的研究始于1982年Ken Knowlton发布的DominoPix电脑图形系统，该系统主要应用于缺乏拼接图像集情况下的图像马赛克拼接。1997年RobertSilvers首先将目标图像分割成矩形或方形的区域，然后将每个区域与拼接图像集中的图像(称作细胞图像)比较，选取最匹配的细胞图像嵌入到原图中，最终得到完整的马赛克图像。该工作大力推动了图像马赛克领域的发展，并在艺术、商业、影视等领域得到了大量应用。

传统的马赛克拼接算法在目标图像的前景和背景区域都使用了大小相近的细胞图像，也就是说马赛克拼接后的图像中的每个细胞元素处于同一分辨率下，这样不利于突出人们更加关心的前景目标区域，因此2009年Achanta将显著性信息引入图像马赛克拼接当中，使得目标图像根据显著性的高低，包含不同密度的细胞图像。加入显著信息后的马赛克图像往往在人们更加关注的前景区域包含更多的细胞图像，因此目标具有较高的清晰度和还原度，而背景区域则往往由较少的细胞图像拼接组成。

无论是传统的图像马赛克拼接还是显著性引导的图像马赛克拼接，在处理目标图像中的边缘区域时，由于使用了矩形的分割方式，因此目标边缘处会出现不同程度的锯齿效应而导致目标边缘不清晰和细节丢失。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出一种显著信息引导的图像不规则马赛克拼接方法，以更大程度地保留图像中的边缘信息，减小细节丢失，提高图像马赛克拼接效果。

本发明的技术方案是这样实现的：

一.技术原理

本发明通过显著性信息检测算法和图像过分割算法两种途径实现对图像边缘信息的保留和对细节丢失的抑制。

所述显著性信息检测算法，包括自底而上的数据驱动模型以及自顶而下的任务驱动模型，能够提取出图像中最能引起人眼注意力的前景目标区域。显著性值的范围通常处于0～1之间，数值越高则说明该区域越能引起人的注意。本发明使用分层显著性算法来兼顾显著性信息提取过程中的鲁棒性和高效性。

所述过分割算法，包括基于区域的分水岭分割算法，基于图论的最小割分割算法以及基于梯度下降的超像素分割算法。通过这些分割算法能够将图像分割成多个不规则的小区域，每个区域中的所有像素具有相同或相似的颜色及纹理属性，这与马赛克细胞的要求相同，并且更加均质的区域也更加有益于细胞图像的选择。除此之外，过分割能够较好地保持图像中的边缘信息，使得在边缘两边的区域具有差异较大的细胞图像。本发明使用简单线性迭代聚类算法对目标图像进行过分割操作。

二.实现方案

根据上述原理本发明使用分层显著性算法提取输入目标图像的显著图，根据区域的显著程度对目标图像使用简单线性迭代聚类算法进行超像素分割得到分割后图像，提取每个网格区域中的颜色特征，在拼接图像集中搜索与网格区域特征相匹配的图像填充到目标图像的网格中，其实现步骤包括如下：

(1)输入目标图像，通过分层显著性检测算法提取该图像的显著性区域及各区域的显著性值；

(2)根据显著性值的大小对目标图像进行不同密度的过分割：

(2a)将目标图像的显著性值均匀量化为K个等级，并设置超像素分割初始区域大小A；

(2b)以A为初始区域大小，对整个目标图像进行第一次超像素分割；

(2c)类似地，对目标图像中显著性等级为2～K的区域，分别设置超像素区域大小为A/4～A/4^K-1进行K-1次的超像素分割，最终得到一幅具有不同分块密度的M个网格区域分割图像；

(3)提取目标图像在每个网格区域中所有像素点的红绿蓝RGB颜色的均值特征；

(4)输入拼接图像集，分别提取拼接图像集中P幅图像的红绿蓝RGB颜色均值特征；

(5)计算每个网格区域与拼接图像集中每幅图像在颜色空间中的欧氏距离，并为每个网格区域选取距离最近的拼接图像；

(6)提取每个网格区域的宽度与高度参数，并根据这两个参数缩放该区域对应的拼接图像；再将拼接图像与网格区域中心点对齐，裁剪拼接图像使其与网格区域形状和大小相同；

(7)将裁剪后的每幅拼接图像填充到相应网格中，完成整幅目标图像的马赛克拼接。

本发明与现有的技术相比具有以下优点：

1.本发明由于采用显著信息引导的多层超像素分割方法，改善了传统马赛克拼接中目标图像边缘的锯齿效应，同时保留了更多的细节信息；

2.本发明针对不规则的马赛克网格，使用缩放-修剪的方式解决了网格区域和拼接图像的形状匹配问题；

3.本发明由于使用了超像素过分割的方法，因此每个网格区域具有更加均匀的颜色分布，这不仅有利于拼接图像的选取，而且有助于马赛克区域的表示。

附图说明

图1是本发明的实现流程图；

图2是本发明与原始马赛克拼接算法的结果对比图；

图3是本发明与显著信息引导的规则马赛克拼接算法的结果对比图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，提取输入目标图像的显著性区域及各区域的显著性值。

经典的显著性提取算法有Itti等人在生物激发模型的基础上，利用多尺度图像特征的中心-周围差异来计算显著性值；Achanta等人提出了频率调谐方法，通过计算图像每个像素点和整个图平均颜色的差异来定义该像素点的显著性值；Cheng等人提出了基于直方图对比度和基于空间信息增强的区域对比度显著性检测方法；Yan等人提出了一种分层显著性检测算法来融合不同分辨率下的显著性线索得到最终的显著性区域。

本发明使用Yan等人提出的分层显著性检测算法提取输入目标图像的显著性区域及各区域的显著性值，其步骤如下：

(1a)对输入图像进行类分水岭分割三次，产生三层分割结果，并设置第一层分割结果的对应阈值为3，设第二层分割结果的对应阈值为17，设第三层分割结果的对应阈值为33；

(1b)对于第l层上的区域i，l＝1,2,3，定义显著性线索为假设第l层总共分割为n个区域，分别计算该层每个区域i的局部对比度和位置启发式特征

$C_i^l=\underset{j=1}{\overset{n}{\Σ}}\mathrm{\ω}\left(R_j\right)\mathrm{\φ}(i,j)\left|\right|c_i-c_j|{|}_2,$

$H_i^l=\frac{1}{\mathrm{\ω}\left(R_j\right)}\underset{z_i\∈R_i}{\Σ}\exp \{-\mathrm{\λ}||z_i-z_c|{|}^2\},$

其中c_i为区域R_i的颜色，ω(R_j)为区域R_j的像素个数，φ(i,j)＝exp{-D(R_i,R_j)/σ²}表示区域R_j在空间上对区域R_i的影响，φ(i,j)越大则表示区域R_j在空间上对区域R_i的影响越大，表示两个区域间的欧式距离，为区域R_i中心点的横纵坐标，为区域R_j的中心点横纵坐标，σ²设为0.2²，z_i为区域R_i中所有像素的坐标集合，z_c为该区域对应的中心点坐标，λ设为9；

(1c)根据局部对比度和位置启发式特征得到第l层区域R_i的显著性线索值为：

(1d)将三层分割结构中相同位置的区域组成一个树状图，每个分割区域视为一个节点，其中根节点处于三层分割结果中划分最粗的一层，而叶子节点处于划分最细的一层；设整幅图的显著性为S，通过置信传播算法推理求解下式能量函数E(S)的最小值，得到最精细层每个区域的显著性值并以此作为最终图像的显著性值

$E\left(S\right)=\underset{l}{\Σ}\underset{i}{\Σ}{E}_D\left(s_i^l\right)+\underset{l}{\Σ}\underset{i,R_i^l\⊆R_j^{l+1}}{\Σ}{E}_S(s_i^l,s_j^{l+1})$

其中数据项β^l设为0.5用于控制层内的置信度，为步骤(1b)中得到的初始显著性线索值，层间项其中λ^l设为0.5用于控制层间一致性的强度。

步骤2，根据显著性值的大小对目标图像进行不同密度的过分割。

常见的过分割算法有基于区域的分水岭分割算法，如Meyer等人提出的基于地貌修正的分水岭算法；基于图论的最小割分割算法，如Greig等人提出的graphcut算法；基于梯度下降的超像素分割算法，如Achanta等人提出的简单线性迭代聚类算法。为了保持分割区域大小和形状的相似性，本发明使用Achanta等人提出的简单线性迭代聚类超像素分割算法，其实现步骤如下：

(2a)将目标图像的显著性值均匀量化为K个等级，并设置超像素分割的初始区域大小A；

(2b)以A为初始区域大小，对整个目标图像进行第一次超像素分割；

(2c)类似地，对目标图像中显著性等级为2～K的区域，分别设置超像素区域大小为A/4～A/4^K-1进行K-1次的超像素分割，最终得到一幅具有不同分块密度的M个网格区域分割图像。

步骤3，提取目标图像在每个网格区域中所有像素点的红绿蓝RGB颜色的均值特征。

(3a)计算每个区域的红色分量均值为：

$c_m^r=\frac{1}{\mathrm{\ω}\left(R_m\right)}\underset{i}{\Σ}{r}_i,$

其中ω(R_m)为区域R_m的像素个数，r_i表示区域R_m中第i个像素的红色颜色分量值；

(3b)计算每个区域的绿色分量均值为：

$c_m^g=\frac{1}{\mathrm{\ω}\left(R_m\right)}\underset{i}{\Σ}{g}_i,$

其中，g_i表示区域R_m中第i个像素的绿色颜色分量值；

(3c)计算每个区域的蓝色分量均值为：

$c_m^b=\frac{1}{\mathrm{\ω}\left(R_m\right)}\underset{i}{\Σ}{b}_i,$

其中，b_i表示区域R_m中第i个像素的蓝色颜色分量值；

(3d)将上述(3a),(3b),(3c)计算得到的三种颜色均值组成第m个网格区域的颜色均值特征向量：

步骤4，输入拼接图像集，分别提取拼接图像集中P幅图像的红绿蓝RGB颜色均值特征。

(4a)计算第p幅拼接图像的红色分量均值为：

$c_p^r=\frac{1}{\mathrm{\ω}\left(p\right)}\underset{i}{\Σ}{r}_i^p,$

其中ω(p)为第p幅拼接图像的像素个数，r_i ^p表示第p幅拼接图像中第i个像素的红色颜色分量值；

(4b)计算第p幅拼接图像的绿色分量均值为：

$c_p^g=\frac{1}{\mathrm{\ω}\left(p\right)}\underset{i}{\Σ}{g}_i^p,$

其中，r_i ^p表示第p幅拼接图像中第i个像素的绿色颜色分量值；

(4c)计算第p幅拼接图像的蓝色分量均值为：

$c_p^b=\frac{1}{\mathrm{\ω}\left(p\right)}\underset{i}{\Σ}{b}_i^p,$

其中，r_i ^p表示第p幅拼接图像中第i个像素的蓝色颜色分量值；

(4d)将上述(4a),(4b),(4c)计算得到的三种颜色均值组成第p幅拼接图像的颜色均值特征向量

步骤5，计算每个网格区域与拼接图像集中每幅图像在颜色空间中的欧氏距离并为每个网格区域选取距离最近的拼接图像：

$D_c^{mp}=\sqrt{(c_m-c_p){(c_m-c_p)}^T},$

其中c_m表示第m个网格区域的颜色均值特征向量，c_p表示第p幅拼接图像的颜色均值特征向量，T表示转置操作。

步骤6，对整幅目标图像进行马赛克拼接。

(6a)提取每个网格区域的宽度与高度参数，并根据这两个参数缩放该区域对应的拼接图像；

(6b)将拼接图像与网格区域中心点对齐，裁剪拼接图像使其与网格区域形状和大小相同，再将裁剪后的每幅拼接图像填充到相应网格中，完成整幅目标图像的马赛克拼接。

本发明的效果可以通过下面的实验仿真进一步说明：

1.实验条件与方法

硬件平台为：Intel Core i5-3470、3.20GHz、8.00GB RAM；

软件平台为：MATLAB R2013b；

实验方法：分别为本发明和传统图像马赛克拼接算法以及显著性信息引导的规则马赛克拼接算法的进行马赛克拼接对比实验。

拼接图像集采用ImageNet的交叉验证集，总共包含五万幅自然图像，目标图像为任意自然图像。

2.仿真内容与结果

实验一，用本发明在不加入显著性信息的情况下与原始图像马赛克拼接算法进行对比，实验结果如图2所示。其中图2(a)为原图，图2(b)为原始马赛克拼接结果图，图2(c)为本发明在不加入显著性信息情况下，即不规则马赛克拼接结果图。

图2表明，原始的图像马赛克拼接算法在整幅图像中具有相同的拼接图像密度，可以看出在图像中的边缘区域具有明显的边缘锯齿效应，图像的细节信息丢失比较严重。而本发明虽然具有相同的拼接图像密度，但是由于采用了超像素分割技术，因此在边缘区域能够清晰区分图像中的不同内容区域。

实验二，本发明与利用显著性信息引导的图像规则马赛克拼接算法对比，实验结果如图3所示，其中图3(a)为原图，图3(b)为显著性引导的马赛克拼接结果图，图3(c)为本发明利用显著性引导的图像不规则马赛克拼接结果图。

图3表明，本发明和对比算法均具有分层结构的拼接图像密度，在目标区域均具有较大的拼接图像密度，但显著性引导的规则马赛克拼接算法使用了矩形拼接图像，因此在边缘区域仍存在部分细节丢失现象。而本发明引入的不规则拼接图像块，能够进一步保留图像边缘和细节信息。

综合以上分析，本发明能够在继承原始图像马赛克拼接艺术效果的基础上，保留图像中的细节和边缘部分，进一步增强马赛克图像的视觉观感。

Claims (5)

1.利用显著信息引导的图像不规则马赛克拼接方法，包括：

(1)输入目标图像，通过分层显著性检测算法提取该图像的显著性区域及各区域的显著性值；

(2)根据显著性值的大小对目标图像进行不同密度的过分割；

(2a)将目标图像的显著性值均匀量化为K个等级，并设置超像素分割初始区域大小A；

(2b)以A为初始区域大小，对整个目标图像进行第一次超像素分割；

(2c)类似地，对目标图像中显著性等级为2～K的区域，分别设置超像素区域大小为A/4～A/4^K-1进行K-1次的超像素分割，最终得到一幅具有不同分块密度的M个网格区域分割图像；

(3)提取目标图像在每个网格区域中所有像素点的红绿蓝RGB颜色的均值特征；

(4)输入拼接图像集，分别提取拼接图像集中P幅图像的红绿蓝RGB颜色均值特征；

(5)计算每个网格区域与拼接图像集中每幅图像在颜色空间中的欧氏距离，并为每个网格区域选取距离最近的拼接图像；

(6)提取每个网格区域的宽度与高度参数，并根据这两个参数缩放该区域对应的拼接图像；再将拼接图像与网格区域中心点对齐，裁剪拼接图像使其与网格区域形状和大小相同；

(7)将裁剪后的每幅拼接图像填充到相应网格中，完成整幅目标图像的马赛克拼接。

2.根据权利要求书1所述的利用显著信息引导的图像不规则马赛克拼接方法，其中步骤(1)中使用分层显著性检测算法提取该图像的显著性区域及各区域的显著性值，按如下步骤进行：

(1a)对输入图像进行类分水岭分割三次，产生三层分割结果，设置该三层分割结果的对应阈值分别为3，17和33；

(1b)对于第l层上的区域i，l＝1,2,3，定义显著性线索为假设第l层总共分割为n个区域，分别计算该层每个区域i的局部对比度和位置启发式特征

$C_i^l=\underset{j=1}{\overset{n}{\Σ}}\mathrm{\ω}\left(R_j\right)\mathrm{\φ}(i,j)\left|\right|c_i-c_j|{|}_2,$

$H_i^l=\frac{1}{\mathrm{\ω}\left(R_j\right)}\underset{z_i\∈R_i}{\Σ}\exp \{-\mathrm{\λ}||z_i-z_c|{|}^2\},$

其中c_i为区域R_i的颜色，ω(R_j)为区域R_j的像素个数。φ(i,j)＝exp{-D(R_i,R_j)/σ²}用于控制空间距离对两个区域的影响，表示两个区域间的欧式距离，为区域R_i中心点的横纵坐标，为区域R_j的中心点横纵坐标，σ²设为0.2²，z_i为区域R_i中所有像素的坐标集合，z_c为该区域对应的中心点坐标，λ设为9；

(1c)根据局部对比度和位置启发式特征得到第l层区域R_i的显著性线索值为：

(1d)将三层分割结构中相同位置的区域组成一个树状图，每个分割区域视为一个节点，其中根节点处于三层分割结果中划分最粗的一层，而叶子节点处于划分最细的一层；设整幅图的显著性为S，通过置信传播算法推理求解下式能量函数的最小值，得到最精细层每个区域的显著性值并以此作为最终图像的显著性值

$E\left(S\right)=\underset{l}{\Σ}\underset{i}{\Σ}{E}_D\left(s_i^l\right)+\underset{l}{\Σ}\underset{i,R_i^l\⊆R_j^{l+1}}{\Σ}{E}_S(s_i^l,s_j^{l+1})$

其中数据项β^l设为0.5用于控制层内的置信度，为(1b)中得到的初始显著性线索值，层间项其中λ^l设为0.5用于控制层间一致性的强度。

3.根据权利要求书1所述的利用显著信息引导的图像不规则马赛克拼接方法，其中步骤(3)中提取目标图像在每个网格区域中所有像素点的红绿蓝RGB颜色的均值特征，按如下步骤计算：

(3a)计算每个区域的红色分量均值为：

$c_m^r=\frac{1}{\mathrm{\ω}\left(R_m\right)}\underset{i}{\Σ}{r}_i,$

其中ω(R_m)为区域R_m的像素个数，r_i表示区域R_m中第i个像素的红色颜色分量值；

(3b)计算每个区域的绿色分量均值为：

$c_m^g=\frac{1}{\mathrm{\ω}\left(R_m\right)}\underset{i}{\Σ}{g}_i,$

其中，g_i表示区域R_m中第i个像素的绿色颜色分量值；

(3c)计算每个区域的蓝色分量均值为：

$c_m^b=\frac{1}{\mathrm{\ω}\left(R_m\right)}\underset{i}{\Σ}{b}_i,$

其中，b_i表示区域R_m中第i个像素的蓝色颜色分量值；

(3d)将上述(3a),(3b),(3c)计算得到的三种颜色均值组成第m个网格区域的颜色均值特征向量

4.根据权利要求书1所述的利用显著信息引导的图像不规则马赛克拼接方法，其中步骤(4)中分别提取拼接图像集中P幅图像的红绿蓝RGB颜色均值特征，按如下步骤计算：

(4a)计算第p幅拼接图像的红色分量均值为：

$c_p^r=\frac{1}{\mathrm{\ω}\left(p\right)}\underset{i}{\Σ}{r}_i^p,$

其中ω(p)为第p幅拼接图像的像素个数，r_i ^p表示第p幅拼接图像中第i个像素的红色颜色分量值；

(4b)计算第p幅拼接图像的绿色分量均值为：

$c_p^g=\frac{1}{\mathrm{\ω}\left(p\right)}\underset{i}{\Σ}{g}_i^p,$

其中，r_i ^p表示第p幅拼接图像中第i个像素的绿色颜色分量值；

(4c)计算第p幅拼接图像的蓝色分量均值为：

$c_p^b=\frac{1}{\mathrm{\ω}\left(p\right)}\underset{i}{\Σ}{b}_i^p,$

其中，r_i ^p表示第p幅拼接图像中第i个像素的蓝色颜色分量值；

(4d)将上述(4a),(4b),(4c)计算得到的三种颜色均值组成第p幅拼接图像的颜色均值特征向量

5.根据权利要求书1所述的利用显著信息引导的图像不规则马赛克拼接方法，其中步骤(5)中计算每个网格区域与拼接图像集中每幅图像在颜色空间中的欧氏距离，按如下公式进行：

$D_c^{mp}=\sqrt{(c_m-c_p){(c_m-c_p)}^T},$

其中c_m表示第m个网格区域的颜色均值特征向量，c_p表示第p幅拼接图像的颜色均值特征向量。