CN101609547B - 基于累积能量的无缝拼接图像处理方法 - Google Patents

Abstract

本发明提供了一种基于累积能量的无缝拼接图像处理方法，考虑了传统无缝拼接seam carving过程中的贪心效应带来的不良效应，通过记录无缝拼接seam carving过程中更多的能量信息和引入能量更新步骤，并融入图像的视觉显著性信息，达到减弱贪心效应的目的。本发明的优点是本发明的方法比原来的无缝拼接技术有更好的内容感知的能力，提高了鲁棒性。

Description

基于累积能量的无缝拼接图像处理方法

技术领域

本发明涉及一种图像处理方法，特别涉及一种基于累积能量的无缝拼接图像处理方法。

背景技术

基于内容感知的图像缩放的目的是将图像的大小和宽高比任意改变后，在新图像里仍然对原图中的重要内容保持良好的视觉感受。图像缩放一般分为两种，一是宽高比不变但宽和高尺寸发生变化的缩放；二是宽高比发生变化的缩放。如今的很多显示设备，如电脑显示屏，电视，mp4等的屏幕有着不同的宽高比，而往往人们需要在这些不同的显示屏幕上显示同样的图片和视频。这时就需要利用图像缩放技术，特别是图像宽高比发生变化的缩放。

无缝拼接seam carving技术是一种易于实现且很有成效的针对图像宽高比发生变化时的图像缩放技术。特别是当图像有明显的重要区域与非重要区域时，无缝拼接seam carving技术有着很明显的优势。但是现有的无缝拼接seam carving技术的鲁棒性比较弱，具体表现为，当图像的信息很稠密时，处理后的图像往往不能很好地保护图像内容的自然性。

传统的无缝拼接seam carving技术的具体实现过程如下所示，以图像宽度缩小为例：

seam分为横向的seam和竖向的seam。横向的seam是指从图像最左一列到图像最右一列，每列取一个像素点以构成一条路径，其中相邻两列取的像素点满足八邻域关系。竖向的seam的定义如横向的seam。宽度缩小的过程就是不断地删除竖向的seam，高度缩小的过程则是不断地删除横向的seam。为了明确删除哪些seam以保护图像重要内容，为每条seam定义能量。能量最小的seam被认为是最不重要的seam，因此是可以优先删除的。基于前向能量和后向能量的无缝拼接seam carving算法步骤如下(以缩小宽度为例)：

1、根据seam的能量定义(前向能量或后向能量)利用动态规划计算出当前图像中能量最小的竖向seam。

2、在图像中删除第1步找出的最小竖向seam，使图像宽度减1，如果此时已到达目标宽度，则停止计算并输出结果图像；否则回到第1步。

下面阐述本发明中使用的视觉显著表(saliency map)技术。该技术采用论文GUO C.，MA Q.，ZHANG L.：Spatio-temporal saliencydetection using phase spectrum of quaternion fourier transform.In Proc.CVPR’08(2008)的方法。具体步骤如下：

1.对于输入图像P，将P用双线性技术缩放至90×90大小得到P′；

2.对P′作二维快速傅里叶变换得到P′_f；

3.对P′_f中的每个元素，将其幅度值归一，得到P′_f1；

4.对P′_f1作反傅里叶变换得到P′₁；

5.对P′₁中的每个元素求幅度值，并平方，得到P′₂；

6.将P′₂通过半径为3的圆形平均滤波器，得到P′₃；

7.将P′₃转换为灰度强度图，并将每个元素平方，得到P′₄；

8.用双线性插值法将P′₄的大小缩放为输入图像P的大小，此时得到P的视觉显著表Smap。

发明内容

本发明基于原有的无缝拼接seam carving技术，加入了对seam删除后的能量累积效应以及图像视觉显著性的考虑，提出了基于累积能量的ASE(accumulative saliency energy)无缝拼接seam carving模型，实验显示，基于累积能量的ASE模型较原来的无缝拼接seamcarving模型有更好的内容感知的能力，并加强了鲁棒性。

基于累积能量的ASE模型考虑了传统无缝拼接seam carving过程中的贪心效应带来的不良效应，通过记录无缝拼接seam carving过程中更多的能量信息和引入能量更新步骤，并融入视觉显著性信息，达到减弱贪心效应的目的。

为了解决以上的技术问题，本发明提供了一种基于累积能量的无缝拼接图像处理方法，对于一张输入图像P，按下面的步骤实现缩小宽度：

①计算图像的强度表I，并将I中所有元素除以I中元素的最大值(即让最大元素归1)；

②将I通过大小为20×20、方差为9的高斯低通滤波器，得到模糊化的图像强度I^b；

③求出输入图像的视觉显著表Smap(saliency map)，并将Smap中所有元素除以Smap中元素的最大值(即让最大元素归1)；

④按如下公式构造初始化最小能量表A和最大能量表B：

$A_{i,j}^{\left(0\right)}=\min \{I_{i,j},I_{i,j}^b,\mathrm{Sma}{p}_{i,j}\}$

$B_{i,j}^{\left(0\right)}=\max (I_{i,j},I_{i,j}^b,{\mathrm{Smap}}_{i,j})$

其中A⁽⁰⁾和B⁽⁰⁾是A和B的初始化值，I是第1步得到的强度表，I^b是第②步得到的模糊化的强度表，Smap是第③步得到的视觉显著表；通过下标i和j遍历A⁽⁰⁾，B⁽⁰⁾，I，I^b和Smap。

⑤重新定义每个像素点的能量和每条seam的能量：

设当前已经删除t条seam(t初始值为0)，像素点P_i，j的能量记为e^(t)(P_i，j)，则定义为e^(t)(P_i，j)：

$e^{\left(t\right)}=\left(P_{i,j}\right)={(A_{i,j}^{\left(t\right)}-A_{i,j-1}^{\left(t\right)})}^2+{(B_{i,j}^{\left(t\right)}-B_{i,j-1}^{\left(t\right)})}^2$

其中A^(t)和B^(t)是删除t条seam之后的最小能量表和最大能量表(初始为A⁽⁰⁾，B⁽⁰⁾)。

每条seamS的能量为S中每个像素点的能量和：

$e^{\left(t\right)}\left(S\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{e}^{\left(t\right)}\left(S_i\right)$

⑥按上一步骤的定义，按照下式的动态规划求出当前最小seam(M^(t)(i，j)表示删除t条seam后，当前图像中从首行某点为起点，以P(i，j)为终点的seam或者部分seam的最小能量值)：

M^(t)(i，j)＝min{M^(t)(i-1，j-1)，M^(t)(i-1，j)，M^(t)(i-1，j+1)}+e^(t)(P_i，j)

M^(t)的最后一行的最小值对应着当前最小能量的seam的能量。动态规划的过程中记录回溯信息以确定最小seam的位置

⑦确定了当前最小seam的位置后，更新能量表：

设当前已经删除了t-1条seam，并且找到了马上要删除的第t条seam(当前最小seam)，则首先更新A^(t-1)和B^(t-1)为A^(t1)和B^(t1)：

$A_{i,j-1}^{\left(t1\right)}=\min \{A_{i,j-1}^{(t-1)},A_{i,j}^{(t-1)}\}$

$B_{i,j-1}^{\left(t1\right)}=\max \left(B_{i.j-1}^{(t-1),}{B}_{i,j}^{(t-1)}\right)$

在上式中，(i，j)遍历要删除的第t条seam(当前最小seam)中的点。

⑧更新能量表后，删除当前最小seam，形成下一个迭代的能量表：计算出A^(t1)和B^(t1)后，在当前图像，A^(t1)和B^(t1)三张图(表)中分别删除对应当前最小seam位置上的元素。设A^(t1)和B^(t1)删除对应位置的元素后记为A^(t)和B^(t)，则A^(t)和B^(t)就是删除t条seam后的对应能量表。如果此时图像还未达到目标宽度，回到第5步，否则退出。

缩小高度的方法按以上的步骤实现。

本发明的优越功效在于：本发明的方法比原来的无缝拼接技术有更好的内容感知的能力，提高了鲁棒性。

附图说明

图1(包括图1A、图1B、图1C和图1D)为本发明与现有的无缝拼接技术的结果比较图；

具体实施方式

请参阅附图所示，对本发明作进一步的描述。

本发明提供了一种基于累积能量的无缝拼接图像处理方法，对于一张输入图像P，按下面的步骤实现缩小宽度：

①计算图像的强度表I，并将I中所有元素除以I中元素的最大值(即让最大元素归1)；

②将I通过大小为20×20、方差为9的高斯低通滤波器，得到模糊化的图像强度I^b；

③；求出输入图像的视觉显著表Smap(saliency map)，并将Smap中所有元素除以Smap中元素的最大值(即让最大元素归1)；

④按如下公式构造初始化最小能量表A和最大能量表B：

$A_{i,j}^{\left(0\right)}=\min \{I_{i,j},I_{i,j}^b,\mathrm{Sma}{p}_{i,j}\}$

$B_{i,j}^{\left(0\right)}=\max (I_{i,j},I_{i,j}^b,{\mathrm{Smap}}_{i,j})$

其中A⁽⁰⁾和B⁽⁰⁾是A和B的初始化值，I是第1步得到的强度表，I^b是第②步得到的模糊化的强度表，Smap是第③步得到的视觉显著表。通过下标i和j遍历A⁽⁰⁾，B⁽⁰⁾，I，I^b和Smap。

⑤重新定义每个像素点的能量和每条seam的能量：

设当前已经删除t条seam(t初始值为0)，像素点P_i，j的能量记为e^(t)(P_i，j)，则定义为e^(t)(P_i，j)：

$e^{\left(t\right)}=\left(P_{i,j}\right)={(A_{i,j}^{\left(t\right)}-A_{i,j-1}^{\left(t\right)})}^2+{(B_{i,j}^{\left(t\right)}-B_{i,j-1}^{\left(t\right)})}^2$

其中A^(t)和B^(t)是删除t条seam之后的最小能量表和最大能量表(初始为A⁽⁰⁾，B⁽⁰⁾)。

每条seamS的能量为S中每个像素点的能量和：

$e^{\left(t\right)}\left(S\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{e}^{\left(t\right)}\left(S_i\right)$

⑥按上一步骤的定义，按照下式的动态规划求出当前最小seam(M^(t)(i，j)表示删除t条seam后，当前图像中从首行某点为起点，以P(i，j)为终点的seam或者部分seam的最小能量值)：

M^(t)(i，j)＝min{M^(t)(i-1，j-1)，M^(t)(i-1，j)，M^(t)(i-1，j+1)}+e^(t)(P_i，j)

M^(t)的最后一行的最小值对应着当前最小能量的seam的能量。动态规划的过程中记录回溯信息以确定最小seam的位置；

⑦确定了当前最小seam的位置后，更新能量表：

设当前已经删除了t-1条seam，并且找到了马上要删除的第t条seam(当前最小seam)，则首先更新A^(t-1)和B^(t-1)为A^(t1)和B^(t1)：

$A_{i,j-1}^{\left(t1\right)}=\min \{A_{i,j-1}^{(t-1)},A_{i,j}^{(t-1)}\}$

$B_{i,j-1}^{\left(t1\right)}=\max \left(B_{i.j-1}^{(t-1),}{B}_{i,j}^{(t-1)}\right)$

在上式中，(i，j)遍历要删除的第t条seam(当前最小seam)中的点。

⑧更新能量表后，删除当前最小seam，形成下一个迭代的能量表：计算出A^(t1)和B^(t1)后，在当前图像，A^(t1)和B^(t1)三张图(表)中分别删除对应当前最小seam位置上的元素。设A^(t1)和B^(t1)删除对应位置的元素后记为A^(t)和B^(t)，则A^(t)和B^(t)就是删除t条seam后的对应能量表。如果此时图像还未达到目标宽度，回到第⑤步，否则退出。

缩小高度的方法按以上的步骤实现。

如图1所示，图1A为原图；图1B为采用后向能量技术的结果图；图1C为采用前向能量技术的结果图；图1D为本发明的结果图。从图中得知，本发明对大量的图像做图像宽度压缩(压缩至原图宽度的1/2到2/3)，发现本发明的基于累积能量的无缝拼接图像处理方法ASE对图像的内容感知能力和鲁棒性都比前向、后向能量seamcarving好。

Claims (1)

1.一种基于累积能量的无缝拼接图像处理方法，其特征在于：对于一张输入图像P，按下面的步骤实现缩小宽度：

①计算图像的强度表I，并将I中所有元素除以I中元素的最大值，即让最大元素归1；

②将I通过大小为20×20，方差为9的高斯低通滤波器，得到模糊化的图像强度I^b；

③求出输入图像的视觉显著表Smap，并将Smap中所有元素除以Smap中元素的最大值，即让最大元素归1；

④按如下公式构造初始化最小能量表A和最大能量表B：

其中A⁽⁰⁾和B⁽⁰⁾是A和B的初始化值，I是第1步得到的强度表，I^b是第②步得到的模糊化的强度表，Smap是第③步得到的视觉显著表；通过下标i和j遍历A⁽⁰⁾，B⁽⁰⁾，I，I^b和Smap；

所述视觉显著表Smap的生成步骤如下：

1)对于输入图像P，将P用双线性技术缩放至90×90大小得到P′；

2)对P′作二维快速傅里叶变换得到P′_f；

3)对P′_f中的每个元素，将其幅度值归一，得到P′_f1；

4)对P′_f1作反傅里叶变换得到P′₁；

5)对P′₁中的每个元素求幅度值，并平方，得到P′₂；

6)将P′₂通过半径为3的圆形平均滤波器，得到P′₃；

7)将P′₃转换为灰度强度图，并将每个元素平方，得到P′₄； 

8)用双线性插值法将P′₄的大小缩放为输入图像P的大小，此时得到P的视觉显著表Smap；

⑤重新定义每个像素点的能量和每条seam的能量：

设当前已经删除t条seam，t初始值为0，像素点P_i，j的能量记为e⁽ⁱ⁾(P_i，j)，则定义为e^(t)(P_i，j)：

其中A^(t)和B^(t)是删除t条seam之后的最小能量表和最大能量表，

其初始分别为A⁽⁰⁾，B⁽⁰⁾；

每条seamS的能量为S中每个像素点的能量和：

⑥按上一步骤的定义，按照下式的动态规划求出当前最小seam，M^(t)(i，j)表示删除t条seam后，当前图像中从首行某点为起点，以P(i，j)为终点的seam或者部分seam的最小能量值：

M^(t)(i，j)＝min{M^(t)(i-1，j-1)，M^(t)(i-1，j)，M^(t)(i-1，j+1)}+e^(t)(P_i，j)

M^(t)的最后一行的最小值对应着当前最小能量的seam的能量；动态规划的过程中记录回溯信息以确定最小seam的位置；

⑦确定了当前最小seam的位置后，更新能量表：

设当前已经删除了t-1条seam，并且找到了马上要删除的第t条seam，即当前最小seam，则首先更新A^(t-1)和B^(t-1)为A^(t1)和B^(t1)：

在上式中，(i，j)遍历要删除的第t条seam即当前最小seam中 的点；

⑧更新能量表后，删除当前最小seam，形成下一个迭代的能量表：计算出A^(t1)和B^(t1)后，在当前图像，A^(t1)和B^(t1)三张图表中分别删除对应当前最小seam位置上的元素；设A^(t1)和B^(t1)删除对应位置的元素后记为A^(t)和B^(t)，则A^(t)和B^(t)就是删除t条seam后的对应能量表；如果此时图像还未达到目标宽度，回到第⑤步，否则退出。 

Images