CN104992403B - 一种基于视觉相似度度量的混合操作算子图像重定向方法 - Google Patents

Abstract

本发明涉及一种基于视觉相似度度量的混合操作算子图像重定向方法，其特征在于：对原始图像进行n次迭代重定向操作，每次迭代操作都对上一次迭代的结果图像采用四种重定向操作算子，通过比较这四种重定向操作算子得到的结果与原始图像的结构相似度来选取一个最优的结果作为此次迭代的结果，经过n次迭代后，得到最终的重定向图像。本发明能够获得很好的图像重定向效果，而且算法简单，运行速度快。

Description

一种基于视觉相似度度量的混合操作算子图像重定向方法

技术领域

本发明涉及一种基于视觉相似度测量的混合操作算子图像重定向方法及系统。属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。

背景技术

随着各式各样移动设备的普及，提高人们在移动设备上的视觉体验变得尤为重要。针对不同的设备，图像必须调整到不同的大小和尺寸来获得更好的视觉体验。在过去的十多年中，研究人员提出了许多图像重定向方法来使图像能够以不同大小和尺寸在不同设备上表现出良好的显示效果。一种经典的方法就是通过线性下采样来调整图像的大小。但是这种方法可能会因丢失太多重要信息使得显著目标变得太小，严重影响了视觉体验。图像裁剪算法是另一种图像重定向算法，它保留了人眼的感兴趣区域而去除了无关的背景信息。但是这种算法也存在一个问题，算法在去除背景区域的同时，也去除了背景与感兴趣区域的相关联系。

为了解决图像下采样和图像裁剪算法的这些缺陷，研究人员提出了各种改进方法，在图像失真度最小的情况下，通过保存感兴趣区域的主要内容来提高人的视觉体验。一般地，图像的重要区域包含了丰富的信息，并且可以根据相关技术来计算其重要性图。这种重要性图是由梯度图、显著性图以及一些如人脸图、运动图等高级特征图组成，被广泛用于多媒体重定向算法中。

图像重定向算法是对图像中的像素运用重定向操作算子，通过改变图像的大小以适应不同大小的显示屏。目前有两类图像重定向算法：离散和连续的图像重定向算法。离散的图像重定向算法通过删除图像中的像素以获得新的图像；而连续图像重定向算法通过合并图像中的某些像素得到重定向的结果。

Avidan等人提出了一种非常有名的离散图像重定向算法，叫做线裁剪算法。这种方法通过迭代删除由不重要像素组成的一条条缝隙，来达到重定向的效果。由于图像中像素的删除，线裁剪算法可能导致重定向图像中物体边缘扭曲。为了解决这一问题，研究人员基于线裁剪提出了不少新的图像重定向改进方法。与离散的图像重定向方法不同，图像变换方法是一个传统的连续图像重定向方法，它能够在执行重定向算子的时候保证物体连续的形变。

近年来，Rubinstein等人做了一组主观实验，发现对图像使用多种重定向算子比单使用一种算子得到的重定向图像质量更好。根据实验的相关结果，作者提出了一个结合线裁剪，图像下采样和图像裁剪算子的多算子图像重定向算法。每次重定向操作的算子由输入图像和重定向图像最大相似度的最优化结果来决定。双向变换算法被用于决定这种混合算子的数量。实验结果证明使用这种混合重定向算子比单用一种重定向算子得到的重定向图像视觉效果更好，在这之后其他学者也提出了一些混合重定向算子，在这些算法中，相似度测量被用来决定每个重定向算子的数量。在Rubinstein的研究中，作者开展了一个比较实验，证明了之前的诸如双向变换算法、双向相似度算法等用于决定重定向算子数量的相似度测量方法不是很有效。

由于上述方法存在着那么多严重的缺陷，需要一种简便而有效的图像重定向方法，以提高重定向后图像的视觉体验。

发明内容

为了克服现有技术上的不足，本发明提供了一种混合算子图像重定向方法，这种方法结合了图像裁剪、图像下采样、线裁剪和图像变换四种算子来完成图像的重定向操作，这四种重定向操作算子的重定向操作序列由一个重定向优化过程来决定。我们通过计算原始图像和重定向图像的相似度，来决定哪个重定向操作算子在迭代中被使用。对于相似度的计算，由于原始图像和重定向图像有着不同的尺寸，可以使用尺度不变特征转换流来计算原始图像和重定向图像的像素映射，利用结构相似度来计算原始图像和重定向图像之间的相似度，同时，视觉显著图分析被用于决定相似度的权重。实验证明我们提出的方法能很好地对一幅图像进行重定向操作，所产生的失真度比较小。

本发明采用下述技术方案来实现：一种基于视觉相似度度量的混合操作算子图像重定向方法，其特征在于：对原始图像进行n次迭代重定向操作，每次迭代操作都对上一次迭代的结果图像采用四种重定向算子，通过比较这四种重定向算子得到的结果与原始图像的结构相识度来选取一个最优的结果作为此次迭代的结果，经过n次迭代后，得到最终的重定向图像。

本发明各个部分的具体操作如下：

●图像重定向操作算子：

图像重定向操作算子被用于在保证物体不发生形变的情况下调整图片的大小。在本文提出的框架中，我们使用了图像裁剪、图像下采样、线裁剪和图像变换四种重定向操作算子来完成图像的重定向操作。对于图像下采样重定向操作算子，我们使用统一的图像尺度来进行图像大小的调整。对于其他三种算子，通过计算图像的显著图，将其作为重要图来估量图像像素的重要程度。本方法中，我们使用离散余弦变换来提取重定向图像的显著图，将其作为图像的重要图。给定一张图像，图像块i的显著值可以通过下式来计算：

其中d_i,j代表两个图像块i和j之间的空间距离，D_i,j代表两个图像块i和j之间的特征差异。

我们用上面的式子计算由图像裁剪、线裁剪和图像变换重定向操作算子得到的重定向图像显著图。对于图像裁剪重定向操作算子是采用最小化图像重要图的能量值来计算的，对线裁剪重定向操作算子，我们计算显著图来测量每个像素的重要性。相似地，我们改进了图像变换重定向操作算子，通过计算显著图作为能量度来估量每个像素点的重要性。

●视觉相似度测量：

本方法至关重要的一个步骤就是确定图像重定向操作序列。本方法中，我们使用结构相似度来评价重定向图像的失真度，以此确定其重定向操作序列。由于原始图像与重定向图像有着不同的大小，我们使用尺度不变特征转换流估计原始图像与重定向图像的稠密对齐。对于原始图像中的每个像素p，我们发现通过使用尺度不变特征转换流能够使其与重定向图像的p’相对应。一旦原始图像和重定向图像的稠密对齐被建立起来，这些对齐区域的局部结构信息可以被用来作为相似度评价。对任意的原始图像与重定向图像上对齐的两个点p和p’，分别以这两个点为中心的两个图像块x和x’，它们之间的结构相似度可以由下式计算：

其中μ_x，μ_x′，和σ_xx′分别代表x和x’的局部平均值，x和x’的局部方差以及x和x’的协方差。C₁和C₂是两个小的正数变量，用于消除低光照和对比度情况下对视觉系统的影响。在本方法中，我们使用混合尺度算子来计算最终的结构相似度，通过使用不同尺度的结构相似度来计算：

其中SSIM_j是第j个尺度的结构相似度值，ω_j是不同尺度下结构相似度的权重值。本方法中，我们从基于双线性插值的不同尺度进行上采样结构相似图，以匹配不同大小的最终结构相似图。

在本发明中，我们同时考虑自顶向下和自底向上的方法来计算图像的显著图。我们可以通过(1)式来计算自底向上的显著性图S_b，而自顶向下的显著性图S_t是通过人脸检测算法来计算的。当然，其他自顶向下的方法也可以融入到这个方法中。我们使用线性结合的方法将自顶向下和自底向上的显著图整合到一起，用于获得最终的重定向图像的显著图：

S'＝(S_b+S_t)/2 (4)

全局的结构相似度可以提供原始图像和重定向图像的相似度信息，同时，最近研究表明一些重要的物体可能会被忽略到感兴趣区域以外。因此，我们使用显著图来决定整个结构相似度的权重，进而计算原始图像和对应的重定向图像之间的结构相似度，计算公式如下：

其中，SSIM(i,i′)是指原始图像的图像块i和对应的重定向图像的图像块i’之间计算得到的结构相似度，S′_i′是指与原始图像的图像块i对应的重定向图像的图像块i’的显著值。

●重定向图像失真最优化：

对于任何一张大小为m×n的图像，每次的重定向操作是以下四种重定向算子中的一种：图像裁剪、图像下采样、线裁剪和图像变换，通过一系列的图像重定向操作算子系列得到最终的重定向图像。这个图像重定向操作算子序列可以用一个有方向的路径来表示，这个路径的起点是原始图，之后的点是这个操作序列中的操作算子。一般来说，存在很多不同的路径，这些路径由四种重定向操作算子的不同排序组成。假设我们想要调整一副图像的大小，将其宽度从m调整成m’，可以使用一系列基于四种重定向操作算子的操作序列，这将有O(k^w)(其中，w＝m-m’)种不同的操作序列。我们致力于寻找这种多重重定向操作算子序列在最小失真情况下的最优路径，以获得原始图像与重定向图像的最大全局相似度。在本方法中，我们通过计算调整重定向迭代操作后的图像相似度来计算原始图像和重定向图像之间的视觉相似度，这可以被看成是搜索空间随着不同重定向操作呈指数增长。为了优化计算速度，在每次迭代时我们将图像的宽度调整C个像素宽度。假定g_i-1＝{O₁,O₂,…,O_i-1}是之前i-1次迭代操作算子集合，那么第i次迭代的操作算子O_i可以表示为

e＝arg max_1≤i≤kIR_SSIM(I,<g_i-1∪O_i>(I)) (6)

其中k表示重定向操作算子，I表示原始图像。根据公式(6)我们可以计算出每次迭代的重定向操作的操作序列{O₁,O₂,O₃,…,O_n}。

本发明能够获得很好的图像重定向效果，而且算法简单，运行速度快，具有一定的实用性。

附图说明

图是1本发明的流程图。

图2是不同算法得到图样的结果：第一列：原始图像；第二列：由图像裁剪算子计算得到的重定向图像结果；第三列：由线裁剪算子计算得到的重定向图像结果；第四列：由本发明计算得到的重定向图像算子。

图3是不同算法得到图样的结果：第一列：原始图像；第二列：由图像下采样算子计算得到的重定向图像结果；第三列：由图像变换算子计算得到的重定向图像结果；第四列：由本发明计算得到的重定向图像算子。

具体实施方式

下面结合附图，对本发明的技术方案做进一步的详细描述。

本发明的过程如图1所示，具体过程如下。

首先对原始图像进行重定向操作，计算出四种重定向操作算子(包括线裁剪、图像裁剪、图像变换和图像下采样)的重定向结果，从四种结果中自动选取一种结果最好的，作为本次图像重定向操作结果。在评价哪种重定向操作算子结果最好的时候，本发明通过计算每个重定向操作算子得到的结果分别与原始图像的结构相似度值，根据相似度值来选择一种最好的重定向算子。第一次迭代完成。

在计算得到图像重定向的第一次迭代结果之后，系统把这个重定向结果重新作为输入，再次进行上一步骤的处理：计算出四种重定向操作算子(包括线裁剪、图像裁剪、图像变换和图像下采样)对第一次迭代结果的重定向结果，从四种图像重定向结果中自动选取一种结果最好的，作为本次图像重定向操作结果。在评价哪种算子结果最好的时候，通过计算每个重定向操作算子得到的结果分别与原始图像的结构相似度值，根据结构相似度值来选择一种最好的重定向算子。第二次迭代完成。

重复上次迭代过程n次，一直到计算得到最终的重定向图像结果为止，迭代循环结束。

图像重定向操作算子：

对于图像下采样重定向操作算子，我们使用统一的图像尺度来进行图像大小的调整。对于其他三种重定向操作算子，通过计算图像的显著图，将其作为重要图来估量图像像素的重要程度。本方法中，我们使用离散余弦变换来提取重定向图像的显著图，将其作为图像的重要图。给定一张图像，图像块i的显著值可以通过下式来计算：

其中d_i,j代表两个图像块i和j之间的空间距离，D_i,j代表两个图像块i和j之间的特征差异。

我们用上面的式子计算由图像裁剪、线裁剪和图像变换重定向操作算子得到的重定向图像显著图。对于图像裁剪重定向操作算子是采用最小化图像重要图的能量值来计算的，对线裁剪重定向操作算子，我们计算显著图来测量每个像素的重要性。相似地，我们改进了图像变换算子，通过计算显著图作为能量度来估量每个像素点的重要性。

视觉相似度测量：

我们使用结构相似度来评价重定向图像的失真度，以此确定其重定向操作序列。由于原始图像与重定向图像有着不同的大小，我们使用尺度不变特征转换流估计原始图像与重定向图像的稠密对齐。对于原始图像中的每个像素p，我们发现通过使用尺度不变特征转换流能够使其与重定向图像的p’相对应。一旦原始图像和重定向图像的稠密对齐被建立起来，这些对齐区域的局部结构信息可以被用来作为相似度评价。对任意的原始图像与重定向图像上对齐的两个点p和p’，分别以这两个点为中心的两个图像块x和x’，它们之间的结构相似度可以由下式计算：

其中μ_x，μ_x′，和σ_xx′分别代表x和x’的局部平均值，x和x’的局部方差以及x和x’的协方差。C₁和C₂是两个小的正数变量，用于消除低光照和对比度情况下对视觉系统的影响。在本方法中，我们使用混合尺度算子来计算最终的结构相似度，通过使用不同尺度的结构相似度来计算：

其中SSIM_j是第j个尺度的结构相似度值，ω_j是不同尺度下结构相似度的权重值。

本方法中，我们从基于双线性插值的不同尺度进行上采样结构相似图，以匹配不同大小的最终结构相似图。

在本发明中，我们同时考虑自顶向下和自底向上的方法来计算图像的显著图。我们可以通过(1)式来计算自底向上的显著性图S_b，而自顶向下的显著性图S_t是通过人脸检测算法来计算的。当然，其他自顶向下的方法也可以融入到这个方法中。我们使用线性结合的方法将自顶向下和自底向上的显著图整合到一起，用于获得最终的图像显著图：

S'＝(S_b+S_t)/2 (4)

全局的结构相似度可以提供原始图像和重定向图像的相似度信息，同时，最近研究表明一些重要的物体可能会被忽略到感兴趣区域以外。因此，我们使用显著图来决定整个结构相似度的权重,进而计算原始图像和对应的重定向图像之间的结构相似度，计算公式如下：

其中，SSIM(i,i′)是指原始图像的图像块i和对应的重定向图像的图像块i’之间计算得到的结构相似度，S′_i′是指与原始图像的图像块i对应的重定向图像的图像块i’的显著值。

重定向图像失真最优化：

通过计算调整重定向迭代操作后的图像相似度来计算原始图像和重定向图像之间的视觉相似度，这可以被看成是搜索空间随着不同重定向操作呈指数增长。为了优化计算速度，在每次迭代时我们将图像的宽度调整C个像素宽度。假定g_i-1＝{O₁,O₂,…,O_i-1}是之前i-1次迭代操作算子集合，那么第i次迭代的操作算子O_i可以表示为

e＝arg max_1≤i≤kIR_SSIM(I,<g_i-1∪O_i>(I)) (6)

其中k表示重定向操作算子，I表示原始图像。根据公式(6)我们可以计算出每次迭代的重定向操作的操作序列{O₁,O₂,O₃,…,O_n}。

实验证明，本发明提出的混合重定向操作算子比单一使用一种操作算子的方法得到的重定向结果要好很多。

实施例1

图2第二列是由图像裁剪重定向操作算子计算得到的重定向图像结果，由此可知：单使用图像裁剪重定向操作算子时，图像丢失了很多背景信息，而且图像中的人物也不能够完全的展示在重定向图像中。

图2第三列是由线裁剪重定向操作算子计算得到的重定向图像结果；由此可知单使用线裁剪重定向操作算子的时候，图像中的人物会变形扭曲，这样的结果是我们不想看到的。

图2第四列是由本发明计算得到的重定向图像结果，通过对第一列的原始图像进行迭代重定向操作计算得到，首先计算出四种重定向操作算子(包括线裁剪、图像裁剪、图像变换和图像下采样)的重定向结果，从四种结果中自动选取一种结果最好的，作为第一次图像重定向操作结果。在评价哪种重定向操作算子结果最好的时候，本算法通过计算每个重定向操作算子得到的结果分别与原始图像的结构相似度值，根据结构相似度值来选择一种最好的重定向操作算子，第一次迭代完成。重复上述迭代过程，直至计算得到最终大小的重定向图像为止。从第四列的重定向图像结果来看，使用本发明提出的算法计算得到的重定向图像，能很好地对原始图像进行重定向操作并且没有丢失太多的信息，图像中人物的基本轮廓也不会变形。从人眼视觉感知角度来看，本发明提出的算法要好于图像裁剪和线裁剪算法。

实施例2

同样地，我们尝试用图像下采样和图像变换重定向操作算子来与本发明的算法进行比较，图3第二列是由图像下采样重定向操作算子计算得到的重定向图像结果。图像下采样重定向操作算子得到的重定向图像中人物已经产生了形变，人物的比例变得不正常。

图3第三列是由图像变换重定向操作算子计算得到的重定向图像结果。图像变换重定向操作算子得到的图像中，虽然人物并没有发生多大的改变，但是背景的南瓜形变很严重，不符合原始图像的比例。

图3第四列是由本发明计算得到的重定向图像结果，通过对第一列的原始图像进行迭代重定向操作计算得到，首先计算出四种重定向操作算子(包括线裁剪、图像裁剪、图像变换和图像下采样)的重定向结果，从四种结果中自动选取一种结果最好的，作为第一次图像重定向操作结果。在评价哪种重定向操作算子结果最好的时候，本算法通过计算每个重定向操作算子得到的结果分别与原始图像的结构相似度值，根据相似度值来选择一种最好的重定向算子，第一次迭代完成。重复上述迭代过程，直至计算得到最终大小的重定向图像为止。从第四列的重定向图像结果来看，本发明提出的重定向操作算子能很好地对这幅图进行重定向操作，不论是人物还是背景的南瓜，都能很好地保留其基本的信息，并且没有形变发生。

上述内容为本发明的详细说明，任何依照本发明的权利要求范围所做的同等变化与修改，皆为本发明的权利要求范围所涵盖。

Claims (3)

1.一种基于视觉相似度度量的混合操作算子图像重定向方法，其特征在于：对原始图像进行n次迭代重定向操作，每次迭代操作都对上一次迭代的结果图像采用四种重定向操作算子，通过比较这四种重定向算子得到的结果与原始图像的结构相似度来选取一个最优的结果作为此次迭代的结果，经过n次迭代后，得到最终的重定向图像；所述四种重定向操作算子为图像裁剪、图像下采样、线裁剪和图像变换；

计算由图像裁剪、线裁剪和图像变换算子得到的重定向图像显著图，将其作为重要图来估量图像像素的重要程度，给定一张图像，图像块i的显著值通过下式来计算：

$S_i={\mathrm{\&Sigma;}}_{j\&NotEqual;i}\frac{1}{\mathrm{\&sigma;}\sqrt{2\mathrm{\&pi;}}}{e}^{\frac{d_{i,j}^2}{2{\mathrm{\&sigma;}}^2}}{D}_{i,j}---\left(1\right)$

其中d_i,j代表两个图像块i和j之间的空间距离，D_i,j代表两个图像块i和j之间的特征差异；

使用结构相似度来评价重定向图像的失真度，以此确定其重定向操作序列；

对于原始图像中的每个像素p，通过使用尺度不变特征转换流使其与重定向图像像素p’相对应；对任意的对齐的原始图像像素p与重定向图像像素p’，分别以原始图像的像素p和重定向图像像素p’为中心的两个图像块x和x’，它们之间的结构相似度由下式计算：

$SSIM\left(x,x^{\&prime;}\right)=\frac{(2{\mathrm{\&mu;}}_x{\mathrm{\&mu;}}_{x^{\&prime;}}+C_1)(2{\mathrm{\&sigma;}}_{{\mathrm{xx}}^{\&prime;}}+C_2)}{({\mathrm{\&mu;}}_x^2+{\mathrm{\&mu;}}_{x^{\&prime;}}^2+C_1)({\mathrm{\&sigma;}}_x^2+{\mathrm{\&sigma;}}_{x^{\&prime;}}^2+C_2)}---\left(2\right)$

其中μ_x，μ_x′，和σ_xx′分别代表x和x’的局部平均值，x和x’的局部方差以及x和x’的协方差；C₁和C₂是两个小的正数变量，用于消除低光照和对比度情况下对视觉系统的影响；

通过(1)式来计算自底向上的显著图S_b，而自顶向下的显著图S_t是通过人脸检测算法来计算的；使用线性结合的方法将自顶向下和自底向上的显著图整合到一起，用于获得最终的重定向图像的显著图：

S'＝(S_b+S_t)/2 (4)

全局的结构相似度提供原始图像和重定向图像的相似度信息；

使用最终的显著图来决定整个结构相似度的权重，进而计算原始图像和对应的重定向图像之间的结构相似度，计算公式如下：

$IR\_SSIM=\frac{{\mathrm{\&Sigma;}}_{i^{\&prime;}}{S^{\&prime;}}_{i^{\&prime;}}SSIM(i,i^{\&prime;})}{{\mathrm{\&Sigma;}}_{i^{\&prime;}}{S^{\&prime;}}_{i^{\&prime;}}}---\left(5\right)$

其中，SSIM(i,i′)是指原始图像的图像块i和对应的重定向图像的图像块i’之间计算得到的结构相似度，S′_i′是指与原始图像的图像块i对应的重定向图像的图像块i’的显著值。

2.根据权利要求1所述的基于视觉相似度度量的混合操作算子图像重定向方法，其特征在于：对于图像下采样算子，使用统一的图像尺度来进行图像大小的调整。

3.根据权利要求2所述的基于视觉相似度度量的混合操作算子图像重定向方法，对于图像裁剪算子，重定向图像显著图是采用最小化图像重要图的能量值来计算的；对线裁剪算子，计算显著图来测量每个像素的重要性；对于图像变换算子，通过计算显著图作为能量度来估量每个像素点的重要性。