CN104463873A - 一种基于局部均匀缩放的图像目标重定位方法 - Google Patents

Abstract

本发明公开了一种基于局部均匀缩放的图像目标重定位方法，首先将源图像I分解为卡通部分u和纹理部分v；然后计算卡通部分u上每个像素的高阶统计量HOS，检测显著性边，得到源图像的能量地图，并根据所述能量地图上显著性目标的位置，将源图像分为I₁、I₂和I₃三块，其中I₁和I₃为背景部分，I₂为显著性区域；最后将背景部分I₁、I₃和显著性区域I₂按照不同的缩放比例进行缩放，最终得到目标图像。本发明能够准确地检测图像的显著性目标以及大尺度结构，而且缩放速度相较于其他的基于内容的缩放算法要更快，可以很好地保护图像的大尺度结构不被破坏，保持大尺度结构的光滑性和连续性。

Description

一种基于局部均匀缩放的图像目标重定位方法

技术领域

本发明涉及一种图像处理技术，具体涉及一种图像目标重定位方法。

背景技术

近几年,数字图像越来越广泛的分布在媒体领域的各个方面，而手机、平板电脑等移动多媒体的发展丰富了我们浏览图像、视频的形式。要使图像可以在这些设备上正常显示,通常需要改变图像的大小以适应这些设备的屏幕分辨率，这种为了某种需要而改变图像大小或分辨率的过程通常称为图像目标重定位或图像缩放。目前最常用的图像缩放方式是均匀缩放,即通过下采样或图像插值达到缩小或放大图像的目的，但由于它在改变图像大小的同时未能考虑到图像内容,因此经常会造成扭曲失真使得图像变得过宽或过瘦。基于内容的图像目标重定位称为当前研究的一个热点，因为基于内容的图像目标重定位算法利用人们对图像内容的感知差异对图像进行非均匀的图像缩放,以适应新的显示需求。

基于内容的图像目标重定位算法是图像视觉研究领域的一个巨大挑战,它要求我们在改变图像大小同时顾及到图像的整体美观性。Shamir A,SorkineO.Visual media retargeting[C]//ACM SIGGRAPHASIA 2009 Courses.ACM,2009:11定义了三条图像目标重定位目标:

1.目标图像应保留源图像的重要内容；

2.目标图像应保留源图像的重要结构；

3.目标图像应没有明显的视觉扭曲或失真现象。

根据上面提出的三条标准,Vaquero D,Turk M,Pulli K,et al.A survey of image retargeting techniques[C]//SPIE Opt icalEngineering+ Applications.International Society for Opticsand Photonics,2010:779814-779814-15认为大多数的图像缩放方法都遵循一个相似的流程：首先,输入源图像和目标图像的尺寸，然后,计算源图像的重要性地图，最后根据重要性地图,应用缩放算子变更图像大小。

图像目标重定位算法的成功运行需要准确的重要性检测和快速有效的缩放算子两个不可或缺的条件。重要性检测又称显著性检测,是给每个像素标记一个介于[0,1]之间的值,值越高意味着该点越重要。Goferman S,Zelnik-Manor L,Tal A.Context-aware saliencydetection[J].Pattern Analysis and Machine Intelligence,IEEETransactions on,2012,34(10):1915-1926详细介绍了现有的重要性检测方法并根据人类视觉的四条基本原则提出了一种基于上下文的显著性检测方法，该方法可以准确的检测重要性目标,但是计算复杂,耗时较长。Vaquero D,Turk M,Pulli K,et al.A survey ofimage retargeting techniques[C]//SPIE Optical Engineering+Applications.International Society for Optics and Photonics,2010:779814-779814-15将重要性检测分为从上而下和从下而上两类,并详细介绍了几种常用于图像目标重定位的重要性检测方法。为了在复杂背景下准确的检测重要性目标,Kim W,Kim C.Atexture-aware salient edge model for imageretargeting[J].Signal Processing Letters,IEEE,2011,18(11):631-634提出了一种显著性边检测模型(TASE算法),通过计算图像在扩散空间的高阶统计量(HOS)检测显著性边。这种方法的确可以克服复杂背景和噪声的影响,但该方法的缩放算子却不能很好的保护图像的大尺度结构。

目前图像目标重定位技术所用的缩放算子主要可分为两类。一类是连续算子,即将图像看作连续函数,然后试图建立源图像到目标图像的最优映射,映射过程中加入一些约束来保护图像内容，代表有基于翘曲的方法和基于网格的缩放和拉伸的方法。这类方法通过约束限制重要性区域的局部变形尽可能小而非局部区域的变形尽可能大,得到比较光滑的缩放结果。但这类方法在不同程度的翘曲或拉伸下会出现一些特征重叠现象还可能破坏图像的全局结构。另一类是离散算子,即将图像看作一个二维矩阵。这类方法的代表是缝雕刻算法,其基本思想是根据图像的重要性地图设计一个动态规划算法,计算图像的缝(seam),通过移除或插入缝改变图像大小，每条缝都是一条从左到右或从上到下的8连通的最小能量路径。缝雕刻算法是一种有效的内容敏感的图像目标重定位方法,但是由于缝的过量雕刻和添加,它容易破坏大尺度结构,产生严重的视觉变形。后续的研究者为了克服缝雕刻算法存在的问题将缝雕刻算法与均匀缩放技术结合使用,首先对图像做缝雕刻,每雕刻掉一条缝就将其均匀缩放到目标大小一次,然后根据特定的距离公式计算缩放图像和源图像的距离，最后选择使此距离最小的缝移除方案为最佳图像缩放方案。这种方法虽然提高了缩放图像的质量但是因为计算量大存在计算耗时的问题。

图像的局部均匀缩放是指先对背景部分做一定比例的均匀缩放,然后再根据目标图像大小对显著性区域做缩放。均匀缩放作为最早的、最普遍的图像缩放方法,存在速度快与源图像匹配率高等诸多优点，其最大的缺陷是不能照顾到图像内容使得在缩放过程中造成图像失真。随后提出且被广泛研究的缝雕刻算法虽然对显著性目标很敏感但却由于缝的过度移除容易造成对大尺度结构的破坏。后续的研究者又对缝雕刻算法做了一些改进,提出了前向能量算法,令图像移除缝后新引入的能量最小,使图像处理引发的形变相对不易察觉。Cho S,Choi H,Matsushita Y,et al.Image retargeting using importancediffusion[C]//Image Processing(ICIP),200916th IEEEInternational Conference on.IEEE,2009:977-980提出了一种能量扩散算法,将移除的像素的能量按距离权函数扩散给其邻域像素,这种扩散减少了对低能量部分的过分移除,得到了相对较美观的图像。比较原始缝雕刻算法以及上述两种改进算法,不难发现,两种改进都是在一定程度上稀疏缝的分布。当细缝分布较均匀时,图像结构保存相对较完整，基于以上分析,在缝雕刻算法中,缝分布越均匀对大尺度结构的破坏越轻微。因此,本发明采用基于内容的均匀缩放来保护显著性结构。

发明内容

针对现有技术的不足，本发明旨在提供一种基于局部均匀缩放的图像目标重定位方法，准确地检测图像的显著性目标以及大尺度结构，从而在显著性检测过程中减少了背景部分的影响，并且更好地保护源图像的大尺度结构不被破坏，保持大尺度结构的光滑性和连续性。

为了实现上述目的，本发明采用如下技术方案：

一种基于局部均匀缩放的图像目标重定位方法包括如下步骤：

步骤1，将源图像分解为卡通部分u和纹理部分v；

步骤2，计算卡通部分u上每个像素的高阶统计量，并据此检测显著性边，得到源图像的能量地图，并根据所述能量地图上显著性目标的位置，将源图像分为I₁、I₂和I₃三块，其中I₁和I₃为背景部分，I₂为显著性区域；

步骤3，将背景部分I₁、I₃和显著性区域I₂按照不同的缩放比例进行缩放，先将背景部分按一定的比例预先缩放，然后用目标图像大小减去缩放后的背景部分大小得到显著性区域应该缩放的大小；最终得到目标图像。

需要说明的是，所述步骤1是根据所述源图像上的每一像素局部总变差LTV的相对衰减率，确定每一像素属于卡通部分u还是纹理部分v，具体步骤如下：

步骤1.1，定义LTV如下：

LTV_σ(I)(x):＝L_σ*|▽I|(x),；

则其相对衰减率定义如下：

${\mathrm{\λ}}_{\mathrm{\σ}}\left(x\right):=\frac{{\mathrm{LTV}}_{\mathrm{\σ}}\left(I\right)\left(x\right)-{\mathrm{LTV}}_{\mathrm{\σ}}(L_{\mathrm{\σ}}*I)\left(x\right)}{{\mathrm{LTV}}_{\mathrm{\σ}}\left(I\right)\left(x\right)};$

其中，L_σ表示低通滤波,在傅里叶域有其中σ表示标准差，ζ表示频率；I表示源图像，有I＝u+v；|▽I|表示源图像I梯度的模；x表示像素，LTV的相对衰减率λ_σ(x)表示图像的局部震荡，λ_σ(x)介于[0,1]之间,对于像素x来说,λ_σ(x)的值越小,x越可能属于卡通部分；

步骤1.2，卡通部分u(x)和纹理部分v(x)的定义为:

u(x)＝w(λ_σ(x))L_σ*I+(1-w(λ_σ(x)))I

v(x)＝I(x)-u(x)；

其中,w(x):[0,1]→[0,1]是一个非减的分段函数,定义为：

$w\left(x\right)=\left\{\begin{array}{cc}0& x\≤a_1\\ (x-a_1)/(a_2-a_1)& a_1\≤x\≤a_2\\ 1& x\≥a_2\end{array}\right..$

需要进一步说明的是，步骤1.2中a₁和a₂分别固定设为0.25和0.5。

需要说明的是，所述步骤2的具体步骤如下：

步骤2.1，计算卡通部分u在每个像素位置x＝(x₁,x₂)的高阶统计量：

$\mathrm{HOS}\left(x\right)=\frac{1}{N}\underset{y\∈B\left(x\right)}{\mathrm{\Σ}}{|u\left(y\right)-\mathrm{\μ}\left(x\right)|}^2;$

其中,B(x)代表x的邻域像素集,u(y)表示B(x)中属于卡通部分u的像素，N为B(x)内包含元素的个数；μ(x)＝(1/N⁾Σ_y∈B(x)u(y)表示样本集B(x)的均值；

步骤2.2，计算源图像第k列的高阶统计量为：

$\mathrm{HOS}\left(k\right)=\underset{x=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{HOS}(x,k);$

则HOS(k)越大,第k列越显著，m表示源图像第k列的像素个数，HOS(x,k)表示第k列的每个像素x的HOS；

步骤2.3，取前l个高阶统计量最大的列作为显著列,l具体根据源图像的内容人为设置；

步骤2.4，根据显著性区域是一个局部连接整体的性质，确定属于显著性区域的显著列：假设前L列已经确定的属于显著性区域的显著列的中心为n₀,则对第L+1个显著列来说,倘若它的位置坐标与n₀的差小于等于w,则认为第L+1个显著列属于显著性区域,w具体根据源图像的内容人为设置；其中,n₀初始化设置为最显著列，即HOS最大的列的坐标；

步骤2.5，在确定了属于显著性区域的显著列后,取这些列的最小、最大坐标分别为m和M，则源图像中的显著性区域I₂为源图像中的[m,M]列，背景部分I₁和I₃分别为图像中列[0,m-1]列和[M+1,W]列，W为源图像的宽度。

需要进一步说明的是，步骤2.1中设置邻域半径为11。

需要说明的是，步骤3中，背景部分的缩放比例一般为1/4。

需要说明的是，为了达到图像缩放的目的,保证I₂的缩放，只缩放背景区域后的图像大小应当大于或等于目标图像的大小，即有：

bW₁+W₂+bW₃≥a(W₁+W₂+W₃)；

其中，W₁、W₂、W₃分别为I₁、I₂、I₃的大小，a为源图像的缩放比例；

整理后得

$W_2\≥\frac{a-b}{1-a}(W_1+W_3)\⇒W_2\≥\frac{a-b}{1-b}W;$

如果所述显著性区域的大小不满足该条件时,则规定显著性区域为源图像的1/2。

本发明的有益效果在于：

1、本发明提出的基于卡通纹理分解的显著性检测算法，通过对给定图做卡通纹理分解并计算卡通部分的HOS以进行显著性检测，由于卡通图包含图像的光滑区域和大尺度结构,纹理图包含图像的纹理部分,小尺度细节和部分噪声,所以通过计算卡通部分的HOS可以检测图像每个像素的重要性。该重要性检测算法可以准确的检测图像的显著性目标以及大尺度结构，从而在显著性检测过程中减少了背景部分的影响，可以很好的检测到显著性目标。

2、本发明提出的局部均匀缩放算法，缩放速度相较于其他的基于内容的缩放算法来说要快的多，而且可以很好的保护图像的大尺度结构不被破坏，保持大尺度结构的光滑性和连续性。

本发明受到了国家自然科学基金(61472303,61271294)以及中央高校科研业务费(NSIY21)的资助。

附图说明

图1为本发明实施过程的图像状态示意图。

具体实施方式

以下将结合附图对本发明作进一步描述，需要说明的是，本实施例以本技术方案为前提，给出详细的实施方式和操作步骤，但本发明的保护范围并不限于实施例。

一种基于局部均匀缩放的图像目标重定位方法，如图1所示，首先将源图像I分解为卡通部分u和纹理部分v；然后计算卡通部分u上每个像素的高阶统计量HOS，检测显著性边，得到源图像的能量地图，并根据所述能量地图上显著性目标的位置，将源图像分为I₁、I₂和I₃三块，其中I₁和I₃为背景部分，I₂为显著性区域；最后将背景部分I₁和I₃和显著性区域I₂按照不同的缩放比例进行缩放，最终得到目标图像。

1.1源图像的卡通纹理分解

卡通部分是源图像的一个分段常数衰减，所以经过卡通纹理分解后,源图像的大尺度结构等显著性信息主要保存在了卡通图上,而属于背景部分的一些小尺度细节则残留在了纹理部分。因此应用卡通部分获取源图像的能量地图有效的抑制了背景部分对显著性检测准确性的影响。

本发明应用模型求解算法进行源图像的卡通纹理分解，该算法的核心思想是通过每一像素局部总变差(LTV)的相对衰减率确定该像素是属于卡通部分还是纹理部分。本发明中，LTV以及LTV的相对衰减率如下定义:

LTV_σ(I)(x):＝L_σ*|▽I|(x),；

${\mathrm{\λ}}_{\mathrm{\σ}}\left(x\right):=\frac{{\mathrm{LTV}}_{\mathrm{\σ}}\left(I\right)\left(x\right)-{\mathrm{LTV}}_{\mathrm{\σ}}(L_{\mathrm{\σ}}*I)\left(x\right)}{{\mathrm{LTV}}_{\mathrm{\σ}}\left(I\right)\left(x\right)};$

这里,L_σ表示低通滤波,比如标准差为σ的高斯核函数，LTV的相对衰减率λ_σ(x)表示图像的局部震荡。在傅里叶域有其中σ表示标准差，ζ表示频率；I表示源图像，有I＝u+v；|▽I|表示源图像I梯度的模；λ_σ(x)介于[0,1]之间,对于像素x来说,λ_σ(x)的值越小,x越可能属于卡通部分。卡通部分u(x)和纹理部分v(x)的定义为:

u(x)＝w(λ_σ(x))L_σ*I+(1-w(λ_σ(x)))I

v(x)＝I(x)-u(x)；

其中,w(x):[0,1]→[0,1]是一个非减的分段函数,定义为

$w\left(x\right)=\left\{\begin{array}{cc}0& x\≤a_1\\ (x-a_1)/(a_2-a_1)& a_1\≤x\≤a_2\\ 1& x\≥a_2\end{array}\right..$

其中,a₁和a₂分别固定设为0.25和0.5。

1.2能量地图检测

HOS既可以抑制噪声又可以在图像大结构边界处展现强对比,因此可以用来检测边界。计算卡通部分u在每个像素位置x＝(x₁,x₂)的HOS：

$\mathrm{HOS}\left(x\right)=\frac{1}{N}\underset{y\∈B\left(x\right)}{\mathrm{\Σ}}{|u\left(y\right)-\mathrm{\μ}\left(x\right)|}^2;$

其中,B(x)代表x的邻域像素集,μ(x)＝(1/N)Σ_y∈B(x)u(y)表示样本集B(x)的均值，N为B(x)内包含元素的个数，u(y)表示B(x)中属于卡通部分u的像素。在本实施例中，令x的邻域半径为11，即N＝121。

设则HOS(k)越大,第k列越显著，m表示源图像第k列的像素个数，HOS(x,k)表示第k列的每个像素x的HOS；取前l个HOS最大的列作为显著列,l具体根据源图像的内容人为设置。

需要说明的是，这l个显著列不一定全部属于显著性区域，因此需要根据显著性区域是一个局部连接整体的性质确定哪些显著列属于显著性区域。假设前L个已经确定的属于显著性区域的显著列的中心为n₀,则对第L+1个显著列来说,倘若它的位置坐标与n₀的差小于等于w,则认为第L+1个显著列属于显著性区域,w取决于图像的大小。其中,n₀初始化设置为最显著列的坐标。在确定了属于显著性区域的列后,取这些列的最小、最大坐标分别为m和M，则图像中的显著性区域以I₂及背景部分I₁、I₃分别为图像中[m,M]列和[0,m-1]列,[M+1,W]列，W为源图像的宽度。

1.3图像的局部均匀缩放

图像的局部均匀缩放是指先对背景部分I₁、I₃做一定比例的均匀缩放得到X₁、X₃,然后再根据目标图像X大小对显著性区域I₂进行缩放，得到X₂。一般地，首先将背景部分I₁、I₃按一定的比例进行缩放，缩放比例一般为1/4,分别得到X₁、X₃，再用目标图像大小减去缩放后的背景部分X₁、X₃的大小，得到X₂的大小，并根据此结果对显著性区域I₂进行缩放，最终得到目标图像。

需要说明的是，为了达到图像缩放的目的,保证I₂的缩放，背景区域缩放后X₁、X₃再加显著性区域I₂的大小应比目标图像X大。

记I₁、I₂、I₃的大小分别为W₁、W₂、W₃,源图像缩放比例为60％，要求只缩放背景后的图像比目标图像大,即有

$\frac{1}{4}{W}_1+W_2+\frac{1}{4}{W}_3\≥\frac{3}{5}(W_1+W_2+W_3);$

整理后得

$W_2\≥7/8(W_1+W_3)\⇒W_2\≥7/15W;$

同理可得当目标图像是源图像的50％时,有W₂≥1/3W。倘若显著性区域的大小不满足上述条件时,规定显著性区域为源图像的1/2。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形都应该包括在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于局部均匀缩放的图像目标重定位方法，其特征在于，所述方法包括如下步骤：

步骤1，将源图像分解为卡通部分u和纹理部分v；

步骤2，计算卡通部分u上每个像素的高阶统计量，并据此检测显著性边，得到源图像的能量地图，并根据所述能量地图上显著性目标的位置，将源图像分为I₁、I₂和I₃三块，其中I₁和I₃为背景部分，I₂为显著性区域；

步骤3，将背景部分I₁、I₃和显著性区域I₂按照不同的缩放比例进行缩放，先将背景部分按一定的比例预先缩放，然后用目标图像大小减去缩放后的背景部分大小得到显著性区域应该缩放的大小；最终得到目标图像。

2.根据权利要求1所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在于，所述步骤1是根据所述源图像上的每一像素局部总变差LTV的相对衰减率，确定每一像素属于卡通部分u还是纹理部分v，具体步骤如下：

步骤1.1，定义LTV如下：

LTV_σ(I)(x):＝L_σ*|▽I|(x),；

则其相对衰减率定义如下：

${\mathrm{\λ}}_{\mathrm{\σ}}\left(x\right):=\frac{{\mathrm{LTV}}_{\mathrm{\σ}}\left(I\right)\left(x\right)-{\mathrm{LTV}}_{\mathrm{\σ}}(L_{\mathrm{\σ}}*I)\left(x\right)}{{\mathrm{LTV}}_{\mathrm{\σ}}\left(I\right)\left(x\right)};$

其中，L_σ表示低通滤波,在傅里叶域有其中σ表示标准差，ζ表示频率；I表示源图像，有I＝u+v；|▽I|表示源图像I梯度的模；x表示像素，LTV的相对衰减率λ_σ(x)表示图像的局部震荡，λ_σ(x)介于[0,1]之间,对于像素x来说,λ_σ(x)的值越小,x越可能属于卡通部分；

步骤1.2，卡通部分u(x)和纹理部分v(x)的定义为:

u(x)＝w(λ_σ(x))L_σ*I+(1-w(λ_σ(x)))I

v(x)＝I(x)-u(x)；

其中,w(x):[0,1]→[0,1]是一个非减的分段函数,定义为：

$w\left(x\right)=\left\{\begin{array}{cc}0& x\≤a_1\\ (x-a_1)/(a_2-a_1)& a_1\≤x\≤a_2\\ 1& x\≥a_2\end{array}\right..$

3.根据权利要求2所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在于，步骤1.2中a₁和a₂分别固定设为0.25和0.5。

4.根据权利要求1所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在于，所述步骤2的具体步骤如下：

步骤2.1，计算卡通部分u在每个像素位置x＝(x₁,x₂)的高阶统计量：

$\mathrm{HOS}\left(x\right)=\frac{1}{N}\underset{y\∈B\left(x\right)}{\mathrm{\Σ}}{|u\left(y\right)-\mathrm{\μ}\left(x\right)|}^2;$

其中,B(x)代表x的邻域像素集,u(y)表示B(x)中属于卡通部分u的像素，N为B(x)内包含元素的个数；μ(x)＝(1/N)Σ_y∈B(x)u(y)表示样本集B(x)的均值；

步骤2.2，计算源图像第k列的高阶统计量为：

$\mathrm{HOS}\left(k\right)=\underset{x=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{HOS}(x,k);$

则HOS(k)越大,第k列越显著，m表示源图像第k列的像素个数，HOS(x,k)表示第k列的每个像素x的HOS；

步骤2.3，取前l个高阶统计量最大的列作为显著列,l具体根据源图像内容人为设置；

步骤2.4，根据显著性区域是一个局部连接整体的性质，确定属于显著性区域的显著列：假设前L列已经确定的属于显著性区域的显著列的中心为n₀,则对第L+1个显著列来说,倘若它的位置坐标与n₀的差小于等于w,则认为第L+1个显著列属于显著性区域,w具体根据源图像内容人为设置；其中,n₀初始化设置为最显著列，即HOS最大的列的坐标；

步骤2.5，在确定了属于显著性区域的显著列后,取这些列的最小、最大列坐标分别为m和M，则源图像中的显著性区域I₂为源图像中的[m,M]列，背景部分I₁和I₃分别为图像中列[0,m-1]列和[M+1,W]列，W为源图像的宽度。

5.根据权利要求4所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在于，步骤2.1中设置邻域半径为11。

6.根据权利要求1所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在于，步骤3中，背景部分的缩放比例一般为1/4。

7.根据权利要求1所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在于，为了达到图像缩放的目的,保证I₂的缩放，只缩放背景区域后的图像大小应当大于或等于目标图像的大小，即有：

bW₁+W₂+bW₃≥a(W₁+W₂+W₃)；

其中，W₁、W₂、W₃分别为I₁、I₂、I₃的大小，a为源图像的缩放比例，b为背景部分的缩放比例；

整理后得

$W_2\≥\frac{a-b}{1-a}(W_1+W_3)\⇒W_2\≥\frac{a-b}{1-b}W;$

如果所述显著性区域的大小不满足该条件时,则规定显著性区域为源图像的1/2。