CN103902730A - 一种缩略图生成方法和系统 - Google Patents

Abstract

本发明公开了一种缩略图生成方法和系统，通过联合使用裁切、扭曲、缩放三种图像处理策略生成缩略图，发挥了不同策略的优势，并使其互相补充，使图像中的重要区域在缩略图中得到准确、完整、充分的显示，在缩略图的有限空间中实现了重要信息的最大化保留。本发明将以上三种图像处理策略通过一次统一的最优化过程实现，同时具有较少的时间开销。

Description

一种缩略图生成方法和系统

技术领域

本发明涉及到一种图像处理领域，特别涉及到一种生成图像缩略图的方法和系统。

背景技术

近年来，随着多媒体和互联网技术的不断发展，图像、视频等可视化数据呈爆炸式增长。为了快速浏览图像，手机、IPad、电脑等设备先将图像转换成小尺寸的缩略图，然后在屏幕上同时显示多幅图像的缩略图，以方便用户的浏览。

根据调查，当前几乎所有设备所采用的缩略图生成方法都是裁切或者均匀缩放。裁剪就是直接在原始图像中间截取一块目标尺寸区域作为缩略图，而均匀缩放则是将原始图像以固定的比例压缩至缩略图的尺寸。然而，均匀缩放往往导致图像中重要物体在缩略图中严重形变，裁切可能造成某些重要物体被全部或者部分丢弃。总之，这两种方法生成的缩略图难以有效地向用户传达信息，极大降低了用户视觉体验。

近年来，一些国外学者注意到了缩略图的实用意义以及所面临的困难，提出了一些新的方法。在《Proceedings of IEEE International Conference onComputer Vision》2012年发表的《Scale and object aware image retargetingfor thumbnail browsing》中，他们通过联合使用两种图像处理策略----缝雕刻与扭曲，来生成缩略图，该方法首先通过缝雕刻算法剔除图像中的非重要像素，生成一幅目标尺寸的缩略图，然后根据缩略图中各像素与源图像中像素的对应关系，计算出从原始图像到缩略图的最佳映射，再根据该映射将源图像映射成缩略图。该方法可以使缩略图中的大部分空间用于显示重要的物体，同时确保该物体不发生严重的形变。然而，缝雕刻方法容易破坏图像的几何结构，很多时候后续的扭曲策略也无法完全修复，生成的缩略图中重要物体依然会出现明显的形状改变，而且，该方法采用分阶段的方式逐一执行两种图像处理策略，带来了较大的时间开销，不利于实际应用。

发明内容

本发明的目的是为了解决缩略图中重要图像内容形变严重、损失过多、视觉体验较差的问题，而提出一种图像的缩略图生成方法和系统。该方法和系统将不同尺寸、规格和内容的图像处理成预设尺寸的缩略图，并且使该缩略图准确、完整、充分地显示图像中的重要内容，提升用户浏览效率和浏览体验。

根据本发明的一个方面，提出一种图像的缩略图的生成方法，包括：步骤1，获取待生成缩略图的源图片和待生成缩略图的目标尺寸；步骤2，根据重要性分析算法，计算源图片的重要性分布即每个像素的重要性；步骤3，将源图片均匀划分成M×N个网格，其中M是大于等于1的整数，N是大于等于1的整数，以及，根据图像的重要性分布，计算每个网格的重要性；步骤4，根据不同网格的重要性，使用裁剪、缩放、扭曲三种策略对网格进行变形，获得变形后的网格；步骤5，使源图像各网格内的图像内容适应变形后的网格，获得第一缩略图；步骤6，根据重要区域完整性检测策略，判定第一缩略图对重要区域的显示是否符合中重要区域完整性判定条件；步骤7，若第一缩略图符合重要区域完整性条件，则直接将第一缩略图作为第二缩略图；否则，利用裁切修正算法调整裁切策略的作用效果，重新获得第一缩略图；步骤8，根据重要区域充分性检测策略，判定第二缩略图对重要区域的显示是否符合中重要区域充分性判定条件；步骤9，若第二缩略图符合重要区域充分性条件，则直接将第二缩略图作为第三缩略图；否则，利用缩放修正算法调整缩放策略的作用效果，重新获得第二缩略图；步骤10，输出第三缩略图。

根据本发明的另一方面，还提出一种缩略图生成系统，该系统包括：图片获取单元，用于获取待生成缩略图的源图片和待生成缩略图的目标尺寸；重要性分析单元，用于根据重要性分析算法，计算源图片的重要性分布即每个像素的重要性；网格重要性确定单元，用于将源图片均匀划分成M×N个网格，其中M是大于等于1的整数，N是大于等于1的整数，以及，根据图像的重要性分布，计算每个网格的重要性；网格变形单元，根据不同网格的重要性，使用裁剪、缩放、扭曲三种策略对网格进行变形，获得变形后的网格；第一缩略图获取单元，使源图像各网格内的图像内容适应变形后的网格，获得第一缩略图；第一判定单元，根据重要区域完整性检测策略，判定第一缩略图对重要区域的显示是否符合中重要区域完整性判定条件；第二缩略图获取单元，若第一缩略图符合重要区域完整性条件，则直接将第一缩略图作为第二缩略图；否则，利用裁切修正算法调整裁切策略的作用效果，重新获得第一缩略图；第二判定单元，根据重要区域充分性检测策略，判定第二缩略图对重要区域的显示是否符合中重要区域充分性判定条件；第三缩略图获取单元，若第二缩略图符合重要区域充分性条件，则直接将第二缩略图作为第三缩略图；否则，利用缩放修正算法调整缩放策略的作用效果，重新获得第二缩略图；输出单元，输出第三缩略图。

本发明的缩略图生成系统和方法联合使用三种图像处理策略生成目标尺寸的缩略图，将三种策略融合在一个统一的最优化框架下实现，根据所生成缩略图对重要区域显示的完整程度来调整裁切策略的作用效果，根据所生成缩略图对重要区域显示的充分程度来调整缩放策略的作用效果。

本发明引入的裁切策略，将使图像中的重要区域被保存在缩略图中，而相对不重要的图像外围区域则被舍弃，这么做将节省缩略图本已十分有限的空间，使缩略图有限的空间尽可能用于集中展示图像的重要信息。

本发明所引入的扭曲策略，将使图像的重要区域在缩略图中保持原有的形状和几何结构，并同时扭曲处于各重要区域之间的不重要区域，使重要目标的空间排列发生改变，使其排列得更加紧密，有利于缩略图完整地概括所有重要目标。

本发明所引入的缩放策略，将使重要区域在缩略图中保持一个合适的尺度，避免重要目标发生过度的缩小，影响用户的浏览和辨认，有利于缩略图有效地向用户传达信息。

本发明通过联合使用裁切、扭曲、缩放三种图像处理策略处理图像，发挥了不同策略的优势，并使其互相补充，使图像中的重要区域在缩略图中得到准确、完整、充分的显示，在缩略图的有限空间中实现了重要信息的最大化保留。

本发明将三种图像处理策略融合成一个统一的凸规划问题，通过一次数值优化即可求解，相较于采用分阶段的方式逐步执行各策略，这种统一的融合有效降低了算法的复杂度。

本发明定义的缩略图完整性判定条件和充分性判定条件可以评价当前缩略图对重要区域显示的完整程度和充分程度。

本发明所引入的缩略图完整性修正算法，对重要区域显示不完整的缩略图，相应地调整裁切策略的作用效果，使再次生成的缩略图包含更多重要区域，有效改进缩略图中重要区域的完整性。

本发明所引入的缩略图充分性修正算法，对重要区域显示不充分的缩略图，相应地调整缩放策略的作用效果，使再次生成的缩略图中重要区域占据更多空间，有效改进缩略图中重要区域的充分性。

附图说明

图1所示为本发明中的缩略图生成方法示意图；

图2所示为本发明中的缩略图生成系统示意图；

图3所示为缩略图生成系统中重要区域分析模块示意图；

图4所示为缩略图生成系统中最优化模块示意图；

图5所示为缩略图生成系统中完整性修正模块示意图；

图6所示为缩略图生成系统中充分性修正模块示意图；

图7所示为本发明重要性分析算法实施例示意图；

图8所示为本发明采用三种策略处理图像生成缩略图实施例示意图；

图9所示为本发明完整性、充分性修正算法修正缩略图实施例示意图；

图10所示为本发明与已有算法处理实施例对比示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的主要思想是同时使用三种图像处理策略来生成缩略图，使得重要的图像内容得以在缩略图中准确、完整、充分的显示，使缩略图最大化地保留原始图像的重要信息，提高用户的浏览效率和浏览体验，同时降低算法复杂度。

下面首先对本发明涉及到的术语进行解释：

裁切：位于裁切窗口内的图像内容被保留，而裁剪窗口外的区域则被丢弃。本发明中的裁切策略将优先保留图像的重要区域，而将不重要区域裁切掉。

扭曲：改变图像或者图像某个区域的形状，这种形状改变不包括等比例的放大或缩小，比如正方形区域被放大成一个边长更长的正方形并不视为形状改变，而正方形被拉伸成长方形则视为形状改变。本发明中的扭曲策略是使重要区域保持原有的形状，而改变不重要区域的形状。

缩放：将图像或者图像的某个区域放大成原图或者原区域的N倍，或者缩小成原图或者原区域的1/N倍，其中N大于1。本方法中的缩放策略是将重要区域缩放到一个相对较大的尺寸，而缩小不重要区域的尺寸。

变形：该处含义不仅仅指改变图像的形状，而是对图像内容广义的改变，包括改变图像某区域的形状和位置。本发明中通过裁切、扭曲、缩放三种策略处理过的图像被视为发生变形。

图1示出了本发明中缩略图生成方法的实施例的步骤流程图。如图1所示，本发明的缩略图生成方法包括以下步骤：

步骤101，获取待生成缩略图的源图像和该缩略图的尺寸；该处的源图像可以是任意尺寸和规格的图像数据，包括网络图片、数码相机照片到视频中捕捉到的一帧。该处待生成缩略图的目标尺寸可以是所述缩略图的宽W_T和高H_T。

步骤102，根据重要性分析算法，计算目标图像的重要性分布，并且进一步划分出重要区域和非重要区域；计算图像重要分布包括以下步骤：

先根据显著性图计算算法，计算图像的显著性图，其中显著性图计算算法可以参考《IEEE Transactions on Pattern Analisis and MachineIntelligence》1998年的《A model of saliency-based visual attentionfor rapid scene analysis》中的方法。

然后根据人脸检测算法，检测目标图像的人脸所在区域；根据人脸检测结果生成人脸区域图。具体地，在人脸区域图中，将人脸所在区域的像素赋予较高的灰度值（如255），将其他区域的像素赋予较低的灰度值，其中人脸检测算法可以参考文献《International Journal on ComputerVision》2004年《Robust real-time face detection》中的方法。

对于目标图像每个像素，在显著性图和人脸区域图中找到相应位置的像素的灰度值，并取两个灰度值中较大的一个作为该像素的重要性值，获得重要性分布图：

I(i,j)=max(I_s(i,j),I_f(i,j))

I(i,j)是原始图像中像素(i,j)的重要性图值，I_s(i,j)和I_f(i,j)分别是像素(i,j)的显著性图值和人脸区域图值。

如图7所示为该重要性分析算法示意图。

步骤103，将目标图像均匀划分成M×N个网格；其中M是网格的行数大于等于1的整数，N是网格的列数大于等于1整数，以及，统计每个网格中所有像素的重要性分布，并相应地计算出各网格的重要性值；

步骤104，根据预置规则及各网格的重要性，使用裁切、缩放、扭曲三种策略对网格进行变形。这种处理是通过最小化目标函数实现的。首先，构建以网格顶点坐标为变量的缩略图目标函数，该函数为与裁切、扭曲、缩放三种策略相对应的裁切能量函数、扭曲能量函数和缩放能量函数的线性加权和；然后，根据求解算法，求解出使得总能量函数值最小的网格顶点新坐标。

具体地，为本实施例构建以网格顶点坐标为变量的优化模型，说明步骤104。

第一步，定义裁切窗口，裁切窗口的左上顶点与右下顶点坐标分别为（0，0）、（W_T,H_T），初始化原始网格顶点坐标，这里W_T,H_T是待生成缩略图的宽和高，该实施例中设为120、120。

第二步，分别构建对应扭曲、裁切、缩放策略的扭曲能量函数、裁切能量函数和缩放能量函数D_W、D_C和D_s。下面将具体给出D_W、D_C和D_s的计算方法。

所有网格总的形状改变D_W的计算公式为：

$D_W=\underset{i,j}{\overset{M,N}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}\·d_W\left(q_{\mathrm{ij}}\right)$

I_ij为每个网格的重要性，d_W(·)为网格的形状改变程度，q_ij为第i列第j行的网格。本实施例中网格变形程度d_W(q_ij)的计算公式为

$d_W\left(q_{\mathrm{ij}}\right)=\underset{l}{\overset{4}{\mathrm{\Σ}}}{\left|\right|s_{\mathrm{ij}}\left(v_{\mathrm{ij}}^l\right)-{\tilde{v}}_{\mathrm{ij}}^l\left|\right|}_2^2$

和

分别为变形前和变形后网格q的第l个顶点坐标，s_q(·)为相似性变换，即对网格按照s_q(·)进行变换，变换后的网格与原始网格形状视为相同。本实施例中对网格的顶点v按照s_q(·)进行变换的计算公式为 $s_q\left(v\right)=\left[\begin{array}{cc}c& 0\\ 0& c\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right],$ c为正数，t_x、t_y为实数，x、y分别为顶点v的横坐标和纵坐标。

为提高计算效率，根据《Computer Graphics Forum》2009年中《Ashape-preserving approach to image resizing》的方法，本实施例中利用最小二乘法将 $D_W=\underset{i,j}{\overset{M,N}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}\·d_W\left(q_{\mathrm{ij}}\right)=\underset{i,j}{\overset{M,N}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}\·\underset{l}{\overset{4}{\mathrm{\Σ}}}{\left|\right|s_{\mathrm{ij}}\left(v_{\mathrm{ij}}^l\right)-{\tilde{v}}_{\mathrm{ij}}^l\left|\right|}_2^2$ 转化成另一种计算形式：

$D_W=\underset{i,j}{\overset{M,N}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}\·{\left|\right|(A_{\mathrm{ij}}{\left(A_{\mathrm{ij}}^T{A}_{\mathrm{ij}}\right)}^{-1}{A}_{\mathrm{ij}}^T-I){\tilde{b}}_{\mathrm{ij}}\left|\right|}_2^2$

其中，

$A_{\mathrm{ij}}=\left[\begin{array}{cccc}{x}_{\mathrm{ij}}^1& & 1& 0\\ y_{\mathrm{ij}}^1& & 0& 1\\ .& & .& .\\ .& & .& .\\ .& & .& .\\ x_{\mathrm{ij}}^4& & 1& 0\\ y_{\mathrm{ij}}^4& & 0& 1\end{array}\right],{\tilde{b}}_{\mathrm{ij}}=\left[\begin{array}{c}{\tilde{x}}_{\mathrm{ij}}^1\\ {\tilde{y}}_{\mathrm{ij}}^1\\ .\\ .\\ .\\ {\tilde{x}}_{\mathrm{ij}}^4\\ {\tilde{y}}_{\mathrm{ij}}^4\end{array}\right]$

和

分别是网格q_ij变形前和变形后第l顶点的纵坐标，

和

分别是网格q_ij变形前和变形后第l顶点的横坐标。

最小化D_W将保留重要性高的网格的形状而扭曲重要性低的网格，在缩略图中，这意味着该项能量函数可以在保存重要目标形状的同时，扭曲各目标之间的不重要区域，使各重要目标排列得更加紧密。

裁切能量函数D_C具体计算公式如下：

$D_C=\underset{i,j}{\overset{M,N}{\mathrm{\Σ}}}(D_c^x\left(q_{\mathrm{ij}}\right)+D_c^y\left(q_{\mathrm{ij}}\right))\·I_{\mathrm{ij}}$

其中，

$D_c^x(i,j)=\left\{\begin{array}{cc}(-1)\·({\tilde{x}}_{\mathrm{ij}}^q\·(W_T-{\tilde{x}}_{\mathrm{ij}}^q))& {\tilde{x}}_{\mathrm{ij}}^q\∉[0,W_T]\\ (-\mathrm{\δ})\·{({\tilde{x}}_{\mathrm{ij}}^q\·(W_T-{\tilde{x}}_{\mathrm{ij}}^q)}^{\frac{1}{\mathrm{\δ}}}+\mathrm{\δ}-1& {\tilde{x}}_{\mathrm{ij}}^q\∈[0,W_T]\end{array}\right.$

$D_c^y(i,j)=\left\{\begin{array}{cc}(-1)\·({\tilde{y}}_{\mathrm{ij}}^q\·(H_T-{\tilde{y}}_{\mathrm{ij}}^q))& {\tilde{y}}_{\mathrm{ij}}^q\∉[0,H_T]\\ (-\mathrm{\δ})\·{({\tilde{y}}_{\mathrm{ij}}^q\·(H_T-{\tilde{y}}_{\mathrm{ij}}^q)}^{\frac{1}{\mathrm{\δ}}}+\mathrm{\δ}-1& {\tilde{y}}_{\mathrm{ij}}^q\∈[0,H_T]\end{array}\right.,$

分别代表变形后网格的质心坐标，δ是一个大于1的正数，该实施例中设为9，W_T和H_T为待生成缩略图的目标尺寸。

最小化D_C裁切能量函数D_C,将使重要性高的网格被放置在裁切窗口之内，而把重要性低的网格放在窗口外;

缩放能量函数D_S的计算公式为：

$D_S=\underset{i,j}{\overset{M,N}{\mathrm{\Σ}}}{[l_d\·(c_{\mathrm{ij}}-1)]}^2\·I_{\mathrm{ij}}$

其中l_d是原始网格的对角线长度,c_ij是相似性变换中的一个正参数，其计算公式为：

${[c,t_x,t_y]}_{\mathrm{ij}}^T={\left(A_{\mathrm{ij}}^T{A}_{\mathrm{ij}}\right)}^{-1}{A}_{\mathrm{ij}}^T{\tilde{b}}_{\mathrm{ij}}$

c_ij对应当前网格被缩放的程度，其值大于1说明网格被放大，值小于1说明网格被缩小，等于1说明网格保持原始大小。t_x,t_y分别对应当前网格的水平方向偏移量和垂直方向偏移量。

最小化D_S将使重要性高的网格保持与原始网格相同的大小，而使重要性低的网格收缩，这将使缩略图中的大部分显示空间用来显示重要区域。

第二步：构建优化模型的目标函数，即计算三种能量函数的线性加权和：

D=D_W+λD_C+μD_S

λ和μ分别为D_C和D_S的权重，该实施例中初步设置为0.025和6。D_W为所有网格变形程度的加权和，D_C为所有网格裁剪能量的加权和，D_S为所有网格尺度变化的加权和，

第三步：使用一个基于共轭梯度法的数值优化器求解该目标函数。该目标函数被构造为凸函数，可以通过数值优化器迭代求解局部最优解来得到全局最优解，同时该函数主要由二次函数构成，共轭梯度法可以以很高的效率求得目标函数的最优解、即新的网格顶点坐标。

步骤105，根据新的各网格顶点坐标，将原始网格中的图像内容渲染到新的网格中去，以及，将裁切窗口之外的图像内容丢弃，将裁切窗口之内的图像内容作为当前生成的第一缩略图。

如图所示为本实施例中目标函数通过逐步纳入三种能量函数进行优化，获得的变形后网格及生成的缩略图，从图中可以更加直观地理解三种策略的作用效果。

步骤106，根据重要区域完整性判定条件，判断第一缩略图中重要区域保留得是否完整；若重要区域保留完整，则转入步骤108；否则，转入步骤107，修正缩略图对重要区域显示的完整性。

重要区域完整性判定条件为：计算被保留在缩略图中的所有网格的重要性之和与原始图片中所有网格的重要性之和的比例，并与预设阈值比较，其中，预设阈值的取值大于0.2。

$\frac{{\mathrm{\Σ}}_{{\tilde{q}}_{\mathrm{ij}}\∈{\tilde{Q}}_{\mathrm{within}}}{I}_{\mathrm{ij}}}{{\mathrm{\Σ}}_{q_{\mathrm{ij}}\∈Q}}\≥{\mathrm{TH}}_{\mathrm{cplt}}$

其中，是变形后处于裁切窗口之内的网格的集合，Q是所有网格的集合，TH_cplt为预设阈值，本实施案例中设为0.6，即当缩略图中保存的重要区域超过全部重要区域60%时，认为当前缩略图对重要目标的保存已足够完整。

步骤107，对不满足重要区域完整性判定条件的缩略图，利用完整性修正算法加以修正。

具体而言，当第一缩略图不符合重要区域完整性条件时，说明当前的裁切操作裁掉了过多的重要信息。因此，需要调整裁切策略使得重要物体得到完整呈现。完整性修正算法通过修正优化模型目标函数中裁切能量函数的权重来实现对裁切策略的调整。

通过本实施例进一步说明：

第一步：修改优化模型的目标函数:

D′=(D+λ_incD_C)

其中,λ_inc是裁切能量函数权重的修正量,λ_inc的值根据D的最优解x^*的情况以两种方式确定:

若该最优解在可行解空间内，则

其中

L_step是常数的距离步长，在该实施例中设为100。

若该最优解在可行解空间的边界上，则通过解以下二次函数得到λ_inc：

$\frac{{(\▿D{{|}_{x^{*}}}^2+{\mathrm{\λ}}_{\mathrm{inc}}{\▿D}_C{|}_{x^{*}}\·\▿D{|}_{x^{*}})}^2}{{\▿D|}_{x^{*}}+{\mathrm{\λ}}_{\mathrm{inc}}{\▿D}_C{{|}_{x^{*}}}^2\·\▿D{{|}_{x^{*}}}^2}={\cos }^2{A}_{\mathrm{step}}$

A_step是常数的角度步长，在该实施例中设为20度。

第二步：以D的最优解x^*为初始点，重新进行最优化，求解出最小化D′的最优解，从而得到新的网格顶点坐标。根据新的网格坐标和裁切窗口重新生成第一缩略图。

第三步:检测该缩略图是否满足重要物体完整性条件，若满足，则停止运算，将该缩略图作为第二缩略图，若不满足，则将D′作为D，返回第一步

步骤108，根据重要区域显示充分性判定条件，判断第二缩略图中重要区域显示得是否充分；若重要区域占据了缩略图的大部分面积，已经得到充分显示，则转入步骤110；否则，转入步骤109，修正缩略图对重要区域显示的充分性。

重要区域显示充分性判定条件为：计算被保留在缩略图中的所有网格的面积的重要性加权和与缩略图显示面积的比例，并与预设阈值比较，其中，预设阈值的取值大于0.2。

$\frac{{\mathrm{\Σ}}_{{\tilde{q}}_{\mathrm{ij}}\∈{\tilde{Q}}_{\mathrm{within}}}S\left({\tilde{q}}_{\mathrm{ij}}\right)\·I_{\mathrm{ij}}}{W_T\×H_T}\≥{\mathrm{TH}}_{\mathrm{sfct}}$

其中

计算了变形后的网格

的面积，TH_sfct为预设阈值，本实施案例中设为0.5，即当缩略图中重要区域占据的面积超过缩略图面积50%时，认为当前缩略图对重要目标的显示已足够充分。

步骤109，对不满足重要区域充分性判定条件的缩略图，利用充分性修正算法加以修正。

具体而言，当第二缩略图不符合重要区域显示充分性条件时，说明当前的缩放操作过度地缩小了重要区域。因此，需要调整缩放策略使得重要物体得到充分呈现。缩放效果修正算法通过修正优化模型目标函数中缩放能量函数的权重来实现对缩放策略的调整。

通过本实施例进一步说明，该缩放策略修正算法首先修改优化模型的目标函数:

D′=(D+μ_incD_S)

其中,μ_inc是缩放能量函数权重的修正量,μ_inc的计算及生成改进效果的缩略图按照与步骤109相同的方式实现。

如图9所示，本发明所使用的效果修正算法可以在每次修正中有效地调整缩略图中裁切和缩放策略的效果，并在有限步内停止，得到重要目标保存完整，展示充分的输出缩略图。

步骤110，接受满足重要区域完整性、充分性判定条件的缩略图作为输出。

如图10所示，为本方法所产生的缩略图样例，及其分别于等比例缩放、《Computer Graphics Forum》2009年中的《A shape-preservingapproach to image resizing》、《ACM Transactions on Graphics》2008年的《Improved seam carving for video retargeting》与《Proceedingsof IEEE International Conference on Computer Vision》2012年发表的《Scale and object aware image retargeting for thumbnail browsing》中方法的处理结果对比，从图中可以直观的了解到图像的重要区域得到了准确、完整、充分的展示。在图10中，a为等比例缩放算法，b为《ComputerGraphics Forum》2009年中的《A shape-preserving approach to imageresizing》的方法，c为《ACM Transactions on Graphics》2008年的《Improved seam carving for video retargeting》的方法，d为《Proceedings of IEEE International Conference on Computer Vision》2012年发表的《Scale and object aware image retargeting forthumbnail browsing》，e为本发明方案。

以上实施例通过一系列的措施实现了对图像缩略图的生成，实现了该缩略图生成方法与装置，与常规方法相比，可以使图像中的重要区域在缩略图中得到准确、完整、充分的显示，在缩略图的有限空间中实现了重要信息的最大化保留。同时具有较低得时间开销，有广泛的应用前景。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种缩略图的生成方法，其特征在于，包括：

步骤1，获取待生成缩略图的源图片和待生成缩略图的目标尺寸；

步骤2，根据重要性分析算法，计算源图片的重要性分布即每个像素的重要性；

步骤3，将源图片均匀划分成M×N个网格，其中M是大于等于1的整数，N是大于等于1的整数，以及，根据图像的重要性分布，计算每个网格的重要性；

步骤4，根据不同网格的重要性，使用裁剪、缩放、扭曲三种策略对网格进行变形，获得变形后的网格；

步骤5，使源图像各网格内的图像内容适应变形后的网格，获得第一缩略图；

步骤6，根据重要区域完整性检测策略，判定第一缩略图对重要区域的显示是否符合中重要区域完整性判定条件；

步骤7，若第一缩略图符合重要区域完整性条件，则直接将第一缩略图作为第二缩略图；否则，利用裁切修正算法调整裁切策略的作用效果，重新获得第一缩略图；

步骤8，根据重要区域充分性检测策略，判定第二缩略图对重要区域的显示是否符合中重要区域充分性判定条件；

步骤9，若第二缩略图符合重要区域充分性条件，则直接将第二缩略图作为第三缩略图；否则，利用缩放修正算法调整缩放策略的作用效果，重新获得第二缩略图；

步骤10，输出第三缩略图。

2.根据权利要求1所述的生成方法，所述重要性分析算法，计算源图片的重要性分布，进一步包括：

步骤201，根据显著性图计算算法，计算源图片的显著性图；

步骤202，根据人脸检测算法，检测源图片的人脸区域，然后根据人脸检测结果生成人脸区域图；

步骤3，同时根据人脸区域图和显著性图，生成源图片的重要性分布；

其中，根据人脸检测结果生成人脸区域图的方式为：将人脸所在区域的像素赋予较高的灰度值,该灰度值的取值范围为150～255，将其他区域的像素赋予较低的灰度值，该灰度值的取值范围为1～100。

3.根据权利要求1所述的生成方法，步骤4进一步包括：使用扭曲策略保持重要区域的形状，而扭曲重要区域之间的不重要区域，使用裁切策略和缩放策略使变形后的网格同时满足裁切要求、扭曲要求、缩放要求。

4.根据权利要求3所述的生成方法，其特征在于：

所述裁切要求为：网格的重要性越高，变形后的网格的位置与裁切窗口中心的距离越近；

其中，单个网格与裁切窗口中心距离的计算方式为：变形后网格的质心距离裁切窗口中心的距离的平方和，包括：根据网格的四个顶点，计算当前变形后网格的质心坐标;根据变形后网格的质心坐标，计算质心与裁切窗口中心的距离；计算所述距离的平方。

5.根据权利要求3所述的生成方法，其特征在于：

缩放要求为：网格的重要性越高，变形后的网格与原始网格相比尺度差异越小。

其中，单个网格与原始网格尺度差异的计算方式为：变形后网格的平均对角线长度与原始网格对角线长度之差的平方和，包括：根据网格的四个顶点，计算当前变形后网格的尺度参数，该参数取值为正值，在0到1的范围内，说明该网格变形后发生了尺度缩小；大于1，说明该网格变形后发生尺度扩大；等于1说明该网格尺度未发生变化;根据变形后网格的尺度参数，计算变形后网格的平均对角线长度与原始网格对角线长度之差；计算所述长度差的平方。

6.根据权利要求1所述的生成方法，其特征在于，步骤5进一步包括：

根据变形后网格的四个顶点坐标与原始网格的四个顶点坐标，计算从原始网格到变形后网格的最佳平面投影关系，即一个二维的线性映射;

根据最佳平面投影关系，将原始网格内的各像素投影到变形后的网格中，使原始图像内容适应新的网格；

根据图像变形后像素的位置和裁切窗口的位置，丢弃处于裁切窗口之外的像素，保留裁切窗口之内像素作为第一缩略图。

7.根据权利要求1所述的生成方法，其特征在于，重要物体完整性判定条件为：缩略图中所有像素的重要性之和与源图片中所有像素的重要性之和的比例大于预设阈值，其中，预设阈值的取值大于0.2。

8.如权利要求1所述的方法，其特征在于，步骤7中利用裁切修正算法调整裁切策略的作用效果，重新获得第一缩略图的步骤进一步包括：对不满足重要物体完整性判定条件的缩略图，调整裁切策略的作用效果，即调整裁切要求，使重要网格距离裁切窗口中心的距离更近，减少变形后处于裁切窗口之外的像素数量。

9.根据权利要求1所述的生成方法，其特征在于，重要物体充分性判定条件为：缩略图中重要像素所占的面积与缩略图面积比例大于预设阈值，其中，预设阈值的取值大于0.2。

10.如权利要求1所述的方法，其特征在于，利用缩放修正算法调整缩放策略的作用效果，重新获得第二缩略图的步骤包括：对不满足重要物体充分性判定条件的缩略图，调整缩放策略的作用效果，即调整缩放要求，使重要网格的尺度与原始网格的尺度差异更小，增大变形后重要区域占据的面积。

11.一种缩略图生成系统，其特征在于，包括：图片获取单元，用于获取待生成缩略图的源图片和待生成缩略图的目标尺寸；

重要性分析单元，用于根据重要性分析算法，计算源图片的重要性分布即每个像素的重要性；

网格重要性确定单元，用于将源图片均匀划分成M×N个网格，其中M是大于等于1的整数，N是大于等于1的整数，以及，根据图像的重要性分布，计算每个网格的重要性；

网格变形单元，根据不同网格的重要性，使用裁剪、缩放、扭曲三种策略对网格进行变形，获得变形后的网格；

第一缩略图获取单元，使源图像各网格内的图像内容适应变形后的网格，获得第一缩略图；

第一判定单元，根据重要区域完整性检测策略，判定第一缩略图对重要区域的显示是否符合中重要区域完整性判定条件；

第二缩略图获取单元，若第一缩略图符合重要区域完整性条件，则直接将第一缩略图作为第二缩略图；否则，利用裁切修正算法调整裁切策略的作用效果，重新获得第一缩略图；

第二判定单元，根据重要区域充分性检测策略，判定第二缩略图对重要区域的显示是否符合中重要区域充分性判定条件；

第三缩略图获取单元，若第二缩略图符合重要区域充分性条件，则直接将第二缩略图作为第三缩略图；否则，利用缩放修正算法调整缩放策略的作用效果，重新获得第二缩略图；

输出单元，输出第三缩略图。

Images