CN101650824B - 基于共形能量的内容敏感图像缩放方法 - Google Patents

Abstract

本发明涉及一种基于共形能量的内容敏感图像缩放方法，该方法包括：S1、接收待缩放图像并对所述图像划分网格；S2、根据划分的网格，提取代表全局和整体特征的控制点集的集合；S3、根据变换前后所述控制点集的相似性约束，建立优化能量方程；S4、以预先设定的图像尺寸作为边界条件，根据所述优化能量方程得到所述控制点的最终位置并差值得到最终图像。利用本发明的方法进行图像缩放时，可以将图像调整到任意尺寸和纵横比，同时保证图像中重要的物体的扭曲尽量小。

Description

基于共形能量的内容敏感图像缩放方法

技术领域

本发明属于视频图像处理技术领域，特别涉及一种基于共形能量的内容敏感图像缩放方法。

背景技术

随着现代显示设备的迅速发展，各种大小屏幕的显示器件已进入了千家万户。智能手机，笔记本电脑，桌面电脑，PDA，大屏幕电视等等，它们的显示屏幕大小各不相同，纵横比也不一样。如何在不同分辨率、不同纵横比的显示设备上显示图片，做到既不浪费屏幕空间，也不让人物比例失真成为一个重要的问题。例如传统普屏电视在宽屏电视上播放时，经常出现画面中人物扭曲变胖。本专利所解决的技术问题就是在显示尺寸变化的情况下，保持图像中的重要物体尽可能和原图相似，使不可避免的扭曲(如纵横比变化引起的)扩散到相对不重要的区域，而使重要性区域的扭曲极小。

国际上关于内容敏感的图像尺寸缩放的相关研究工作主要有：Avidan S.和Shamir A.提出的“Seam carving for content-aware imageresizing”，ACM Trans.Graph.26，3(2007)，10；Fan X.，XIE X.，ZHOUH.-Q.，MA W.-Y.提出的“Looking into video frames on small displays”，In Proceedings of International Conference on Multimedia(2003)，pp.247-250；SIMOAKOV D.，CASPI Y.，SHECHTMAN E.，IRANI M.提出的“Summarizing visual data using bidirectional similarity”，In Proc.CVPR(2008)，pp.1-8；Wang Y.-S.，TAI C.-L.，SORKINE O.，LEE T.-Y.提出的“Optimized scale-and-stretch for image resizing”，ACM Trans.Graph.27，5(2008)，1-8；Zhang Y.F.，HU S.-M.，MARTIN R.R.提出的“Shrinkability maps for content-aware video resizing”，Comput.Graph.Forum 27，7(2008)，1797-1804等方法。

这些方法虽然能够在一定程度上做到内容敏感的图像缩放，但是他们的一个重要的共同缺陷是只能保持重要物体的局部相似性，而不能保证整体相似性。本专利所涉及的方法通过定义图像区域间的相似性共形能量并优化一个简单的优化方程，达到在进行不同尺寸大小、不同纵横比的图像缩放缩放过程中重要性的物体不但尽可能保证局部相似性，而且保证整体相似性。

发明内容

本发明需要解决的技术问题是提供一种高效的内容敏感图像缩放方法，以克服现有技术中在收看宽屏幕图像时由于可视尺寸受到限制，而造成屏幕上下空间被浪费或人物的比例出现失真的缺陷。

本发明的目的就是提供一种高效的内容敏感图像缩放方法，在改变图像尺寸时，尽可能保证重要的物体和原图中对应物体相似，将扭曲扩散到相对不重要的区域。

为实现上述目的，本发明采用的技术方案是一种基于共形能量的内容敏感图像缩放方法，该方法包括：

S1、接收待缩放图像并对所述图像划分网格；

S2、根据划分的网格，提取代表全局和整体特征的控制点集的集合；

S3、根据变换前后所述控制点集的相似性约束，建立优化能量方程；

S4、以预先设定的图像尺寸作为边界条件，根据所述优化能量方程得到所述控制点的最终位置并差值得到最终图像；

所述步骤S2中的控制点包括网格格点和位于网格中的边界线上的点，

所述步骤S2中的控制点集包括：

Q-Handle，由不包含边界线上的点的网格的四个顶点构成；

B-Handle，由同一条边界线上的控制点构成；

K-Handle，由网格的四个顶点和该网格内的一个边界上的点组成的五个控制点构成；

所述优化方程为：

$E={\mathrm{\Σ}}_{P_i\∈P}{\mathrm{\ω}}_{i}E(P_i^{\′},P_i)$

其中，E为总的变形能量，P为含n个点的点集，P＝{p_i}＝{(x_i，y_i)}，P′为变换后这个点集，P′＝{p′_i}＝{(x′_i，y′_i)}，E(P′，P)为点集P及其变换后点集P′的共形能量，E(P′，P)＝|C_Pb_P′|，

$A_P=\left[\begin{array}{cccc}{x}_1& -y_1& 1& 0\\ y_1& x_1& 0& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ x_n& -y_n& 1& 0\\ y_n& x_n& 0& 1\end{array}\right],$ $b_{P^{\′}}={\left[\begin{array}{c}{x}_1^{\′}\\ y_1^{\′}\\ .\\ .\\ .\\ x_n^{\′}\\ y_n^{\′}\end{array}\right]}^T,$

I为单位矩阵，ω_i为权值。

其中，所述B-Handle中的控制点的数目大于或等于3。

其中，所述步骤S2中的每个控制点集分配有一个的权值，其大小根据所述控制点集的重要程度决定。

本发明的有益效果在于，利用本发明的方法进行图像缩放可以将图像调整到任意尺寸和纵横比，同时保证图像中重要的物体的扭曲尽量小。本方法在改变图像大小时，把一些不可避免的误差(例如由纵横比改变引起)更为合理的扩散到相对不重要的区域，同时保证重要的物体在变换过程中，除了像传统方法那样保持局部相似性之外，也能保证整体相似性。该方法在结果质量和运行速度方面都较传统方法有质的提升。

附图说明

图1为本发明的一种基于共形能量的内容敏感图像缩放方法的流程图；

图2为本发明处理一副图片的中间结果的示意图；

图3为采用本发明的方法与传统方法的对图像进行缩放的结果对比图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明的基于共形能量的内容敏感图像缩放方法包括：S1、接收待缩放图像并对所述图像划分网格；S2、根据划分的网格，提取代表全局和整体特征的控制点集的集合；S3、根据变换前后所述控制点集的相似性约束，建立优化能量方程；S4、以预先设定的图像尺寸作为边界条件，根据所述优化能量方程得到所述控制点的最终位置并差值得到最终图像。

下面详细介绍本实施方式所涉及的基于共形能量的内容敏感图像收缩方法。

S1、接收待缩放图像并对所述图像划分网格。

S2、根据划分的网格，提取代表全局和整体特征的控制点集的集合。

步骤S2包含如图2b所示的三种控制点集合：B-Handle，K-Handle和Q-Handle。这三种集合都是部分控制点构成的集合。如图2b中上图所示，控制点包括均匀分布的网格格点和位于网格中的边界线上的点。为了更加高效的处理，一个网格所包含的众多边界线上的点中一般只选取一个点作为控制点。一般取最靠近网格中心的点能有效地避免点集退化(点集中的两个点在相似的位置)。对于不含边界点的网格，其四个顶点组成一个点集，称为Q-Handle。同一条边界线上的控制点构成一个集合，称为B-Handle。B-Handle中的控制点数目不定，但只有大于等于3的才是有效的(保证后文说明的共形能量方程不退化)。由网格四个顶点加上网格中的一个边界点组成的五个控制点的集合称为K-Handle。这三种Handle反映了图像在不同尺度的特征。其中Q-Handle反映了图像的局部特征。这组控制点的变形可以控制图像的局部变形。B-Handle往往覆盖较大的图像区域(图2b中上图显示几种控制点集合的定义方式，真正处理时网格要更密，如该图中下面的子图)，代表图像全局特征。K-Handle用于连接B-Handle和Q-Handle。所有Handle的集合P中的每个Handle P_i附带一个权值ω_i，这个权值反映它们的重要程度，越重要的区域权值越大。一般可以取它们所覆盖区域的重要性图的平均值。输入的重要性图也可参考其它文献由原图得到，如LIU T.，SUN J.，ZHENG N.-N.，TANG X.，SHUM H.-Y.：Learning to detect a salient object.In Computer Vision and PatternRecognition，2007.CVPR’07.IEEE Conference on(2007)，pp.1-8.。图2a是一个示例，其中下图是上图的重要性图。

S3、根据变换前后所述控制点集的相似性约束，建立优化能量方程。

对于每一个控制点集，我们建立一个相似性能量方程(可以证明这种约束的能量方程和几何处理中的共形能量之差一个常数倍，因此我们也称之为共形能量)。不论是含四个控制点的Q-Handle，五个控制点的K-Handle，还是含大于三个控制点的B-Handle，我们都建立相似的相似性能量方程。考虑一般情况下含n个点的点集P＝{p_i}＝{(x_i，y_i)}的共形能量。记变换后这个点集为P′＝{p′_i}＝{(x′_i，y′_i)}，那么这个点集P及其变换后点集P′的共形能量为E(P′，P)＝|C_Pb_P′|。其中I为单位矩阵，A_P和b_P′由式(1.1)定义。

$A_P=\left[\begin{array}{cccc}{x}_1& -y_1& 1& 0\\ y_1& x_1& 0& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ x_n& -y_n& 1& 0\\ y_n& x_n& 0& 1\end{array}\right],$ $b_{P^{\′}}={\left[\begin{array}{c}{x}_1^{\′}\\ y_1^{\′}\\ .\\ .\\ .\\ x_n^{\′}\\ y_n^{\′}\end{array}\right]}^T---\left(1.1\right)$

总的变形能量定义为各个Handle共形能量的加权和，表达式为式(1.2)。

$E={\mathrm{\Σ}}_{P_i\∈P}{\mathrm{\ω}}_{i}E(P_i^{\′},P_i)---\left(1.2\right)$

S4、以预先设定的图像尺寸作为边界条件，根据所述优化能量方程得到所述控制点的最终位置并差值得到最终图像。

步骤S3中定义了变形后控制点位置的能量约束。通过极小化这个关于变形后控制点坐标{v′_i}的二次能量函数E，加上预先设定的边界条件，就可以直接求解出变形后的控制点。这里所说的预先设定的边界条件，由用户想把输入的w×h缩放得到的目标图像大小w′×h′决定，即式(1.3)。图2c给出了图2a中输入对应的基于共形能量的内容敏感图像缩放结果的最终控制点图(图2c左)和由这些控制点差值的结果(图2c右)。

$\left\{\begin{array}{ccc}{v}_{i,j}^{\′}=0& \mathrm{if}& v_{i,y}=0\\ v_{i,y}^{\′}=h^{\′}& \mathrm{if}& v_{i,y}=h\\ v_{i,x}^{\′}=0& \mathrm{if}& v_{i,x}=0\\ v_{i,x}^{\′}=w^{\′}& \mathrm{if}& v_{i,x}=w\end{array}\right.---\left(1.3\right)$

图3给出了利用本发明的方法进行内容敏感的图像缩放的更多结果示例。第一列为原始图像，第二列为采用传统均匀缩放方法得到的结果，最后一列为采用本专利描述的方法得到的结果。可以看出，采用本专利描述方法得到的结果能够更好的保持图像中的重要特征不产生大的扭曲。

以上为本发明的最佳实施方式，依据本发明公开的内容，本领域的普通技术人员能够显而易见地想到一些雷同、替代方案，但这些方案均应落入本发明的保护范围。

Claims (3)

1.一种基于共形能量的内容敏感图像缩放方法，其特征在于，该方法包括：

S1、接收待缩放图像并对所述图像划分网格；

S2、根据划分的网格，提取代表全局和整体特征的控制点集的集合；

S3、根据变换前后所述控制点集的相似性约束，建立优化能量方程；

S4、以预先设定的图像尺寸作为边界条件，根据所述优化能量方程得到所述控制点的最终位置并差值得到最终图像；

所述步骤S2中的控制点包括网格格点和位于网格中的边界线上的点，

所述步骤S2中的控制点集包括：

Q-Handle，由不包含边界线上的点的网格的四个顶点构成；

B-Handle，由同一条边界线上的控制点构成；

K-Handle，由网格的四个顶点和该网格内的一个边界上的点组成的五个控制点构成；

所述优化能量方程为：

$E={\mathrm{\Σ}}_{P_i\∈P}{\mathrm{\ω}}_{i}E(P_i^{\′},P_i)$

其中，E为总的变形能量，P为含n个点的点集，P＝{p_i}＝{(x_i，y_i)}，P′为变换后这个点集，P′＝{p′_i}＝{(x′_i，y′_i)}，E(P′，P)为点集P及其变换后点集P′的共形能量，E(P′，P)＝|C_Pb_P′|，

$A_P=\left[\begin{array}{cccc}{x}_1& -y_1& 1& 0\\ y_1& x_1& 0& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ x_n& -y_n& 1& 0\\ y_n& x_n& 0& 1\end{array}\right],$ $b_{P^{\′}}={\left[\begin{array}{c}{x}_1^{\′}\\ y_1^{\′}\\ .\\ .\\ .\\ x_n^{\′}\\ y_n^{\′}\end{array}\right]}^T,$

I为单位矩阵，ω_i为权值。

2.如权利要求1所述的基于共形能量的内容敏感图像缩放方法，其特征在于，所述B-Handle中的控制点的数目大于或等于3。

3.如权利要求1所述的基于共形能量的内容敏感图像缩放方法，其特征在于，所述步骤S2中的每个控制点集分配有一个的权值，其大小根据所述控制点集的重要程度决定。

Images