CN103824259B - 一种基于视觉区域比重平衡法则的图像构图美化方法和系统 - Google Patents

Abstract

本发明公开了一种基于视觉区域比重平衡法则的图像构图美化方法，包括以下步骤：（1）输入图像；（2）检测图像的区域分割线，将图像分为两个区域；（3）根据区域分割线，运用视觉区域比重平衡法则，得出图像的待优化区域及优化策略；（4）计算待优化区域的纹理复杂度；（5）根据优化策略对待优化区域进行优化：当图像的纹理复杂度小于设定的纹理复杂度阈值时，则使用快速插缝法对待优化区域进行拉伸或缩小；否则，使用基于样例的高效图像修复算法对待优化区域进行拉伸；（6）输出优化的图像。本发明还公开了一种基于视觉区域比重平衡法则的图像构图美化系统。本发明实现了对图像构图的自动美化，使图像具备更好的美学视觉效果。

Description

一种基于视觉区域比重平衡法则的图像构图美化方法和系统

技术领域

本发明涉及图像智能处理领域，特别涉及一种基于视觉区域比重平衡法则的图像构图美化方法和系统。

背景技术

图像是人们记录生活、沟通交流的一个重要载体。随着计算机技术的飞速发展，网络上共享的图像信息越来越多，图像美学的研究也越来越得到重视。视觉美感好的图像作品，能更好地展现人、物、景等，能更到位地传达作者的想法、心态，也更能引起观赏者的共鸣。构图是图像内所有图形元素的组织，涉及人、物、景的关系、位置和布局。主体对象的大小和位置，背景区域的范围，不同类型背景区域的分布和比例，都属于构图的范畴。构图对人的图像美感感知起重要作用。好的构图讲究视觉上内容间的均衡和对比，符合人们的审美习惯，有更强的艺术感染力。

利用现有的Photoshop等软件，可以实现对图像的裁剪、添加、对象移动等各种处理，优化图像的布局。但这需要图像处理的专业人员分析思考后手动处理，花费较多的时间，且对于更广大的业余人员来说难以操作。所以，人们迫切希望能够利用更智能化的工具自动对图像进行修改、美化，以获得视觉效果更美的布局。目前，在计算机视觉与图像分析处理领域内，图像构图美学研究在国外刚刚兴起，主要涉及提取图像美学特征，对图像构图优劣进行自动评估及自动美化。国内目前只见到浙江大学陈仁杰等的相关研究，他们主要通过对原始图像进行适当裁剪或扩大，改进图像的构图，但没有关注图像整体上各空间区域的构图优化。而大部分的图像，特别是摄影照片，都有明显的空间区域划分，区域划分决定了图像的整体构图，是图像美学构图中的重要元素。因此，对图像进行空间区域优化，是图像构图美化的一个重要方面。

图像的构图反映了图像中人、物、景等全部内容的布局，对图像美感的影响至关重要。人们对图像的认知与视觉理解，与人的心理、视觉经验等都有着非常密切的关系，视觉平衡的图像会给人们带来更好的视觉效果，更易引起人们的共鸣。视觉美感效果好的图像作品，需要构图的和谐、平衡设计。

大部分图像，特别是摄影照片，所表现的空间都不是单一的，有明显的区域划分，例如天空和地面、窗户内和窗户外、马路和花丛等等。区域分割线指的就是这些不同空间的分界线。区域分割线决定了图像的整体布局，是美学构图中的重要元素。从整体构图的角度来说，图像可分为水平构图、垂直构图、斜线构图、曲线构图等等。

视觉区域比重平衡法则，是一种适用于水平构图和垂直构图的法则。它描述的是视觉美感好的图像的空间区域分布比重应遵循的规律，反映了不同空间的区域在图像中应该占有的版面大小。它是著名的构图法则——黄金分割法则的一个具体运用。以水平构图的图像为例（垂直构图的图像可由此推知），设水平构图的图像中，两个区域的高度分别为Y_g、Y_k，按照视觉区域比重平衡法则，Y_g、Y_k应满足黄金分割比，即：

$\frac{Y_g}{Y_k}=\frac{Y_k}{Y_k+Y_g}.$

发明内容

为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于视觉区域比重平衡法则的图像构图美化方法，实现对图像构图的自动美化，使图像具备更好的美学视觉效果。

本发明的另一目的在于提供一种基于视觉区域比重平衡法则的图像构图美化系统。

本发明的目的通过以下技术方案实现：

一种基于视觉区域比重平衡法则的图像构图美化方法，包括以下步骤：

（1）输入图像；

（2）检测图像的区域分割线，将图像分为两个区域，分别为区域A和区域B；

（3）根据区域分割线，运用视觉区域比重平衡法则，得出图像的待优化区域及优化策略；

（4）计算待优化区域的纹理复杂度；

（5）根据优化策略对待优化区域进行优化：当图像的纹理复杂度小于设定的纹理复杂度阈值时，则使用插缝法对待优化区域进行拉伸或缩小，使优化后的图像满足视觉区域比重平衡法则；否则，使用基于样例的图像修复算法对待优化区域进行拉伸或缩小，使优化后的图像满足视觉区域比重平衡法则；

（6）输出优化的图像。

步骤（3）所述根据区域分割线，运用视觉区域比重平衡法则，得出图像的待优化区域及优化策略，具体为：

当图像为水平构图的图像时：

设区域A的高度为H_k，区域B的高度为H_g，图像的高度为H；

若H_k>H_g：当H-H_k<0.618H_k时，则区域B为待优化区域，优化策略为：对区域B的高度进行拉伸，拉伸高度为L_g=1.618H_k-H，区域B的宽度不变；当H-H_k>0.618H_k时，则区域A为待优化区域，优化策略为：对区域A的高度进行拉伸，拉伸高度为L_k=(H-1.618H_k)/0.618，区域A的宽度不变；

若H_g>H_k：当H_k<0.618H_g时，则区域A为待优化区域，优化策略为：对区域A的高度进行拉伸，拉伸高度为L_k=0.618H-1.618H_k，区域A的宽度不变；当H_k>0.618H_g时，则区域B为待优化区域，优化策略为：对区域B的高度进行拉伸，拉伸高度为L_g=H_k/0.618+H_k-H，区域B的宽度不变；

当图像为垂直构图的图像时：

设区域A的宽度为W_k，区域B的宽度为W_g，图像的宽度为W；

若W_k>W_g：当W-W_k<0.618W_k时，则区域B为待优化区域，优化策略为：对区域B的宽度进行拉伸，拉伸宽度为L_g=1.618W_k-W，区域B的高度不变；当W-W_k>0.618W_k时，则区域A为待优化区域，优化策略为：对区域A的宽度进行拉伸，拉伸宽度为L_k=(W-1.618W_k)/0.618，区域A的高度不变；

若W_g>W_k：当W_k<0.618W_g时，则区域A为待优化区域，优化策略为：对区域A的宽度进行拉伸，拉伸宽度为L_k=0.618W-1.618W_k，区域A的高度不变；当W_k>0.618W_g时，则区域B为待优化区域，优化策略为：对区域B的宽度进行拉伸，拉伸宽度为L_g=W_k/0.618+W_k-W，区域B的高度不变。

步骤（2）所述检测图像的区域分割线，具体包括以下步骤：

（2-1）对图像进行二值化，得到二值图像；

（2-2）利用霍夫变换检测出二值图像中的所有直线；霍夫变换将直角坐标空间中的任意一条直线映射为极坐标参数空间中的某个点P（ρ，θ），其中ρ为极径，θ为极角；

（2-3）合并相似直线：对于直角坐标空间中的任意两条直线，若两条直线对应的极径之差Δρ小于设定的阈值Δρ_th，且两条直线对应的极角之差Δθ小于设定的阈值Δθ_th，则认为两条直线相似；将相似的两条直线合并成一条直线；

（2-4）计算经步骤（2-3）处理后的二值图像中的所有直线的区分度：

Diff=densityRatio×W_density+length×W_length

式中，Diff表示直线的区分度；densityRatio表示直线的密度比，length表示直线长度，W_density和W_length分别是densityRatio和length的权重值；

（2-5）将经步骤（2-3）处理后的二值图像中的所有直线区分度按从高到低排序，选出区分度最高的直线，并判断直线的角度，若与水平线或垂直线的夹角小于10度，则此直线为区域分割线；若大于10度，则舍弃该直线后重复步骤（2-5），直到得到区域分割线为止。

步骤（4）所述计算待优化区域的纹理复杂度，具体为根据下式计算：

Complexity=H+R+S-C-E

其中，Complexity为待优化区域的纹理复杂度；H表示待优化区域的灰度共生矩阵的信息熵；S表示待优化区域的灰度共生矩阵的反差；C表示待优化区域的灰度共生矩阵的相关度；E表示待优化区域的灰度共生矩阵的能量值；R表示待优化区域的边缘比率。

步骤（5）所述插缝法为快速插缝法，所述快速插缝法具体为：

（5-1）首先，根据优化策略，计算图像优化后需达到的目标尺寸；

（5-2）根据待优化区域的位置和用户反馈，生成用于区分可操作区域和限定区域的区域掩码图；

（5-3）计算图像每个像素点的能量，得到能量图；

（5-4）将能量图与区域掩码图进行与运算，得到待优化区域能量图；

（5-5）在能量图中，筛选出能量之和最小的路径，即低重要性像素线，记录下该像素线位置，然后提升该像素线的能量；

（5-6）重复步骤（5-5）多次，得到多条低重要性像素线；

（5-7）在低重要性像素线的位置处，插入或删除多条像素线；

（5-8）插入或删除像素线后，图像尺寸发生改变，对新的图像重复步骤（5-1）～（5-8），直至新的图像达到目标尺寸。

步骤（5）所述基于样例的图像修复算法为基于样例的高效图像修复算法，具体为：

令Ω是待修复的目标区域，即图像中移出主体后的空白区域；φ是图像的原始区域；δΩ是Ω与φ的分界线，即待修复区域前端；设像素块ψ_p∈Ω，像素块ψ_q,ψ_q1∈φ，；ψ_p是以p点为中心，大小为n×n的区域，是待修复的像素块；ψ_q是搜索到的ψ_p最佳替换样例，即在φ中与ψ_p最为相似的像素块，大小为n×n；是ψ_p的较小最佳替换样例，大小为m×m，m<n；

基于样例的高效图像修复算法包括以下步骤：

（5-a）提取待修复区域Ω和原始区域φ的边界线δΩ；

（5-b）对利用公式P(p)=C(p)D(p)计算像素点p的优先权，其中，是置信因子，是数据因子，|ψ_p|是ψ_p的面积，α是权重，n_p是δΩ上的点p的法向量，是像素点p的光照度线；在初始化的时候， $\&ForAll;p\&Element;\mathrm{\&Omega;},\&ForAll;q\&Element;\mathrm{\&phi;},C\left(q\right)=1;$

（5-c）根据步骤（5-b）计算得到待修复区域边界δΩ上像素点p的优先权，找到优先权最大的像素块ψ_p，确定为最先修复的待修复像素块；

（5-d）寻找像素块ψ_p的最佳替换样例：

以待修复像素块ψ_p的中心p为圆心，设置搜索半径为R，得到一个圆形搜索范围，对在圆形搜索范围内且在φ中的像素块进行计算，找到与ψ_p均方差最小且大小为n×n的像素块ψ_q，ψ_q即为最佳替换样例；

（5-e）替换待修复像素块：

保持最佳替换样例中心点不变，用m×m的窗口截取最佳替换样例ψ_q，得到m×m的较小最佳替换样例用较小最佳替换样例替换待修复区域中的目标区域；

（5-f）更新ψ_p中的置信因子：将p点处的置信因子更新为较小最佳替换样例中心像素点q的置信因子；

（5-g）重复（5-a）～（5-g），直到Ω=φ，即待修复区域全部填充完毕。

步骤（2-3）所述阈值Δρ_th为1，阈值Δθ_th为0.5°。

步骤（5）所述纹理复杂度阈值为2.9。

步骤（2-4）所述W_density为3/4，W_length为1/4。

一种基于视觉区域比重平衡法则的图像构图美化系统，包括

输入模块，用于输入图像；

区域分割线检测模块，用于检测图像的区域分割线，将图像分为两个区域，分别为区域A和区域B；

优化策略选定模块，用于根据区域分割线，运用视觉区域比重平衡法则，得出图像的待优化区域及优化策略：

纹理复杂度计算模块，用于计算待优化区域的纹理复杂度；

图像优化模块，用于根据优化策略对待优化区域进行优化：当图像的纹理复杂度小于设定的纹理复杂度阈值时，则使用插缝法对待优化区域进行拉伸或缩小，使优化后的图像满足视觉区域比重平衡法则；否则，使用基于样例的图像修复算法对待优化区域进行拉伸或缩小，使优化后的图像满足视觉区域比重平衡法则；

输出模块，用于输出优化的图像。

与现有技术相比，本发明具有以下优点和有益效果：

（1）本发明创造性地提出了一种基于视觉区域比重平衡法则进行构图优化的具体可行的方法和系统，以视觉区域比重平衡法则为依据，利用区域分割线检测、插缝法和基于样例的图像修复算法实现了对水平构图和垂直构图图像的构图优化；本发明的方法简单有效，运算速度快，可使得处理后图像更符合人们的视觉美学感知，图像真实自然，更平衡，更具美感，可行性强。本发明可在计算机和移动终端上实现。

（2）本发明首先计算待优化区域的纹理复杂度，当图像的纹理复杂度小于设定的纹理复杂度阈值时，则使用插缝法对待优化区域进行拉伸或缩小；否则，使用基于样例的图像修复算法对待优化区域进行拉伸或缩小。本发明通过根据纹理复杂度选择不同的优化算法进行优化，以保护图像的信息，使处理位置自然过渡，图像清晰，没有扭曲、畸变等现象。

（3）本发明的快速插缝法，对于纹理简单，大面积的图片拉伸有较好的效果，不容易看出痕迹。快速插缝法采用同时找到多条低能量像素线后再进行删除或插入操作的机制，使得算法的运算速度快；通过传入区域掩码设定限制条件，实现在指定区域内修改优化图像，可有效地保护图像的重要信息。

（4）本发明的基于样例的高效图像修复算法，在搜索最佳样例时，并不是对整个原始区域进行搜索，而是以待修复像素块的中心为圆心，设置搜索半径为R，在原始区域内得到一个扇形搜索范围，缩小了搜索范围，提高了算法运行速度。在替换待修复像素块时，采用较小最佳替换样例替换待修复区域中的目标区域，防止产生马赛克现象，提高了修复准确度。

附图说明

图1为本发明的实施例的基于视觉区域比重平衡法则的图像构图美化方法的流程图。

图2为本发明的实施例的待美化原图像。

图3为经本发明的实施例的基于视觉区域比重平衡法则的图像构图美化方法处理后的图像。

图4为本发明的实施例的基于视觉区域比重平衡法则的图像构图美化系统的模块结构图。

具体实施方式

下面结合实施例，对本发明作进一步的详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例的基于视觉区域比重平衡法则的图像构图美化方法，包括以下步骤：

（1）输入图像。

（2）检测图像的区域分割线，将图像分为两个区域，分别为区域A和区域B；

检测图像的区域分割线，具体包括以下步骤：

（2-1）对图像进行二值化，得到二值图像。

（2-2）利用霍夫变换检测出二值图像中的所有直线；霍夫变换可以把原图像直角坐标空间中的任意一条直线映射为极坐标参数空间中的某个点P（ρ，θ），即平面中的任何一条直线都可以用极坐标方程表示，其函数关系为：

ρ=x×cosθ+y×sinθ

其中，ρ为极径，为极坐标方程中点到原点的距离；θ称为极角，θ确定了点的方向。如果对位于同一条直线上的点进行霍夫变换，则原图像空间的点在参数空间中对应地得到多条正弦曲线，而这些曲线相交于同一个点（ρ，θ），这个点则是原图像空间中直线在参数空间中的映射。

（2-3）合并相似直线：对于直角坐标空间中的任意两条直线，若两条直线对应的极径之差Δρ小于设定的阈值Δρ_th（本实施例的阈值Δρ_th为1），且两条直线对应的极角之差Δθ小于设定的阈值Δθ_th（本实施例的阈值Δθ_th为0.5°），则认为两条直线相似；将相似的两条直线合并成一条直线。

（2-4）计算经步骤（2-3）处理后的二值图像中的所有直线的区分度：

Diff=densityRatio×W_density+length×W_length

式中，Diff表示直线的区分度；densityRatio表示直线的密度比，length表示直线长度，W_density和W_length分别是densityRatio和length的权重值，本实施例的W_density取3/4，W_length取1/4；

其中，密度比指的是：图像被直线分成的两个区域的非零像素点的个数之比；直线长度指的是：一条直线段中包含像素点的个数。

（2-5）将经步骤（2-3）处理后的二值图像中的所有直线区分度按从高到低排序，选出区分度最高的直线，并判断直线的角度，若与水平线或垂直线的夹角小于10度，则此直线为区域分割线；若大于10度，则舍弃该直线后重复步骤（2-5），直到得到区域分割线为止。

（3）根据区域分割线，运用视觉区域比重平衡法则，得出图像的待优化区域及优化策略，优化策略可以为对待优化区域的尺寸进行拉伸或缩小，使优化后的图像满足视觉区域比重平衡法则；由于缩小的方式会丧失很多的内容，优选采用拉伸的方式；下面以拉伸的方式为例，对所述运用视觉区域比重平衡法则，得出图像的待优化区域及优化策略进行说明：

当图像为水平构图的图像时，区域分割线把图像分为上下两个区域：

设区域A的高度为H_k，区域B的高度为H_g，图像的高度为H；

若H_k>H_g：当H-H_k<0.618H_k时，则区域B为待优化区域，优化策略为：对区域B的高度进行拉伸，拉伸高度为L_g=1.618H_k-H，区域B的宽度不变；当H-H_k>0.618H_k时，则区域A为待优化区域，优化策略为：对区域A的高度进行拉伸，拉伸高度为L_k=(H-1.618H_k)/0.618，区域A的宽度不变；

若H_g>H_k：当H_k<0.618H_g时，则区域A为待优化区域，优化策略为：对区域A的高度进行拉伸，拉伸高度为L_k=0.618H-1.618H_k，区域A的宽度不变；当H_k>0.618H_g时，则区域B为待优化区域，优化策略为：对区域B的高度进行拉伸，拉伸高度为L_g=H_k/0.618+H_k-H，区域B的宽度不变；

当图像为垂直构图的图像时，区域分割线把图像分为左右两个区域：

设区域A的宽度为W_k，区域B的宽度为W_g，图像的宽度为W；

若W_k>W_g：当W-W_k<0.618W_k时，则区域B为待优化区域，优化策略为：对区域B的宽度进行拉伸，拉伸宽度为L_g=1.618W_k-W，区域B的高度不变；当W-W_k>0.618W_k时，则区域A为待优化区域，优化策略为：对区域A的宽度进行拉伸，拉伸宽度为L_k=(W-1.618W_k)/0.618，区域A的高度不变；

若W_g>W_k：当W_k<0.618W_g时，则区域A为待优化区域，优化策略为：对区域A的宽度进行拉伸，拉伸宽度为L_k=0.618W-1.618W_k，区域A的高度不变；当W_k>0.618W_g时，则区域B为待优化区域，优化策略为：对区域B的宽度进行拉伸，拉伸宽度为L_g=W_k/0.618+W_k-W，区域B的高度不变。

（4）计算待优化区域的纹理复杂度：

纹理一般是由空间位置上反复出现的灰度分布形成的，在图像空间上相隔一定距离的两个像素间存在着对应的灰度关系，即是图像中灰度的空间相关特性；灰度共生矩阵（GLCM）就是一种用灰度空间相关特性描述图像纹理的方法，通过统计满足一定的位移关系和灰度值的像素对发生的概率而形成共生矩阵。

灰度共生矩阵（GLCM）是一种用灰度空间相关特性描述图像纹理的方法，通过统计满足一定的位移关系和灰度值的像素对发生的概率而形成共生矩阵。假定一幅n*m的图像，其中像素点f(x,y)的灰度级为i，灰度共生矩阵就是统计与该像素点距离为并且灰度为j的像素出现的概率P(i,j,δ,θ)，其表达式为：

P(i,j,δ,θ)={[(x,y),(x+dx,y+dy)]|f(x,y)=i,f(x+dx,y+dy)=j}

由于灰度共生矩阵不同特征的相关作用不尽相同，所以，通过计算灰度共生矩阵的能量特征E、对比度S、信息熵H、相关度C以及图像边缘比率R后，赋予各个特征不同的权重，加权后构成纹理复杂度Complexity，具体为根据下式计算：

Complexity=H+R+S-C-E

其中，Complexity为待优化区域的的纹理复杂度；H表示待优化区域的灰度共生矩阵的信息熵；S表示待优化区域的灰度共生矩阵的反差；C表示待优化区域的灰度共生矩阵的相关度；E表示待优化区域的灰度共生矩阵的能量值，R表示待优化区域的边缘比率。

下面对H、S、C、E、R分别进行介绍：

（a）能量（E），是纹理一致性统计量，是共生矩阵中所有元素值的平方和，反映出图像灰度分布的纹理粗细度和均匀程度。若矩阵中的所有元素值都一致，那么能量值小；反之，若其中有部分元素值比较大而另一些元素值小，那么能量值大。当矩阵中的元素集中分布时，此时能量值较大，这表明图像具有较均匀的、规则变化的纹理；其具体计算公式为：

$E=\underset{i=0}{\overset{G-1}{\mathrm{\&Sigma;}}}\underset{j-0}{\overset{G-1}{\mathrm{\&Sigma;}}}p{(i,j|d,\mathrm{\&theta;})}^2$

（b）对比度（S），是纹理反差统计量，反映的是图像清晰度和沟纹的深浅程度。若沟纹越深其对比度越大，而视觉效果会越清晰；反之，若沟纹越浅对比度越小，视觉效果越模糊；图像中对比度大的像素对越多，对比度值越大；其具体计算公式为：

$S=\underset{i=0}{\overset{G-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{G-1}{\mathrm{\&Sigma;}}}{(i-j)}^{2}p(i,j|d,\mathrm{\&theta;})$

（c）相关性（C），是纹理灰度相关统计量，反映了图像局部灰度的相关程度。当共生矩阵中各个元素的值都相同时，C值越大；反之，若元素的值偏差越大，C值越小。其具体公式为：

$C=\frac{\underset{i=0}{\overset{G-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{G-1}{\mathrm{\&Sigma;}}}(i-{\mathrm{\&mu;}}_x)(j-{\mathrm{\&mu;}}_y)P(i,j|d,\mathrm{\&theta;})}{{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y}$

其中，μ_x、μ_y、σ_xσ_y对应的公式如下：

${\mathrm{\&mu;}}_x=\underset{i=0}{\overset{G-1}{\mathrm{\&Sigma;}}}i\underset{j=0}{\overset{G-1}{\mathrm{\&Sigma;}}}P(i,j|d,\mathrm{\&theta;})$

${\mathrm{\&mu;}}_y=\underset{j=0}{\overset{G-1}{\mathrm{\&Sigma;}}}j\underset{i=0}{\overset{G-1}{\mathrm{\&Sigma;}}}P(i,j|d,\mathrm{\&theta;})$

${\mathrm{\&sigma;}}_x=\underset{i=0}{\overset{G-1}{\mathrm{\&Sigma;}}}{(i-{\mathrm{\&mu;}}_x)}^2\underset{j=0}{\overset{G-1}{\mathrm{\&Sigma;}}}P(i,j|d,\mathrm{\&theta;})$

${\mathrm{\&sigma;}}_y=\underset{j=0}{\overset{G-1}{\mathrm{\&Sigma;}}}{(j-{\mathrm{\&mu;}}_y)}^2\underset{i=0}{\overset{G-1}{\mathrm{\&Sigma;}}}P(i,j|d,\mathrm{\&theta;})$

（d）熵（H），是测量灰度级分布的随机性，反映了图像所具有的纹理信息量。如果不包含任何纹理，得到的共生矩阵几乎为零矩阵，其熵的值接近于零；若图像含有较多的细小纹理，那么其灰度共生矩阵的数值近似相等，其熵的值最大。因此通过计算熵值，可以用来衡量图像纹理信息量；其具体计算公式为：

$H=-\underset{i=0}{\overset{G-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{G-1}{\mathrm{\&Sigma;}}}p(i,j|d,\mathrm{\&theta;})\log p(i,j|d,\mathrm{\&theta;})$

（e）R表示的是图像的边缘比率，描述的是图像中目标图像的出现情况，是目标的显著性特征；其具体计算公式如下：

$R=\frac{P_{\mathrm{edge}}}{N}$

（5）根据优化策略对待优化区域进行优化：当图像的纹理复杂度小于设定的纹理复杂度阈值（本实施例的纹理复杂度阈值为2.9）时，则使用快速插缝法对待优化区域进行拉伸或缩小；否则，使用基于样例的高效图像修复算法对待优化区域进行拉伸或缩小。

所述快速插缝法是通过在图像中重要性低的位置采用删除或者插入像素线的方式以达到图像缩放的效果，同时保护图像中的重要信息不被破坏；像素点的重要性采用能量函数来衡量，能量越大，像素点越重要，出于对图像内容保护的考虑，优选采用插入像素线的方式。

快速插缝法具体为：

（5-1）首先，根据优化策略，计算图像优化后需达到的目标尺寸；

（5-2）根据待优化区域的位置和用户反馈，生成用于区分可操作区域和限定区域的区域掩码图；

（5-3）计算图像每个像素点的能量，得到能量图；本实施例采用原图像与两个sobel算子的梯度运算结果作为能量图，即用原图像的边缘检测图中对应像素点的灰度值代表该像素点的能量；

（5-4）将能量图与区域掩码图进行与运算，得到待优化区域能量图，以免在搜索低能量像素线的时候找到它；

（5-5）在能量图中，筛选出能量之和最小的路径，即低重要性像素线，记录下该像素线位置，然后提升该像素线的能量，避免下一轮又搜索到它；

（5-6）重复步骤（5-5）多次，得到多条低重要性像素线；

（5-7）在低重要性像素线的位置处，插入或删除多条像素线：

在删除像素线时，低重要性像素线同时删除，若有两条或以上的低重要性像素线存在相交点，同一个点不能删除两次，这时可删除它的临近点；

在插入像素线时，在低重要性像素线的位置，插入的是与其相邻的两条像素线的求和平均值；若插入的是水平像素线，则该像素线上的每个点以其上下相邻的两个像素点的平均值填充，若插入的是垂直像素线，则像素线上的每个点以其左右相邻的两个像素点的平均值填充；

（5-8）插入或删除像素线后，图像尺寸发生改变，对新的图像重复步骤（5-1）～（5-8），直至新的图像达到目标尺寸。

所述基于样例的高效图像修复算法，具体为：

令Ω是待修复的目标区域，即图像中移出主体后的空白区域；φ是图像的原始区域；δΩ是Ω与φ的分界线，即待修复区域前端；设像素块ψ_p∈Ω，像素块ψ_q,ψ_q1∈φ，；ψ_p是以p点为中心，大小为n×n（n可以根据实际需要进行选取，本实施例选取n=8）的区域，是待修复的像素块；ψ_q是搜索到的ψ_p最佳替换样例，即在φ中与ψ_p最为相似的像素块，大小为n×n；是ψ_p的较小最佳替换样例，大小为m×m，m<n（m可以根据实际需要进行选取，本实施例选取m=4）；

基于样例的高效图像修复算法包括以下步骤：

（5-a）提取待修复区域Ω和原始区域φ的边界线δΩ；

（5-b）对利用以下公式P(p)=C(p)D(p)计算像素点p的优先权：

P(p)=C(p)D(p)

其中，是置信因子，是数据因子，|ψ_p|是ψ_p的面积，α是权重，一般取α=255；n_p是δΩ上的点p的法向量，是像素点p的光照度线；在初始化的时候，

（5-c）根据步骤（5-b）计算得到待修复区域边界δΩ上像素点p的优先权，找到优先权最大的像素块ψ_p，确定为最先修复的待修复像素块；

（5-d）寻找像素块ψ_p的最佳替换样例：

以待修复像素块ψ_p的中心p为圆心，设置搜索半径为R（R可以根据实际需要进行选取，本实施例选取R=50），得到一个圆形搜索范围，对在圆形搜索范围内且在φ中的像素块进行计算，找到与ψ_p均方差最小且大小为n×n的像素块ψ_q，ψ_q即为最佳替换样例；

（5-e）替换待修复像素块：

保持最佳替换样例中心点不变，用m×m的窗口截取最佳替换样例ψ_q，得到m×m的较小最佳替换样例用较小最佳替换样例替换待修复区域中的目标区域；

（5-f）更新ψ_p中的置信因子：将p点处的置信因子更新为较小最佳替换样例中心像素点q的置信因子；

（5-g）重复（5-a）～（5-g），直到Ω=φ，即待修复区域全部填充完毕；

（6）输出优化的图像。

采用本实施例的基于视觉区域比重平衡法则的图像构图美化方法处理前、后的图片示例见图2～图3。

如图4所示，本实施例的一种基于视觉区域比重平衡法则的图像构图美化系统，包括

输入模块，用于输入图像；

区域分割线检测模块，用于检测图像的区域分割线，将图像分为两个区域，分别为区域A和区域B；

优化策略选定模块，用于根据区域分割线，运用视觉区域比重平衡法则，得出图像的待优化区域及优化策略：

纹理复杂度计算模块，用于计算待优化区域的纹理复杂度；

图像优化模块，用于根据优化策略对待优化区域进行优化：当图像的纹理复杂度小于设定的纹理复杂度阈值时，则使用插缝法对待优化区域进行拉伸或缩小；否则，使用基于样例的图像修复算法对待优化区域进行拉伸或缩小；

输出模块，用于输出优化的图像。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于视觉区域比重平衡法则的图像构图美化方法，其特征在于，包括以下步骤：

(1)输入图像；

(2)检测图像的区域分割线，将图像分为两个区域，分别为区域A和区域B；

(3)根据区域分割线，运用视觉区域比重平衡法则，得出图像的待优化区域及优化策略；

(4)计算待优化区域的纹理复杂度；

(5)根据优化策略对待优化区域进行优化：当图像的纹理复杂度小于设定的纹理复杂度阈值时，则使用插缝法对待优化区域进行拉伸或缩小，使优化后的图像满足视觉区域比重平衡法则；否则，使用基于样例的图像修复算法对待优化区域进行拉伸或缩小，使优化后的图像满足视觉区域比重平衡法则；

(6)输出优化的图像。

2.根据权利要求1所述的基于视觉区域比重平衡法则的图像构图美化方法，其特征在于，步骤(3)所述根据区域分割线，运用视觉区域比重平衡法则，得出图像的待优化区域及优化策略，具体为：

当图像为水平构图的图像时：

设区域A的高度为H_k，区域B的高度为H_g，图像的高度为H；

若H_k>H_g：当H-H_k＜0.618H_k时，则区域B为待优化区域，优化策略为：对区域B的高度进行拉伸，拉伸高度为L_g＝1.618H_k-H，区域B的宽度不变；当H-H_k>0.618H_k时，则区域A为待优化区域，优化策略为：对区域A的高度进行拉伸，拉伸高度为L_k＝(H-1.618H_k)/0.618，区域A的宽度不变；

若H_g>H_k：当H_k＜0.618H_g时，则区域A为待优化区域，优化策略为：对区域A的高度进行拉伸，拉伸高度为L_k＝0.618H-1.618H_k，区域A的宽度不变；当H_k>0.618H_g时，则区域B为待优化区域，优化策略为：对区域B的高度进行拉伸，拉伸高度为L_g＝H_k/0.618+H_k-H，区域B的宽度不变；

当图像为垂直构图的图像时：

设区域A的宽度为W_k，区域B的宽度为W_g，图像的宽度为W；

若W_k>W_g：当W-W_k＜0.618W_k时，则区域B为待优化区域，优化策略为：对区域B的宽度进行拉伸，拉伸宽度为L_g＝1.618W_k-W，区域B的高度不变；当W-W_k>0.618W_k时，则区域A为待优化区域，优化策略为：对区域A的宽度进行拉伸，拉伸宽度为L_k＝(W-1.618W_k)/0.618，区域A的高度不变；

若W_g>W_k：当W_k＜0.618W_g时，则区域A为待优化区域，优化策略为：对区域A的宽度进行拉伸，拉伸宽度为L_k＝0.618W-1.618W_k，区域A的高度不变；当W_k>0.618W_g时，则区域B为待优化区域，优化策略为：对区域B的宽度进行拉伸，拉伸宽度为L_g＝W_k/0.618+W_k-W，区域B的高度不变。

3.根据权利要求1所述的基于视觉区域比重平衡法则的图像构图美化方法，其特征在于，步骤(2)所述检测图像的区域分割线，具体包括以下步骤：

(2-1)对图像进行二值化，得到二值图像；

(2-2)利用霍夫变换检测出二值图像中的所有直线；霍夫变换将直角坐标空间中的任意一条直线映射为极坐标参数空间中的某个点P(ρ，θ)，其中ρ为极径，θ为极角；

(2-3)合并相似直线：对于直角坐标空间中的任意两条直线，若两条直线对应的极径之差Δρ小于设定的阈值Δρ_th，且两条直线对应的极角之差Δθ小于设定的阈值Δθ_th，则认为两条直线相似；将相似的两条直线合并成一条直线；

(2-4)计算经步骤(2-3)处理后的二值图像中的所有直线的区分度：

Diff＝densityRatio×W_density+length×W_length

式中，Diff表示直线的区分度；densityRatio表示直线的密度比，length表示直线长度，W_density和W_length分别是densityRatio和length的权重值；

(2-5)将经步骤(2-3)处理后的二值图像中的所有直线区分度按从高到低排序，选出区分度最高的直线，并判断直线的角度，若与水平线或垂直线的夹角小于10度，则此直线为区域分割线；若大于10度，则舍弃该直线后重复步骤(2-5)，直到得到区域分割线为止。

4.根据权利要求1所述的基于视觉区域比重平衡法则的图像构图美化方法，其特征在于，步骤(4)所述计算待优化区域的纹理复杂度，具体为根据下式计算：

Complexity＝H+R+S-C-E

其中，Complexity为待优化区域的纹理复杂度；H表示待优化区域的灰度共生矩阵的信息熵；S表示待优化区域的灰度共生矩阵的反差；C表示待优化区域的灰度共生矩阵的相关度；E表示待优化区域的灰度共生矩阵的能量值；R表示待优化区域的边缘比率。

5.根据权利要求1所述的基于视觉区域比重平衡法则的图像构图美化方法，其特征在于，步骤(5)所述插缝法为快速插缝法，所述快速插缝法具体为：

(5-1)首先，根据优化策略，计算图像优化后需达到的目标尺寸；

(5-2)根据待优化区域的位置和用户反馈，生成用于区分可操作区域和限定区域的区域掩码图；

(5-3)计算图像每个像素点的能量，得到能量图；

(5-4)将能量图与区域掩码图进行与运算，得到待优化区域能量图；

(5-5)在能量图中，筛选出能量之和最小的路径，即低重要性像素线，记录下该像素线位置，然后提升该像素线的能量；

(5-6)重复步骤(5-5)多次，得到多条低重要性像素线；

(5-7)在低重要性像素线的位置处，插入或删除多条像素线；

(5-8)插入或删除像素线后，图像尺寸发生改变，对新的图像重复步骤(5-1)～(5-8)，直至新的图像达到目标尺寸。

6.根据权利要求3所述的基于视觉区域比重平衡法则的图像构图美化方法，其特征在于，步骤(2-3)所述阈值Δρ_th为1，阈值Δθ_th为0.5°。

7.根据权利要求1所述的基于视觉区域比重平衡法则的图像构图美化方法，其特征在于，步骤(5)所述纹理复杂度阈值为2.9。

8.根据权利要求3所述的基于视觉区域比重平衡法则的图像构图美化方法，其特征在于，步骤(2-4)所述W_density为3/4，W_length为1/4。

9.一种基于视觉区域比重平衡法则的图像构图美化系统，其特征在于，包括

输入模块，用于输入图像；

区域分割线检测模块，用于检测图像的区域分割线，将图像分为两个区域，分别为区域A和区域B；

优化策略选定模块，用于根据区域分割线，运用视觉区域比重平衡法则，得出图像的待优化区域及优化策略：

纹理复杂度计算模块，用于计算待优化区域的纹理复杂度；

图像优化模块，用于根据优化策略对待优化区域进行优化：当图像的纹理复杂度小于设定的纹理复杂度阈值时，则使用插缝法对待优化区域进行拉伸或缩小，使优化后的图像满足视觉区域比重平衡法则；否则，使用基于样例的图像修复算法对待优化区域进行拉伸或缩小，使优化后的图像满足视觉区域比重平衡法则；

输出模块，用于输出优化的图像。