CN103544685B - 一种基于主体调整的图像构图美化方法及系统 - Google Patents
一种基于主体调整的图像构图美化方法及系统 Download PDFInfo
- Publication number
- CN103544685B CN103544685B CN201310498784.0A CN201310498784A CN103544685B CN 103544685 B CN103544685 B CN 103544685B CN 201310498784 A CN201310498784 A CN 201310498784A CN 103544685 B CN103544685 B CN 103544685B
- Authority
- CN
- China
- Prior art keywords
- image
- main body
- subject
- detection
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000203 mixture Substances 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 230000000877 morphologic effect Effects 0.000 claims abstract description 9
- 210000000746 body region Anatomy 0.000 claims abstract description 4
- 230000008439 repair process Effects 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 21
- 238000003709 image segmentation Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000011160 research Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010422 painting Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 244000309464 bull Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于主体调整的图像构图美化方法,包括以下步骤:(1)对图像进行主体区域检测,得到主体检测图;(2)对主体检测图进行形态学处理及二值化,得到主体掩码二值图;(3)利用主体掩码二值图从图像中移出主体,依照主体最佳比重规律,对主体进行缩放,调整主体尺寸;(4)利用基于样例的图像修复算法,填充图像中移出主体后的空白区域,得到背景图;(5)根据构图美学中的三分法则,把缩放后的主体,移动到背景图中,得到美化后的图像。本发明还公开了一种基于主体调整的图像构图美化系统。本发明实现了对图像构图的自动美化,且具有运算速度快、可行性强、自动美化效果好的优点。
Description
技术领域
本发明涉及图像智能处理领域,特别涉及一种基于主体调整的图像构图美化方法及系统。
背景技术
在互联网非常普及的今天,人们每天都会从电脑、移动终端上接触到海量的图像信息。人们特别青睐具有美感的图像,因为它带给人们愉悦的视觉感受和强烈的视觉冲击力,唤起观看者的情感交流。在这种情况下借助电脑和移动终端对图像信息进行加工、美化以满足人的视觉心理有了巨大的需求。研究表明构图是图像美感的重要指标。构图是指在一定的空间,合理安排和处理人、景、物的关系与位置,获得图像的最佳布局,实现图像美学上的统一感受,以更好的表现图像主题思想和美感效果。在摄影和绘画中构图是基础也是核心,它直接关系到整个图像的优劣成败。
主体是图像主要表现的对象,是主题思想的重要体现者,是控制图像全局的焦点。对于人文、风景、静物等包含主体的图像,主体是图像的核心,在图像中起绝对主导作用,好的构图很大程度上取决于主体的位置和大小。主体是摄影师、绘画者主观上想要突出的对象,包括主要人物形象、主要动物形象、主要植物形象、主要景物形象等。成功的构图是将尺寸合适的主体合理地安排在恰当的位置,使得图像主次分明、主体突出达到令人赏心悦目的境界。人们在长期的摄影、绘画实践中总结了一些常用的构图法则,比如三分法则、主体最佳比重规律、对角占优法则等,这些法则告诉人们在摄影、绘画时需要考虑的各个因素,合理的利用这些构图法则能够得到令人舒适的构图效果。
随着数码相机的普及应用,越来越多的人希望能拍摄出具有美感的图像,但大多数非专业拍摄者都缺乏美学常识和经验,因此如何对图像进行构图美化成了困扰他们的难题。在摄影和绘画中最常用的构图法则是三分法则和主体最佳比重规律,综合使用这两个法则可以使图像在视觉上非常有条理,主体非常突出,以更好地表现图像的变化和动感,呈现出具有美感的图像。利用电脑和移动终端对包含主体的图像按照三分法则、主体最佳比重规律进行构图自动美化并提供摄影指导,调整图像主体大小与位置,不仅能够提高缺乏美学经验的业余摄影者的摄影质量,还能帮助熟练的摄影师用来加快对图像的构图美化。Photoshop等常用的图像处理软件,都需要用户手工对图像进行美化,这种非自动性的图像美化,给普通的摄影用户带来了操作上的困难。目前,在图像处理和计算机视觉领域内,图像构图美学研究在国外刚刚兴起,主要涉及提取图像美学特征,对图像构图优劣进行自动评估和自动美化。国内仅见到浙江大学陈仁杰等人进行了相关研究,但他们主要是对图像进行裁剪得到一系列子图像,通过对子图像进行美学排序和重映射调整,得到构图美化后的图像。其方法取决于裁剪的子图像,如果没有裁剪到合适的子图像可能无法达到理想的美化效果,且算法较为耗时。
三分法则:是绘画和摄影中最知名、最常用的构图法则之一,它实际上是著名的“黄金比例分割”的简化版,可使图像更生动、美观。具体为:用两条水平线和垂直线将图像分成9个相等的方块,称为“九宫图”。直线和横线相交的四个点,是人们视觉最敏感的地方,称为力量点。研究表明当主体处于这4个力量点附近时最容易吸引观看者“眼球”,主体更加鲜明、突出,而且能更好地发挥图像主体在图面上的组织作用,使图像中周围景物展现协调和联系,容易引起人类视觉美感。
主体最佳比重规律:通过统计大量专业摄影图像中主体所占图像面积比重,已有相关研究量化出具有美感的构图图像中主体的最佳尺寸比例。研究发现美学图像虽然来源不同、主体类型各异,然而主体区域面积大多分布在0.1,0.56和0.82附近,分别对应小比例区域、中比例区域和大比例区域,称之为主体最佳比重规律。
发明内容
为了克服现有技术的上述缺点与不足,本发明的目的在于提供一种基于主体调整的图像构图美化方法,实现对图像构图的自动美化,简单有效,运行速度快。
本发明的另一目的在于提供一种基于主体调整的图像构图美化系统。
本发明的目的通过以下技术方案实现:
一种基于主体调整的图像构图美化方法,包括以下步骤:
(1)对图像进行主体区域检测,得到主体检测图;
(2)对主体检测图进行形态学处理及二值化,得到主体掩码二值图;
(3)利用主体掩码二值图从图像中移出主体,依照主体最佳比重规律,对主体进行缩放,调整主体尺寸;
(4)利用基于样例的图像修复算法,填充图像中移出主体后的空白区域,得到背景图;
(5)根据构图美学中的三分法则,把缩放后的主体,移动到背景图中,得到美化后的图像。
步骤(1)所述对图像进行主体区域检测,具体包括以下步骤:
(1-1)对图像进行显著区域检测,得到显著图;
(1-2)对显著图进行图像分割,得到多个分割块;
(1-3)根据分割块的平均显著性选择分割块,组合成主体检测图。
步骤(1)所述对图像进行主体区域检测,还包括以下步骤:
(1-4)采用交互式主体区域检测对步骤(1-3)得到的主体检测图进行修补。
步骤(2)所述对主体检测图进行形态学处理及二值化,得到主体掩码二值图,具体为:
(2-1)对主体检测图中的主体进行膨胀处理;
(2-2)对膨胀处理后的主体检测图进行二值化处理,其中主体区域为白色,其余部分为黑色。
步骤(3)所述利用主体掩码二值图从图像中移出主体,依照主体最佳比重规律,对主体进行缩放,调整主体到合适尺寸,具体为:
将主体掩码二值图与图像进行与运算,从图像中移出主体,分别用矩形框截取图像和主体掩码二值图中的主体区域,分别得到主体最大外接矩形图和主体掩码最大外接矩形图,根据主体最佳比重规律,对主体最大外接矩形图和主体掩码最大外接矩形图进行缩放,使主体最大外接矩形图和图像的尺寸比例、主体掩码最大外接矩形图和主体掩码二值图的尺寸比例为最佳比重,最后将缩放后的主体掩码最大外接矩形图与主体最大外接矩形图进行与运算,提取出缩放后的主体;所述最佳比重的取值范围为0.09~0.11,或0.55~0.57,或0.81~0.83。
步骤(4)所述基于样例的图像修复算法为基于样例的高效图像修复算法,具体为:
令Ω是待修复的目标区域,即图像中移出主体后的空白区域;φ是图像的原始区域;δΩ是Ω与φ的分界线,即待修复区域前端;设像素块ψp∈Ω,像素块ψq,ψq1∈φ;ψp是以p点为中心,大小为n×n的区域,是待修复的像素块;ψq是搜索到的ψp最佳替换样例,即在φ中与ψp最为相似的像素块,大小为n×n;是ψp的较小最佳替换样例,大小为m×m,m<n;
基于样例的高效图像修复算法包括以下步骤:
(4-1)提取待修复区域Ω和原始区域φ的边界线δΩ;
(4-2)对利用公式P(p)=C(p)D(p)计算像素点p的优先权,其中, 是置信因子, 是数据因子,|ψp|是ψp的面积,α是权重, np是δΩ上的点p的法向量,是像素点p的光照度线;在初始化的时候,
(4-3)根据步骤(4-2)计算得到待修复区域边界δΩ上像素点p的优先权,找到优先权最大的像素块ψp,确定为最先修复的待修复像素块;
(4-4)寻找像素块ψp的最佳替换样例:
以待修复像素块ψp的中心p为圆心,设置搜索半径为R,得到一个圆形搜索范围,对在圆形搜索范围内且在φ中的像素块进行计算,找到与ψp均方差最小且大小为n×n的像素块ψq,ψq即为最佳替换样例;
(4-5)替换待修复像素块:
保持最佳替换样例中心点不变,用m×m的窗口截取最佳替换样例ψq,得到m×m的较小最佳替换样例,用较小最佳替换样例替换待修复区域中的目标区域;
(4-6)更新ψp中的置信因子:将p点处的置信因子更新为较小最佳替换样例中心像素点q的置信因子;
(4-7)重复(4-1)~(4-6),直到Ω=φ,即待修复区域全部填充完毕。
步骤(1-1)所述显著区域检测,具体为:
对于一张图像I,令Iu为图像I所有像素的平均值,Iw为图像I高斯模糊后的图像,Iu和Iw都用Lab颜色空间表示,通过计算Iw和Iu的欧几里德距离来计算显著性,显著图S由公式S(x,y)=||Iu-Iw(x,y)||得到。
步骤(1-3)所述根据分割块的平均显著性选择分割块,组合成主体检测图,具体为:
计算每个分割块k的平均显著性Sk:
其中,n为分割块k中像素总数,Ij为点j的像素值,Im是分割块k中所有像素的平均值;如果Sk>2×Su,即分割块k的平均显著性大于整幅图像的平均显著性的两倍,标记出这个分割块,最后将所有被标记的分割块组合,得到主体检测图。
步骤(5)所述根据构图美学中的三分法则,把缩放后的主体,移动到背景图中,得到美化后的图像,具体为:
根据三分法则,首先用两条水平线和两条垂直线将图像划分成相等的九部分,四条直线的四个相交点为力量点,将缩放后的主体质心移动到力量点上,得到美化后的图像。
一种基于主体调整的图像构图美化系统,包括
主体检测模块,用于对图像进行主体区域检测,得到主体检测图;
主体掩码二值处理模块,用于对主体检测图进行形态学处理及二值化,得到主体掩码二值图;
主体尺寸调整模块,用于利用主体掩码二值图从图像中移出主体,依照主体最佳比重规律,对主体进行缩放,调整主体尺寸;
背景修复模块,用于利用基于样例的图像修复算法,填充图像中移出主体后的空白区域,得到背景图;
主体位置处理模块,用于根据构图美学中的三分法则,把缩放后的主体,移动到背景图中,得到美化后的图像。
本发明的原理是基于摄影和绘画中常用的法则和规律,即三分法则和主体最佳比重规律。三分法则可使图像更生动、美观,但仅仅依靠三分法则移动主体位置还不能够实现对包含主体图像的构图美化,主体所占图像面积比重在构图美化中也具有重要作用,只有合适的主体大小才能呈现出良好的视觉效果。
与现有技术相比,本发明具有以下优点和有益效果:
(1)本发明创造性地提出了一种利用三分法则和主体最佳比重规律对包含主体的图像进行构图自动美化的具体可行的方法和系统,以人们最熟知的构图法则——三分法则和主体最佳比重规律为依据,结合图像处理方法提取有效的特征,利用主体区域检测,基于样例的高效图像修复算法,通过自动调整图像主体的大小和位置,实现了基于主体调整的图像构图自动美化。本发明的方法和系统简单有效,运行速度快,可使得处理后图像满足构图法则而更具美感,可行性强。本发明可在计算机版和移动终端版上实现。
(2)本发明的主体区域检测方法,在用户对检测到的主体区域不满意的情况下,可再采用交互式主体区域检测对其进行修补,直至检测到满意的主体区域,进一步使处理后图像更具美感。
(3)本发明的基于样例的高效图像修复算法,在搜索最佳样例时,并不是对整个原始区域进行搜索,而是以待修复像素块的中心为圆心,设置搜索半径为R,在原始区域内得到一个扇形搜索范围,缩小了搜索范围,提高了算法运行速度。在替换待修复像素块时,采用较小最佳替换样例替换待修复区域中的目标区域,防止产生马赛克现象,提高了修复准确度。
附图说明
图1为本发明的实施例的基于主体调整的图像构图美化方法的流程图。
图2为本发明的实施例的智能主体区域检测流程图。
图3为本发明的实施例的基于样例的高效图像修复算法的流程图。
图4为本发明的实施例的待美化原图像。
图5为经本发明的实施例的基于主体调整的图像构图美化方法处理后的图像。
图6为本发明的实施例的基于主体调整的图像构图美化系统的结构图。
具体实施方式
下面结合实施例,对本发明作进一步地详细说明,但本发明的实施方式不限于此。
实施例
如图1所示,本实施例的基于主体调整的图像构图美化方法,包括以下步骤:
(1)对图像进行主体区域检测,得到主体检测图,如图2所示,具体包括以下步骤:
(1-1)对图像进行显著区域检测,得到显著图;
本发明采用一种基于Lab颜色空间的显著区域检测算法来产生显著图,它利用图像的颜色和亮度特征计算显著性,具体为:
对于一张图像I,令Iu为图像I所有像素的平均值,Iw为图像I高斯模糊后的图像,Iu和Iw都用Lab颜色空间表示,通过计算Iw和Iu的欧几里德距离来计算显著性,显著图S由公式1得到;
S(x,y)=||Iu-Iw(x,y)|| (1)
得到图像显著图后计算图像平均显著性Su:
其中,n为图像中像素总数,Ii为点i的像素值,Iu是图像所有像素的平均值;
(1-2)采用Mean Shift分割算法对显著图进行图像分割,得到主体检测图:
Mean Shift分割算法是很成熟的图像分割算法,综合考虑图像的空间信息和色彩信息,组成一个3+2维的向量x=(xs,xr),其中xs表示像素点的坐标,xr表示该像素点上3维颜色信息,Mean Shift向量Mh(x)表示样本点xi相对于数据点x的偏移量的平均值,指向样本点xi变化最大的地方。Mh(x)具体形式由公式3可得:
将公式(3)右边第一项记为mh(x),如公式4所示:
其中ω(xi)为采样点xi的权重,离x近的采样点xi有较大的权重,即离x越近的采样点对估计x周围的统计特性越有效;K(x)为核函数,用来估计x的分布;参数h称为带宽,表示核大小。本实施例中核函数采用高斯核函数(可以根据实际需要选取其他核函数),如公式5所示。
假设{xi}i=1,…,n和{zi}i=1,…,n分别表示图像和分割图像后的图像。利用Mean Shift进行图像分割首先给定允许误差ε,然后对每一个像素点进行如下操作:
①初始化j=1,并且使yi,1=xi,其中{yj},j=1,…,n表示Mean Shift算法中移动点的痕迹;
②计算mh(x)并将其赋给x;
③如果||mh(x)-x||<ε,Mean Shift过程结束,记收敛后的值为yi,c;否则,继续执行步骤①;
④赋值
⑤收敛至同一点的起始点归为一类,合并像素点过少的类,融合局部像素,得到分割结果;
(1-3)根据分割块的平均显著性选择分割块,组合成主体检测图,具体为:
计算每个分割块k的平均显著性Sk:
其中,n为分割块k中像素总数,Ij为点j的像素值,Im是分割块k中所有像素的平均值。如果Sk>2×Su,即分割块k的平均显著性大于整幅图像的平均显著性的两倍,标记出这个分割块,最后将所有被标记的分割块组合,得到主体检测图。
步骤(1-1)~(1-3)称为智能主体区域检测,智能主体区域检测得到的主体检测图可能不是十分精确,主体边缘的小部分可能没有提取到,如果用户对检测到的主体区域不满意,则再进行以下步骤:
(1-4)采用交互式主体区域检测对步骤(1-3)得到的主体检测图进行修补;交互式主体区域检测为采用交互式迭代图割算法综合利用图像中的纹理信息和边界信息,只要少量的用户交互操作就可得到比较好的分割结果,能有效的从复杂背景中提取主体,算法执行效率也较高;
交互式迭代图割算法包括如下步骤:
①初始化,用户在主体区域周围画一个矩形框将主体框入,同时标记主体和背景。
②对图像进行分割:对框内标记的主体和背景进行颜色随机采样,对采样到的主体和背景颜色,使用高斯混合模型建立主体颜色模型和背景颜色模型,在框内作标记;如果有像素被标记为主体则继续采样,再建立颜色模型,再进行迭代式图割,直到分割出来的主体不再变化,即迭代收敛,停止迭代,显示主体;
③如果用户对结果不满意,再在图像中设定主体和(或)背景,再次进行分割。
(2)对主体检测图进行形态学处理及二值化,得到主体掩码二值图,具体为:
(2-1)对主体检测图中的主体进行膨胀处理,以消除主体区域内部可能存在的砂眼,同时使得主体区域边缘光滑;
(2-2)对膨胀处理后的主体检测图进行二值化处理,其中主体区域为白色,其余部分为黑色。
(3)利用主体掩码二值图从图像中移出主体,依照主体最佳比重规律,对主体进行缩放,调整主体尺寸,具体为:
将主体掩码二值图与图像进行与运算,从图像中移出主体,分别用矩形框截取图像和主体掩码二值图中的主体区域,分别得到主体最大外接矩形图和主体掩码最大外接矩形图,根据主体最佳比重规律,对主体最大外接矩形图和主体掩码最大外接矩形图进行缩放,使主体最大外接矩形图和图像的尺寸比例、主体掩码最大外接矩形图和主体掩码二值图的尺寸比例为最佳比重,最后将缩放后的主体掩码最大外接矩形图与主体最大外接矩形图进行与运算,提取出缩放后的主体;所述最佳比重的取值范围为0.09~0.11,或0.55~0.57,或0.81~0.83。
(4)利用基于样例的高效图像修复算法,填充图像中移出主体后的空白区域,得到背景图;
所述基于样例的高效图像修复算法,具体为:
令Ω是待修复的目标区域,即图像中移出主体后的空白区域;φ是图像的原始区域;δΩ是Ω与φ的分界线,即待修复区域前端;设像素块ψp∈Ω,像素块ψq,ψq1∈φ,;ψp是以p点为中心,大小为n×n的区域(n可以根据实际需要进行选取,本实施例选取n=8),是待修复的像素块;ψq是搜索到的ψp最佳替换样例,即在φ中与ψp最为相似的像素块,大小为n×n;ψq1是ψp的较小最佳替换样例,大小为m×m,m<n(m可以根据实际需要进行选取,本实施例选取m=4);
基于样例的高效图像修复算法,如图3所示,具体包括以下步骤:
(4-1)提取待修复区域Ω和原始区域φ的边界线δΩ;
(4-2)对利用公式(7)计算像素点P的优先权:
P(p)=C(p)D(p) (7)
其中,C(p)是置信因子,D(p)是数据因子,分别由公式(8)和公式(9)计算得到:
其中|ψp|是ψp的面积,α是权重,一般取α=255,np是δΩ上的点p的法向量,是点p的光照度线;在初始化的时候,
(4-3)根据步骤(4-2)计算得到待修复区域边界δΩ上像素点p的优先权,找到优先权最大的像素块ψp,确定最先修复的待修复像素块;
(4-4)寻找像素块ψp的最佳替换样例:
以待修复像素块ψp的中心p为圆心,设置搜索半径为R(R可以根据实际需要进行选取,本实施例选取R=50),得到一个圆形搜索范围,对在圆形搜索范围内且在φ中的像素块进行计算,找到与ψp均方差最小且大小为n×n的像素块ψq,ψq即为最佳替换样例;
(4-5)替换待修复像素块:
保持最佳替换样例中心点不变,用m×m的窗口截取最佳替换样例ψq,得到m×m的较小最佳替换样例,用较小最佳替换样例替换待修复区域中的目标区域;
(4-6)更新ψp的置信因子:将p点处的置信因子更新为较小最佳替换样例中心像素点q的置信因子;
(4-7)重复(4-1)~(4-6),直到Ω=φ,即待修复区域全部填充完毕。
(5)根据三分法则,首先用两条水平线和两条垂直线将图像划分成相等的九部分,四条直线的四个相交点为力量点,将缩放后的主体质心移动到合适的力量点上:计算原图中主体质心和四个力量点的距离,将缩放后的主体移动到背景图中对应原图最近的力量点,如果主体区域过大,超出了图像边界,或者主体区域过小导致移动后主体与背景关系不协调(如人物悬空等),则重新移动主体到其它就近的力量点,最后得到美化后的图像。
采用本实施例的基于主体调整的图像构图美化方法处理前、后的图片见图4~5。
如图6所示,本实施例的基于主体调整的图像构图美化系统,包括
主体检测模块100,用于对图像进行主体区域检测,得到主体检测图;
主体掩码二值处理模块200,用于对主体检测图进行形态学处理及二值化,得到主体掩码二值图;
主体尺寸调整模块300,用于利用主体掩码二值图从图像中移出主体,依照主体最佳比重规律,对主体进行缩放,调整主体尺寸;
背景修复模块400,用于利用基于样例的高效图像修复算法,填充图像中移出主体后的空白区域,得到背景图;
主体位置处理模块500,用于根据构图美学中的三分法则,把缩放后的主体,移动到背景图中,得到美化后的图像。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受所述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.一种基于主体调整的图像构图美化方法,其特征在于,包括以下步骤:
(1)对图像进行主体区域检测,得到主体检测图;
所述对图像进行主体区域检测,具体包括以下步骤:
(1-1)对图像进行显著区域检测,得到显著图;
(1-2)对显著图进行图像分割,得到多个分割块;
(1-3)根据分割块的显著性平均值选择分割块,组合成主体检测图;
(2)对主体检测图进行形态学处理及二值化,得到主体掩码二值图;
(3)利用主体掩码二值图从图像中移出主体,依照主体最佳比重规律,对主体进行缩放,调整主体尺寸;
(4)利用基于样例的图像修复算法,填充图像中移出主体后的空白区域,得到背景图;
(5)根据构图美学中的三分法则,把缩放后的主体,移动到背景图中,得到美化后的图像。
2.根据权利要求1所述的基于主体调整的图像构图美化方法,其特征在于,步骤(1)所述对图像进行主体区域检测,还包括以下步骤:
(1-4)采用交互式主体区域检测对步骤(1-3)得到的主体检测图进行修补。
3.根据权利要求1所述的基于主体调整的图像构图美化方法,其特征在于,步骤(2)所述对主体检测图进行形态学处理及二值化,得到主体掩码二值图,具体为:
(2-1)对主体检测图中的主体进行膨胀处理;
(2-2)对膨胀处理后的主体检测图进行二值化处理,其中主体区域为白色,其余部分为黑色。
4.根据权利要求1所述的基于主体调整的图像构图美化方法,其特征在于,步骤(3)所述利用主体掩码二值图从图像中移出主体,依照主体最佳比重规律,对主体进行缩放,调整主体尺寸,具体为:
将主体掩码二值图与图像进行与运算,从图像中移出主体,分别用矩形框截取图像和主体掩码二值图中的主体区域,分别得到主体最大外接矩形图和主体掩码最大外接矩形图,根据主体最佳比重规律,对主体最大外接矩形图和主体掩码最大外接矩形图进行缩放,使主体最大外接矩形图和图像的尺寸比例、主体掩码最大外接矩形图和主体掩码二值图的尺寸比例为最佳比重,最后将缩放后的主体掩码最大外接矩形图与主体最大外接矩形图进行与运算,提取出缩放后的主体;所述最佳比重的取值范围为0.09~0.11,或0.55~0.57,或0.81~0.83。
5.根据权利要求1所述的基于主体调整的图像构图美化方法,其特征在于,步骤(4)所述基于样例的图像修复算法为基于样例的高效图像修复算法,具体为:
令Ω是待修复的目标区域,即图像中移出主体后的空白区域;φ是图像的原始区域;δΩ是Ω与φ的分界线,即待修复区域前端;设像素块ψq,ψq1∈φ,;ψp是以p点为中心,大小为n×n的区域,是待修复的像素块;ψq是搜索到的ψp最佳替换样例,即在φ中与ψp最为相似的像素块,大小为n×n;是ψp的较小最佳替换样例,大小为m×m,m<n;
基于样例的高效图像修复算法包括以下步骤:
(4-1)提取待修复区域Ω和原始区域φ的边界线δΩ;
(4-2)对利用公式P(p)=C(p)D(p)计算像素点p的优先权,其中,是置信因子,是数据因子,|ψp|是ψp的面积,α是权重,np是δΩ上的点p的法向量,是像素点p的光照度线;在初始化的时候,
(4-3)根据步骤(4-2)计算得到待修复区域边界δΩ上像素点p的优先权,找到优先权最大的像素块ψp,确定为最先修复的待修复像素块;
(4-4)寻找像素块ψp的最佳替换样例:
以待修复像素块ψp的中心p为圆心,设置搜索半径为R,得到一个圆形搜索范围,对在圆形搜索范围内且在φ中的像素块进行计算,找到与ψp均方差最小且大小为n×n的像素块ψq,ψq即为最佳替换样例;
(4-5)替换待修复像素块:
保持最佳替换样例中心点不变,用m×m的窗口截取最佳替换样例ψq,得到m×m的较小最佳替换样例,用较小最佳替换样例替换待修复区域中的目标区域;
(4-6)更新ψp中的置信因子:将p点处的置信因子更新为较小最佳替换样例中心像素点q的置信因子;
(4-7)重复(4-1)~(4-6),直到Ω=φ,即待修复区域全部填充完毕。
6.根据权利要求1所述的基于主体调整的图像构图美化方法,其特征在于,步骤(1-1)所述显著区域检测,具体为:
对于一张图像I,令Iu为图像I所有像素的平均值,Iw为图像I高斯模糊后的图像,Iu和Iw都用Lab颜色空间表示,通过计算Iw和Iu的欧几里德距离来计算显著性,显著图S由公式S(x,y)=||Iu-Iw(x,y)||得到。
7.根据权利要求6所述的基于主体调整的图像构图美化方法,其特征在于,步骤(1-3)所述根据分割块的显著性平均值选择分割块,组合成主体检测图,具体为:
计算每个分割块k的显著性平均值Sk:
其中,n为分割块k中像素总数,Iwi表示分割块k中第i个像素点值,Im是分割块k中所有像素的平均值;如果Sk>2×Su,即分割块k的显著性平均值Sk大于整幅图像的显著性平均值Su的两倍,标记出这个分割块,最后将所有被标记的分割块组合,得到主体检测图。
8.根据权利要求1所述的基于主体调整的图像构图美化方法,其特征在于,步骤(5)所述根据构图美学中的三分法则,把缩放后的主体,移动到背景图中,得到美化后的图像,具体为:
根据三分法则,首先用两条水平线和两条垂直线将图像划分成相等的九部分,四条直线的四个相交点为力量点,将缩放后的主体质心移动到力量点上,得到美化后的图像。
9.基于主体调整的图像构图美化系统,其特征在于,包括
主体检测模块,用于对图像进行主体区域检测,得到主体检测图;所述主体检测模块包括显著检测模块、分割模块、主体检测图组合模块;显著检测模块,用于对图像进行显著区域检测,得到显著图;分割模块,用于对显著图进行图像分割,得到多个分割块;主体检测图组合模块,用于根据分割块的显著性平均值选择分割块,组合成主体检测图;
主体掩码二值处理模块,用于对主体检测图进行形态学处理及二值化,得到主体掩码二值图;
主体尺寸调整模块,用于利用主体掩码二值图从图像中移出主体,依照主体最佳比重规律,对主体进行缩放,调整主体尺寸;
背景修复模块,用于利用基于样例的图像修复算法,填充图像中移出主体后的空白区域,得到背景图;
主体位置处理模块,用于根据构图美学中的三分法则,把缩放后的主体,移动到背景图中,得到美化后的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310498784.0A CN103544685B (zh) | 2013-10-22 | 2013-10-22 | 一种基于主体调整的图像构图美化方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310498784.0A CN103544685B (zh) | 2013-10-22 | 2013-10-22 | 一种基于主体调整的图像构图美化方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103544685A CN103544685A (zh) | 2014-01-29 |
CN103544685B true CN103544685B (zh) | 2017-01-04 |
Family
ID=49968107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310498784.0A Active CN103544685B (zh) | 2013-10-22 | 2013-10-22 | 一种基于主体调整的图像构图美化方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103544685B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971338B (zh) * | 2014-05-06 | 2017-01-11 | 清华大学深圳研究生院 | 一种基于显著图的可变块图像修复方法 |
CN105100625B (zh) * | 2015-08-27 | 2018-06-12 | 华南理工大学 | 一种基于图像美学的人物图像辅助拍摄方法和系统 |
CN105578035B (zh) * | 2015-12-10 | 2019-03-29 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
CN106204439A (zh) * | 2016-06-28 | 2016-12-07 | 乐视控股(北京)有限公司 | 图片自适应处理的方法和系统 |
CN106296605B (zh) * | 2016-08-05 | 2019-03-26 | 腾讯科技(深圳)有限公司 | 一种图像修补方法及装置 |
CN106327551B (zh) * | 2016-08-30 | 2019-01-25 | 华侨大学 | 基于边缘检测和图像拼接的书画自动配框方法 |
CN107545576A (zh) * | 2017-07-31 | 2018-01-05 | 华南农业大学 | 基于构图规则的图像编辑方法 |
CN109146892B (zh) * | 2018-07-23 | 2020-06-19 | 北京邮电大学 | 一种基于美学的图像裁剪方法及装置 |
CN109191414A (zh) * | 2018-08-21 | 2019-01-11 | 北京旷视科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN109872656B (zh) * | 2018-12-29 | 2021-08-13 | 合肥金诺数码科技股份有限公司 | 一种实现多媒体展项的设备及方法 |
CN110675420B (zh) * | 2019-08-22 | 2023-03-24 | 华为技术有限公司 | 一种图像处理方法和电子设备 |
CN110866486B (zh) | 2019-11-12 | 2022-06-10 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
CN111107281B (zh) * | 2019-12-30 | 2022-04-12 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218619A (zh) * | 2013-03-15 | 2013-07-24 | 华南理工大学 | 一种图像美学评价方法 |
-
2013
- 2013-10-22 CN CN201310498784.0A patent/CN103544685B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218619A (zh) * | 2013-03-15 | 2013-07-24 | 华南理工大学 | 一种图像美学评价方法 |
Non-Patent Citations (3)
Title |
---|
A framework for photoquality assessment and enhancement based on visual aesthetics;Bhattacharya等;《Proceedings of the international conference on Multimedia》;20101231;271-280 * |
Automatic image retargeting;Setlur等;《Proceedings of the 4th international conference on》;20051231;59-68 * |
可计算图像美学研究进展;王伟凝;《中国图象图形学报》;20120831;第17卷(第8期);893-901 * |
Also Published As
Publication number | Publication date |
---|---|
CN103544685A (zh) | 2014-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103544685B (zh) | 一种基于主体调整的图像构图美化方法及系统 | |
CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
US8947422B2 (en) | Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images | |
CN108537782B (zh) | 一种基于轮廓提取的建筑物图像匹配与融合的方法 | |
WO2017213923A1 (en) | Multi-view scene segmentation and propagation | |
US10839496B2 (en) | Multiple exposure method, terminal, system, and computer readable storage medium | |
US20100315424A1 (en) | Computer graphic generation and display method and system | |
CN107516319A (zh) | 一种高精度简易交互式抠图方法、存储设备及终端 | |
CN106530309B (zh) | 一种基于移动平台的视频抠图方法及系统 | |
CN111402373B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN108111911B (zh) | 基于自适应跟踪框分割的视频数据实时处理方法及装置 | |
CN106952276A (zh) | 一种图像抠图方法及装置 | |
US20130236099A1 (en) | Apparatus and method for extracting foreground layer in image sequence | |
CN111127576A (zh) | 游戏画面的渲染方法、装置及电子设备 | |
CN104952048B (zh) | 一种基于像体重建的焦点堆栈照片合成方法 | |
CN109712247A (zh) | 基于混合现实技术的实景训练系统 | |
CN108171716B (zh) | 基于自适应跟踪框分割的视频人物装扮方法及装置 | |
CN103810729A (zh) | 一种基于等高线的光栅图像矢量化方法 | |
CN103824259B (zh) | 一种基于视觉区域比重平衡法则的图像构图美化方法和系统 | |
CN109493376B (zh) | 图像处理方法和装置、存储介质及电子装置 | |
CN110610504A (zh) | 基于骨架与色调的铅笔画生成方法及装置 | |
Chang et al. | Panoramic human structure maintenance based on invariant features of video frames | |
CN107680105B (zh) | 基于虚拟世界的视频数据实时处理方法及装置、计算设备 | |
CN104601890A (zh) | 利用移动终端拍摄人物的方法及装置 | |
Liu et al. | Fog effect for photography using stereo vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |