CN106683147A - 一种图像背景虚化的方法 - Google Patents

Abstract

本发明公开了一种图像背景虚化的方法，该方法将离焦深度估计的方法用于提取图像中的准焦区域即关注主体，结合超像素分割将关注主体与背景分割，并利用形态学二值化手段得到对焦主体区域模板和背景区域模板，对背景区域进行模糊，进一步将关注主体区域图与模糊背景区域图叠加得到最终背景虚化的结果图。可实现对原图像的背景进行虚化从而突出关注主体区域的效果，全过程可实现自动化与自能化，无需人工干预。

Description

一种图像背景虚化的方法

技术领域

本发明涉及图像处理领域，尤其涉及一种图像特效、美化和渲染的背景虚化方法。

背景技术

随着数字图像和多媒体技术的快速发展，各种类型的光学成像系统也越来越多，人们越来越多地使用譬如手机等移动设备来拍照和拍摄视频，拍摄背景虚化的图像也逐渐受到人们的青睐，然而各类便携的移动设备由于受到硬件条件的限制，所拍摄的作品无法达到单反相机的成像效果。单反相机中所拍摄的背景虚化图片用到的技巧是利用镜头里的光圈、焦距和物距的变性来达到虚化效果的，光圈越大、焦距越大或者物距越近，背景虚化的效果就月强烈。而改变这些条件无形中提高了对于拍照技巧的要求，同时严重影响了取景范围，限制了拍摄者的可操作空间。

对于手机相机或其他手持拍照设备而言，由于体积的限制，无法使用长焦镜头，想要实现背景虚化的效果往往只能拍摄一些近距离的物体，很难达到实用化的程度。目前一些背景虚化的软件，涉及一些抠图技术，或者基本需要人工干预选择出对焦主体区域，或者直接利用显著性来提取出前景目标区域，当我们所关注的区域不是前景区域时无法达到令人满意的效果。

发明内容

本发明的目的在于提出一种基于深度图提取的背景虚化方法，无需人工干预即可实现对焦主体和背景的分离，从而完成背景虚化。

本发明的目的是通过以下技术方案实现的：一种图像背景虚化的方法，该方法包括以下步骤：

(1)任意获取一张大小为m×n的原图像f；

(2)利用高斯卷积将原图像进行再模糊，得到图像d：

d＝f*g(i,j；σ+σ₁) (1)

此过程中，高斯滤波器为：

其中，i,j表示原图像f中的像素；σ为原始图像的模糊核，σ₁为所加高斯模糊的模糊核，同样地，再对原图进行模糊，使图像虚化，得到模糊图g；

(3)对图像d进行傅里叶变换，获得D；

(4)采用频谱对比度的方法对D进行处理，进一步获得稀疏深度图然后通过插值的方法得到全局离焦图

(5)利用基于熵率的超像素分割方法将全局离焦图进行对焦主体区域与背景区域分割，得到作为对焦主体的图像a；

(6)对对焦主体图像a进行形态学二值化处理，选取灰度值大于阈值Ta的部分得到主体二值图模板Ma：

a_i,j表示像素i,j处的灰度值；

(7)用全1矩阵对主体而值图模板处理得到背景而值图模板Mb：

Mb＝1m×n-Ma (4)

其中，1m×n是与图像分辨率相同的全1矩阵；

(8)将主体二值图模板Ma作用于原图，得到主体清晰的彩图Ia：

Ia＝f·Ma (5)

(9)将背景二值图模板Mb作用于高斯模糊图g，得到背景模糊彩图Ib：

Ib＝g·Mb (6)

(10)将主体清晰彩图Ia与背景模糊彩图Ib叠加，得到背景虚化彩图B：

B＝Ia+Ib (7)

B即为背景虚化的效果图。

本发明的有益效果在于：通过单幅图像深度估计的方法提取出拍摄者所关注的对焦主体区域，进一步结合基于熵率的超像素分割方法克服了全局深度图中纹理信息的影响，从而更加准确地时间对焦主体区域与背景区域的分离。利用形态学的二值化的手段有效地分离出作为对焦主体的前景模板与背景模板，进一步地将主体清晰的彩图与背景模糊的彩图进行叠加，得到最终的背景虚化效果图。

附图说明

图1为发明方法的流程框图。

图2为获得的前景为关注主体的原图像f。

图3为通过深度估计得到的全局离焦图

图4为利用基于熵率的超像素分割方法得到的对焦主体图像a。

图5为利用形态学二值化得到的主体二值图模板Ma。

图6为最终得到的背景虚化效果图B。

图7为利用传统方法得到的前景二值图。

图8为利用传统方法得到的背景虚化图。

具体实施方式

本发明一种利用单幅图像进行背景虚化的方法，通过单幅图像深度估计的方法提取出拍摄者所关注的对焦主体区域，进一步结合基于熵率的超像素分割方法克服了全局深度图中纹理信息的影响，从而更加准确地时间对焦主体区域与背景区域的分离。利用形态学的二值化的手段有效地分离出作为对焦主体的前景模板与背景模板，进一步地将主体清晰的彩图与背景模糊的彩图进行叠加，得到最终的背景虚化效果图。

下面结合附图和实例进行详细说明：

图1为本发明方法的简易流程框图。下面结合实施例对本发明作进一步说明。

(1)获取原图像f，本实施例中以前景为关注主体的图像为例，其图像大小为m×n，如图2所示；

(2)利用已知的高斯卷积将原图像进行再模糊，得到图像d：

d＝f*g(i,j；σ+σ₁) (1)

此过程中，高斯滤波器为：

其中，i,j表示原图像f中的像素；σ为原始图像的模糊核，σ₁为所加高斯模糊的模糊核，这里另σ₁＝0.5，同样地，对原图进行模糊，使得图像虚化，得到模糊图g，此处模糊核选用σ₂＝10从而达到背景虚化的效果；

(3)对图像d进行傅里叶变换，获得D：

D＝FG (3)

其中，{d,D},{f,F},{g,G}是傅里叶变换对；

(4)采用频谱对比度的方法对D进行处理，进一步获得稀疏深度图然后通过插值的方法得到全局离焦图如图3所示；

其中，频谱对比度为一个像素与相邻像素的绝对值对数差：

其中，B为当前像素N×N邻域的区域，通常邻域的大小取N＝3的区域，通过非线性回归分析建立边缘处频谱对比度与空间变化的离焦模糊量的关系：

c(i)是C(i)的傅里叶变换；

(5)利用基于熵率的超像素分割方法将全局离焦图进行前后景分割，得到作为对焦主体的前景图像a，如图4所示；

(6)对前景图像a进行形态学二值化处理，选取灰度值大于阈值Ta的部分得到前景二值图b，如图5所示：

a_i,j表示像素i,j处的灰度值；

(7)用全1矩阵对主体而值图模板处理得到背景而值图模板Mb：

Mb＝1m×n-Ma (7)

其中，1m×n是与图像分辨率相同的全1矩阵；

(8)将主体二值图模板Ma作用于原图，得到主体清晰的彩图Ia：

Ia＝f·Ma (8)

(9)将背景二值图模板Mb作用于高斯模糊图g，得到背景模糊彩图Ib：

Ib＝g·Mb (9)

(10)将主体清晰彩图Ia与背景模糊彩图Ib叠加，得到背景虚化彩图B：

B＝Ia+Ib (10)

B即为背景虚化的效果图，如图6所示。

本发明一种利用单幅图像进行背景虚化的方法，通过单幅图像深度估计的方法提取出拍摄者所关注的对焦主体区域，进一步结合基于熵率的超像素分割方法克服了全局深度图中纹理信息的影响，从而更加准确地时间对焦主体区域与背景区域的分离。利用形态学的二值化的手段有效地分离出作为对焦主体的前景模板与背景模板，进一步地将主体清晰的彩图与背景模糊的彩图进行叠加，得到最终的背景虚化效果图，很好地克服了传统背景虚化算法出现对主体和背景分离不完全或不准确的问题，并且全过程无需人工干预。

Claims (1)

1.一种图像背景虚化的方法，其特征在于，该方法包括以下步骤：

(1)任意获取一张大小为m×n的原图像f；

(2)利用高斯卷积将原图像进行再模糊，得到图像d：

d＝f*g(i,j；σ+σ₁) (1)

此过程中，高斯滤波器为：

$g(i,j;{\mathrm{\σ}}_1)=\frac{1}{2{\mathrm{\π\σ}}_1^2}\exp (-\frac{i^2+j^2}{2{\mathrm{\σ}}_1^2})---\left(2\right)$

其中，i,j表示原图像f中的像素；σ为原图像的模糊核，σ₁为所加高斯模糊的模糊核，同样地，再对原图进行模糊，使图像虚化，得到模糊图g。

(3)对图像d进行傅里叶变换，获得D。

(4)采用频谱对比度的方法对D进行处理，进一步获得稀疏深度图然后通过插值的方法得到全局离焦图

(5)利用基于熵率的超像素分割方法将全局离焦图进行对焦主体区域与背景区域分割，得到作为对焦主体的图像a。

(6)对对焦主体图像a进行形态学二值化处理，选取灰度值大于阈值Ta的部分得到主体二值图模板Ma：

$Ta=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{a}_{i,j}}{m\×n}---\left(3\right)$

a_i,j表示像素i,j处的灰度值。

(7)用全1矩阵对主体而值图模板处理得到背景而值图模板M_b：

M_b＝1_m×n-M_a (4)

其中，1_m×n是与图像分辨率相同的全1矩阵；

(8)将主体二值图模板M_a作用于原图，得到主体清晰的彩图I_a：

I_a＝f·M_a (5)

(9)将背景二值图模板M_b作用于高斯模糊图g，得到背景模糊彩图I_b：

I_b＝g·M_b (6)

(10)将主体清晰彩图I_a与背景模糊彩图I_b叠加，得到背景虚化彩图B：

B＝I_a+I_b (7)

B即为背景虚化的效果图。