CN106683147B - 一种图像背景虚化的方法 - Google Patents
一种图像背景虚化的方法 Download PDFInfo
- Publication number
- CN106683147B CN106683147B CN201710057156.7A CN201710057156A CN106683147B CN 106683147 B CN106683147 B CN 106683147B CN 201710057156 A CN201710057156 A CN 201710057156A CN 106683147 B CN106683147 B CN 106683147B
- Authority
- CN
- China
- Prior art keywords
- background
- image
- main body
- obtains
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000694 effects Effects 0.000 claims abstract description 16
- 210000000746 body region Anatomy 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004925 denaturation Methods 0.000 description 1
- 230000036425 denaturation Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像背景虚化的方法,该方法将离焦深度估计的方法用于提取图像中的准焦区域即关注主体,结合超像素分割将关注主体与背景分割,并利用形态学二值化手段得到对焦主体区域模板和背景区域模板,对背景区域进行模糊,进一步将关注主体区域图与模糊背景区域图叠加得到最终背景虚化的结果图。可实现对原图像的背景进行虚化从而突出关注主体区域的效果,全过程可实现自动化与自能化,无需人工干预。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种图像特效、美化和渲染的背景虚化方法。
背景技术
随着数字图像和多媒体技术的快速发展,各种类型的光学成像系统也越来越多,人们越来越多地使用譬如手机等移动设备来拍照和拍摄视频,拍摄背景虚化的图像也逐渐受到人们的青睐,然而各类便携的移动设备由于受到硬件条件的限制,所拍摄的作品无法达到单反相机的成像效果。单反相机中所拍摄的背景虚化图片用到的技巧是利用镜头里的光圈、焦距和物距的变性来达到虚化效果的,光圈越大、焦距越大或者物距越近,背景虚化的效果就月强烈。而改变这些条件无形中提高了对于拍照技巧的要求,同时严重影响了取景范围,限制了拍摄者的可操作空间。
对于手机相机或其他手持拍照设备而言,由于体积的限制,无法使用长焦镜头,想要实现背景虚化的效果往往只能拍摄一些近距离的物体,很难达到实用化的程度。目前一些背景虚化的软件,涉及一些抠图技术,或者基本需要人工干预选择出对焦主体区域,或者直接利用显著性来提取出前景目标区域,当我们所关注的区域不是前景区域时无法达到令人满意的效果。
发明内容
本发明的目的在于提出一种基于深度图提取的背景虚化方法,无需人工干预即可实现对焦主体和背景的分离,从而完成背景虚化。
本发明的目的是通过以下技术方案实现的:一种图像背景虚化的方法,该方法包括以下步骤:
(1)任意获取一张大小为m×n的原图像f;
(2)利用高斯卷积将原图像进行再模糊,得到图像d:
d=f*g(i,j;σ+σ1) (1)
此过程中,高斯滤波器为:
其中,i,j表示原图像f中的像素;σ为原始图像的模糊核,σ1为所加高斯模糊的模糊核,同样地,再对原图进行模糊,使图像虚化,得到模糊图g;
(3)对图像d进行傅里叶变换,获得D;
(4)采用频谱对比度的方法对D进行处理,进一步获得稀疏深度图然后通过插值的方法得到全局离焦图
(5)利用基于熵率的超像素分割方法将全局离焦图进行对焦主体区域与背景区域分割,得到作为对焦主体的图像a;
(6)对对焦主体图像a进行形态学二值化处理,选取灰度值大于阈值Ta的部分得到主体二值图模板Ma:
ai,j表示像素i,j处的灰度值;
(7)用全1矩阵对主体二值图模板处理得到背景二值图模板Mb:
Mb=1m×n-Ma (4)
其中,1m×n是与图像分辨率相同的全1矩阵;
(8)将主体二值图模板Ma作用于原图,得到主体清晰的彩图Ia:
Ia=f·Ma (5)
(9)将背景二值图模板Mb作用于高斯模糊图g,得到背景模糊彩图Ib:
Ib=g·Mb (6)
(10)将主体清晰的彩图Ia与背景模糊彩图Ib叠加,得到背景虚化彩图B:
B=Ia+Ib (7)
B即为背景虚化的效果图。
本发明的有益效果在于:通过单幅图像深度估计的方法提取出拍摄者所关注的对焦主体区域,进一步结合基于熵率的超像素分割方法克服了全局深度图中纹理信息的影响,从而更加准确地时间对焦主体区域与背景区域的分离。利用形态学的二值化的手段有效地分离出作为对焦主体的前景模板与背景模板,进一步地将主体清晰的彩图与背景模糊的彩图进行叠加,得到最终的背景虚化效果图。
附图说明
图1为发明方法的流程框图。
图2为获得的前景为关注主体的原图像f。
图3为通过深度估计得到的全局离焦图
图4为利用基于熵率的超像素分割方法得到的对焦主体图像a。
图5为利用形态学二值化得到的主体二值图模板Ma。
图6为最终得到的背景虚化效果图B。
图7为利用传统方法得到的前景二值图。
图8为利用传统方法得到的背景虚化图。
具体实施方式
本发明一种利用单幅图像进行背景虚化的方法,通过单幅图像深度估计的方法提取出拍摄者所关注的对焦主体区域,进一步结合基于熵率的超像素分割方法克服了全局深度图中纹理信息的影响,从而更加准确地时间对焦主体区域与背景区域的分离。利用形态学的二值化的手段有效地分离出作为对焦主体的前景模板与背景模板,进一步地将主体清晰的彩图与背景模糊的彩图进行叠加,得到最终的背景虚化效果图。
下面结合附图和实例进行详细说明:
图1为本发明方法的简易流程框图。下面结合实施例对本发明作进一步说明。
(1)获取原图像f,本实施例中以前景为关注主体的图像为例,其图像大小为m×n,如图2所示;
(2)利用已知的高斯卷积将原图像进行再模糊,得到图像d:
d=f*g(i,j;σ+σ1) (1)
此过程中,高斯滤波器为:
其中,i,j表示原图像f中的像素;σ为原始图像的模糊核,σ1为所加高斯模糊的模糊核,这里另σ1=0.5,同样地,对原图进行模糊,使得图像虚化,得到模糊图g,此处模糊核选用σ2=10从而达到背景虚化的效果;
(3)对图像d进行傅里叶变换,获得D:
D=FG (3)
其中,{d,D},{f,F},{g,G}是傅里叶变换对;
(4)采用频谱对比度的方法对D进行处理,进一步获得稀疏深度图 然后通过插值的方法得到全局离焦图如图3所示;
其中,频谱对比度为一个像素与相邻像素的绝对值对数差:
其中,B为当前像素N×N邻域的区域,通常邻域的大小取N=3的区域,通过非线性回归分析建立边缘处频谱对比度与空间变化的离焦模糊量的关系:
c(i)是C(i)的傅里叶变换;
(5)利用基于熵率的超像素分割方法将全局离焦图 进行前后景分割,得到作为对焦主体的前景图像a,如图4所示;
(6)对前景图像a进行形态学二值化处理,选取灰度值大于阈值Ta的部分得到前景二值图b,如图5所示:
ai,j表示像素i,j处的灰度值;
(7)用全1矩阵对主体二值图模板处理得到背景二值图模板Mb:
Mb=1m×n-Ma (7)
其中,1m×n是与图像分辨率相同的全1矩阵;
(8)将主体二值图模板Ma作用于原图,得到主体清晰的彩图Ia:
Ia=f·Ma (8)
(9)将背景二值图模板Mb作用于高斯模糊图g,得到背景模糊彩图Ib:
Ib=g·Mb (9)
(10)将主体清晰彩图Ia与背景模糊彩图Ib叠加,得到背景虚化彩图B:
B=Ia+Ib (10)
B即为背景虚化的效果图,如图6所示。
本发明一种利用单幅图像进行背景虚化的方法,通过单幅图像深度估计的方法提取出拍摄者所关注的对焦主体区域,进一步结合基于熵率的超像素分割方法克服了全局深度图中纹理信息的影响,从而更加准确地时间对焦主体区域与背景区域的分离。利用形态学的二值化的手段有效地分离出作为对焦主体的前景模板与背景模板,进一步地将主体清晰的彩图与背景模糊的彩图进行叠加,得到最终的背景虚化效果图,很好地克服了传统背景虚化算法出现对主体和背景分离不完全或不准确的问题,并且全过程无需人工干预。
Claims (1)
1.一种图像背景虚化的方法,其特征在于,该方法包括以下步骤:
(1)任意获取一张大小为m×n的原图像f;
(2)利用高斯卷积将原图像进行再模糊,得到图像d:
d=f*g(i,j;σ+σ1) (1)
此过程中,高斯滤波器为:
其中,i,j表示原图像f中的像素;σ为原图像的模糊核,σ1为所加高斯模糊的模糊核,同样地,再对原图进行模糊,使图像虚化,得到模糊图g;
(3)对图像d进行傅里叶变换,获得D;
(4)采用频谱对比度的方法对D进行处理,进一步获得稀疏深度图然后通过插值的方法得到全局离焦图
(5)利用基于熵率的超像素分割方法将全局离焦图进行对焦主体区域与背景区域分割,得到作为对焦主体的图像a;
(6)对对焦主体图像a进行形态学二值化处理,选取灰度值大于阈值Ta的部分得到主体二值图模板Ma:
ai,j表示像素i,j处的灰度值;
(7)用全1矩阵对主体二值图模板处理得到背景二值图模板Mb:
Mb=1m×n-Ma (4)
其中,1m×n是与图像分辨率相同的全1矩阵;
(8)将主体二值图模板Ma作用于原图,得到主体清晰的彩图Ia:
Ia=f·Ma (5)
(9)将背景二值图模板Mb作用于高斯模糊图g,得到背景模糊彩图Ib:
Ib=g·Mb (6)
(10)将主体清晰的彩图Ia与背景模糊彩图Ib叠加,得到背景虚化彩图B:
B=Ia+Ib (7)
B即为背景虚化的效果图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710057156.7A CN106683147B (zh) | 2017-01-23 | 2017-01-23 | 一种图像背景虚化的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710057156.7A CN106683147B (zh) | 2017-01-23 | 2017-01-23 | 一种图像背景虚化的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106683147A CN106683147A (zh) | 2017-05-17 |
CN106683147B true CN106683147B (zh) | 2019-08-30 |
Family
ID=58860168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710057156.7A Expired - Fee Related CN106683147B (zh) | 2017-01-23 | 2017-01-23 | 一种图像背景虚化的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106683147B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146767A (zh) * | 2017-09-04 | 2019-01-04 | 成都通甲优博科技有限责任公司 | 基于深度图的图像虚化方法及装置 |
CN108038817A (zh) * | 2017-10-30 | 2018-05-15 | 努比亚技术有限公司 | 一种图像背景虚化方法、终端及计算机可读存储介质 |
CN108154465B (zh) * | 2017-12-19 | 2022-03-01 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
CN109285178A (zh) * | 2018-10-25 | 2019-01-29 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置及存储介质 |
WO2020107186A1 (en) * | 2018-11-26 | 2020-06-04 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Systems and methods for taking telephoto-like images |
CN109599032B (zh) * | 2018-12-28 | 2021-10-26 | 厦门天马微电子有限公司 | 一种柔性显示面板及柔性显示装置 |
CN113052754B (zh) * | 2019-12-26 | 2022-06-07 | 武汉Tcl集团工业研究院有限公司 | 一种图片背景虚化的方法及装置 |
CN111861867B (zh) * | 2020-07-02 | 2024-02-13 | 泰康保险集团股份有限公司 | 图像背景虚化方法和装置 |
CN112184586A (zh) * | 2020-09-29 | 2021-01-05 | 中科方寸知微(南京)科技有限公司 | 基于深度感知的单目视觉图像背景快速虚化的方法及系统 |
CN112862852A (zh) * | 2021-02-24 | 2021-05-28 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
CN113284080A (zh) * | 2021-06-17 | 2021-08-20 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930565A (zh) * | 2012-09-25 | 2013-02-13 | 哈尔滨工业大学 | 一种静止背景中折返运动目标的离散退化图像构造方法 |
JP5157768B2 (ja) * | 2008-09-08 | 2013-03-06 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
CN105513105A (zh) * | 2015-12-07 | 2016-04-20 | 天津大学 | 基于显著图的图像背景虚化方法 |
-
2017
- 2017-01-23 CN CN201710057156.7A patent/CN106683147B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5157768B2 (ja) * | 2008-09-08 | 2013-03-06 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
CN102930565A (zh) * | 2012-09-25 | 2013-02-13 | 哈尔滨工业大学 | 一种静止背景中折返运动目标的离散退化图像构造方法 |
CN105513105A (zh) * | 2015-12-07 | 2016-04-20 | 天津大学 | 基于显著图的图像背景虚化方法 |
Non-Patent Citations (2)
Title |
---|
《一种覆盖范围可调的变频梯度自动对焦评价函数》;王烨茹等;《红外与激光工程》;20161030;第1-6页 |
《基于饱和像素剔除的自动对焦评价函数》;王烨茹等;《光学学报》;20161231;第1-8页 |
Also Published As
Publication number | Publication date |
---|---|
CN106683147A (zh) | 2017-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106683147B (zh) | 一种图像背景虚化的方法 | |
US10897609B2 (en) | Systems and methods for multiscopic noise reduction and high-dynamic range | |
US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
US9591237B2 (en) | Automated generation of panning shots | |
WO2017016050A1 (zh) | 一种图像的预览方法、装置及终端 | |
CN110324532B (zh) | 一种图像虚化方法、装置、存储介质及电子设备 | |
CN111986129B (zh) | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 | |
US9444991B2 (en) | Robust layered light-field rendering | |
EP2947627B1 (en) | Light field image depth estimation | |
KR101429371B1 (ko) | 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘 | |
CN109474780B (zh) | 一种用于图像处理的方法和装置 | |
US20140152886A1 (en) | Bokeh amplification | |
KR101437234B1 (ko) | 초점이 흐려진 필박스 화상을 이용하여 깊이 평가를 수행하는 시스템 및 방법 | |
US10726524B2 (en) | Low-resolution tile processing for real-time bokeh | |
CN105227847A (zh) | 一种手机的相机拍照方法和系统 | |
US8995784B2 (en) | Structure descriptors for image processing | |
KR20230074136A (ko) | 세일리언시 기반 캡처 또는 이미지 프로세싱 | |
CN110992395A (zh) | 图像训练样本的生成方法及装置、运动跟踪方法及装置 | |
US10185888B2 (en) | Systems and methods for processing images of objects using lighting keyframes | |
Shi et al. | A light field demosaicing method with double guided filtering | |
Wu et al. | Dual-camera HDR synthesis guided by long-exposure image | |
CN112950692B (zh) | 一种基于移动游戏平台的图像景深处理方法及其系统 | |
Liu et al. | A new freeform depth of field controlling method based on focused plenoptic camera | |
CN106780469A (zh) | 一种多景深场景离焦序列图的质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190830 Termination date: 20200123 |