CN106993112B - 基于景深的背景虚化方法及装置和电子装置 - Google Patents

基于景深的背景虚化方法及装置和电子装置 Download PDF

Info

Publication number
CN106993112B
CN106993112B CN201710138815.XA CN201710138815A CN106993112B CN 106993112 B CN106993112 B CN 106993112B CN 201710138815 A CN201710138815 A CN 201710138815A CN 106993112 B CN106993112 B CN 106993112B
Authority
CN
China
Prior art keywords
depth
scene
blurring
background
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710138815.XA
Other languages
English (en)
Other versions
CN106993112A (zh
Inventor
孙剑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710138815.XA priority Critical patent/CN106993112B/zh
Publication of CN106993112A publication Critical patent/CN106993112A/zh
Application granted granted Critical
Publication of CN106993112B publication Critical patent/CN106993112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Abstract

本发明公开了一种基于景深的背景虚化方法,用于处理电子装置采集的场景数据,场景数据包括场景主图像。背景虚化方法包括:处理场景数据以获取场景主图像的图像深度信息;根据图像深度信息获得场景主图像的最前点;确定除与最前点邻接且深度连续变化的区域外的区域为背景部分;获取背景部分的背景深度信息;根据背景深度信息划分背景部分为至少一个虚化区域,每个虚化区域对应的深度范围的跨度与深度范围距离场景主图像的最前点的距离正相关;确定每个虚化区域的虚化程度,每个虚化区域的虚化程度与对应的深度正相关;虚化背景部分。本发明还公开了一种基于景深的背景虚化装置和电子装置。本发明可使图像的虚化效果更自然、更接近光学虚焦效果。

Description

基于景深的背景虚化方法及装置和电子装置
技术领域
本发明涉及图像处理技术,尤其涉及一种基于景深的背景虚化方法及装置和电子装置。
背景技术
现有的背景虚化技术效果不理想。
发明内容
本发明的实施例提供了一种基于景深的背景虚化方法、基于景深的背景虚化装置和电子装置。
本发明实施方式的基于景深的背景虚化方法,用于处理电子装置采集的场景数据。所述场景数据包括场景主图像,所述背景虚化方法包括以下步骤:
处理所述场景数据以获取所述场景主图像的图像深度信息;
根据所述图像深度信息获得所述场景主图像的最前点;
确定除与所述场景主图像的最前点邻接且深度连续变化的区域外的区域为背景部分;
获取所述背景部分的背景深度信息;
根据所述背景深度信息划分所述背景部分为至少一个虚化区域,每个所述虚化区域对应的深度范围的跨度与所述深度范围距离所述场景主图像的最前点的距离正相关;
确定每个所述虚化区域的虚化程度,每个所述虚化区域的虚化程度与对应的深度正相关;和
虚化所述背景部分。
本发明实施方式的基于景深的背景虚化装置,用于处理电子装置采集的场景数据。所述场景数据包括场景主图像,所述背景虚化装置包括处理模块、第一获取模块、第一确定模块、第二获取模块、划分模块、第二确定模块和虚化模块。所述处理模块用于处理所述场景数据以获取所述场景主图像的图像深度信息;所述第一获取模块用于根据所述图像深度信息获得所述场景主图像的最前点;所述第一确定模块用于确定除与所述场景主图像的最前点邻接且深度连续变化的区域外的区域为背景部分;所述第二获取模块用于获取所述背景部分的背景深度信息;所述划分模块用于根据所述背景深度信息划分所述背景部分为至少一个虚化区域,每个所述虚化区域对应的深度范围的跨度与所述深度范围距离所述场景主图像的最前点的距离正相关;所述第二确定模块用于确定每个所述虚化区域的虚化程度,每个所述虚化区域的虚化程度与对应的深度正相关;所述虚化模块用于虚化所述背景部分。
本发明实施方式的电子装置包括成像装置和上述的背景虚化装置。成像装置和背景虚化装置电连接。
本发明实施方式的基于景深的背景虚化方法、基于景深的背景虚化装置和电子装置基于深度信息识别图像的背景部分,并根据深度信息划分多个虚化区域,其中每个虚化区域对应的深度范围的跨度随虚化区域所处的深度位置的增加而增大,并根据深度信息对不同虚化区域进行不同程度的虚化,使得图像的虚化效果更加自然、更接近光学虚焦效果,提升用户的视觉感受。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的基于景深的背景虚化方法的流程示意图;
图2是本发明实施方式的电子装置的功能模块示意图;
图3是本发明某些实施方式的背景虚化方法的状态示意图;
图4是本发明某些实施方式的背景虚化方法的状态示意图;
图5是本发明某些实施方式的背景虚化方法的流程示意图;
图6是本发明某些实施方式的处理模块的功能模块示意图;
图7是本发明某些实施方式的背景虚化方法的流程示意图;
图8是本发明某些实施方式的处理模块的功能模块示意图;
图9是本发明某些实施方式的背景虚化方法的流程示意图;
图10是本发明某些实施方式的划分模块的功能模块示意图;
图11是本发明某些实施方式的背景虚化方法的状态示意图;
图12是本发明某些实施方式的背景虚化方法的流程示意图;
图13是本发明某些实施方式的划分模块的功能模块示意图;
图14是本发明某些实施方式的背景虚化方法的流程示意图;和
图15是本发明某些实施方式的虚化模块的功能模块示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
请一并参阅图1至2,本发明实施方式的背景虚化方法,用于处理电子装置100采集的场景数据。场景数据包括场景主图像,背景虚化方法包括以下步骤:
S11:处理场景数据以获取场景主图像的图像深度信息;
S12:根据图像深度信息获得场景主图像的最前点;
S13:确定除与所场景主图像的最前点邻接且深度连续变化的区域外的区域为背景部分;
S14:获取背景部分的背景深度信息;
S15:根据背景深度信息划分背景部分为至少一个虚化区域,每个虚化区域对应的深度范围的跨度与深度范围距离场景主图像的最前点的距离正相关;
S16:确定每个虚化区域的虚化程度,每个虚化区域的虚化程度与对应的深度正相关;和
S17:虚化背景部分。
本发明实施方式的基于景深的背景虚化方法可由本发明实施方式的基于景深的背景虚化装置10实现。背景虚化装置10包括处理模块11、第一获取模块12、第一确定模块13、第二获取模块14、划分模块15、第二确定模块16、虚化模块17。步骤S11可以由处理模块11实现,步骤S12可以由第一获取模块12实现,步骤S13可以由第一确定模块13实现,步骤S14可以由第二获取模块14实现,步骤S15可以由划分模块15实现,步骤S16可以由第二确定模块16实现,步骤S17可以由虚化模块17实现。
也即是说,处理模块11用于处理场景数据以获取场景主图像的图像深度信息;第一获取模块12用于根据图像深度信息获得场景主图像的最前点;第一确定模块13用于确定除与所场景主图像的最前点邻接且深度连续变化的区域外的区域为背景部分;第二获取模块14用于获取背景部分的背景深度信息;划分模块15用于根据背景深度信息划分背景部分为至少一个虚化区域,每个虚化区域对应的深度范围的跨度与深度范围距离场景主图像的最前点的距离正相关;虚化模块17用于虚化背景部分。
本发明实施方式的基于景深的背景虚化装置10应用于本发明实施方式电子装置100。也即是说,本发明实施方式的电子装置100包括本发明实施方式的背景虚化装置10。当然,电子装置100还包括成像装置20。其中,背景虚化装置10和成像装置20电连接。
在某些实施方式中,电子装置100包括手机、平板电脑、笔记本电脑等,在此不作任何限制。在本发明的具体实施例中,电子装置100为手机。
可以理解,成像装置20拍摄的图像中,前景部分一般为用户主要关注的部分。本发明实施方式的背景虚化方法基于深度信息识别图像的背景部分,并根据深度信息划分多个虚化区域,其中每个虚化区域对应的深度范围的跨度随虚化区域所处的深度位置的增加而增大,并根据深度信息对不同虚化区域进行不同程度的虚化,使得图像的虚化效果更加自然、更接近光学虚焦效果,提升用户的视觉感受。
具体地,请一并参阅图3至4,先根据图像深度信息获得场景主图像的最前点,最前点相当于前景部分的开端,从最前点进行扩散,获取与最前点邻接并且深度连续变化的区域,这些区域和最前点归并为前景区域。图3所示场景主图像中人物的手臂处于场景主图像的最前端,最前点为场景中任务手臂上的某一点,从该点进行扩散,将与该点相邻接且深度连续变化的区域归并为前景部分,前景部分即为图中的人像。因此除人像外的区域即划分为背景部分。随后,将原始图像中的背景部分划分为两个部分,原始图像中第一背景部分的深度相较于第二背景部分的深度较小,且第一背景部分对应的深度范围的跨度小于第二背景部分对应的深度范围的跨度。对第一背景部分和第二背景部分分别就进行不同程度的虚化处理,第一背景部分的虚化程度小于第二背景部分的虚化程度,虚化后的图像虚化的效果自然过渡,接近光学虚焦的效果,突出图像中的人物部分,视觉感受较好。
需要说明的是,最前点指的是深度最小的人或物体对应的像素点,即物距最小或者离成像装置20最近的人或物体对应的像素点。邻接是指两个像素点连接在一起。深度连续变化时指邻接的两个像素点的深度差值小于预定差值,或者说深度之差小于预定差值的两个邻接的像素点的深度连续变化。
请参阅图5,在某些实施方式中,场景数据包括与场景主图像对应的深度图像,步骤S11处理场景数据以获取场景主图像的图像深度信息包括以下子步骤:
步骤S111:处理深度图像以获取场景主图像的深度数据;和
步骤S112:处理深度数据以得到图像深度信息。
请参阅图6,在某些实施方式中,处理模块11包括第一处理单元111和第二处理单元112。步骤S111可以由第一处理单元111实现,步骤S112可以由第二处理单元112实现。
也即是说,第一处理单元111用于处理深度图像以获取场景主图像的深度数据;第二处理单元112用于处理深度数据以得到所述图像深度信息。
可以理解,场景数据包括与场景主图像对应的深度图像。其中,场景主图像为RGB彩色图像,深度图像包含当前场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系,因此,可以根据深度图像获取到场景主图像的图像深度信息。
在某些实施方式中,成像装置20包括深度摄像头。深度摄像头可用来获取深度图像。其中,深度摄像头包括基于结构光深度测距的深度摄像头和基于TOF测距的深度摄像头。
具体地,基于结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中,在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像,再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置以及当前待拍摄的场景中各个人或物体的表面形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的,因此,由畸变的二位光条图像坐标便可重现场景中各个人或物体的表面三维轮廓,从而可以获取图像深度信息。结构光深度测距具有较高的分辨率和测量精度,可以提升获取的图像深度信息的精确度。
基于TOF(time of flight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体,再从物体反射回来的相位变化,在一个波长的范围内根据光速,可以实时的获取整个场景的深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样,因此调制红外光从发出到接收所用时间是不同的,如此,便可获取场景的图像深度信息。基于TOF深度测距的深度摄像头计算图像深度信息时不受被摄物表面的灰度和特征的影响,且可以快速地计算图像深度信息,具有很高的实时性。
请参阅图7,在某些实施方式中,场景数据包括与场景主图像对应的场景副图像,步骤S111处理场景数据以获取场景主图像的图像深度信息包括以下子步骤:
S113:处理场景主图像和场景副图像以得到场景主图像的深度数据;和
S114:处理深度数据以得到图像深度信息。
请参阅图8,在某些实施方式中,处理模块11包括第三处理单元113和第四处理单元114。步骤S113可以由第三处理单元113实现,步骤S114可以由第四处理单元1114实现。
也即是说,第三处理单元113用于处理场景主图像和场景副图像以得到场景主图像的深度数据;第四处理子单元114用于处理深度数据以得到图像深度信息。
可以理解,深度信息可以通过双目立体视觉测距的方法进行获取,此时场景数据包括场景主图像和场景副图像。其中,场景主图像和场景副图像均为RGB彩色图像。双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同位置成像以获得场景的立体图像对,再通过算法匹配出立体图像对的相应像点,从而计算出视差。最后采用基于三角测量的方法恢复深度信息。如此,通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得当前场景的图像深度信息。
在某些实施方式中,成像装置20包括主摄像头和副摄像头。
可以理解,采用双目立体视觉测距方法获取深度信息时,需利用两个摄像头进行成像。场景主图像可由主摄像头拍摄得到,场景副图像可由副摄像头拍摄得到。其中,主摄像头和副摄像头的规格相同。如此,根据主摄像头和副摄像头拍摄得到的立体图像对获取当前场景的图像深度信息。
请参阅图9,在某些实施方式中,步骤S15根据背景深度信息划分背景部分为至少一个虚化区域包括以下子步骤:
S151:寻找背景部分的最前点;
S152:从背景部分的最前点开始到远景点划分成不同的深度范围;和
S153:将背景部分属于同一深度范围的区域划分为同一虚化区域。
请参阅图10,在某些实施方式中,划分模块15包括寻找单元151、第一划分单元152和第二划分单元153。步骤S151可以由寻找单元151实现,步骤S152可以由第一划分单元152实现,步骤S153可以由第二划分单元153实现。
也即是说,寻找单元151用于寻找背景部分的最前点;第一划分单元152用于从背景部分的最前点开始到远景点划分成不同的设定深度范围;第二划分单元153用于将背景部分属于同一设定深度范围的区域划分为同一虚化区域。
如此,根据背景部分的深度将背景部分划分为多个虚化区域,每个虚化区域对应一个设定深度范围,以便对各个虚化区域进行不同程度的虚化操作。
需要说明的是,每个虚化区域对应的深度范围的跨度与每个虚化区域所处的深度位置相关。虚化区域所处的深度越深,虚化区域对应的深度范围的跨度越大。其中,与场景主图像的最前点距离最近的第一深度范围为第一虚化区域,紧接第一虚化区域后的虚化区域为第二虚化区域,第二虚化区域具有第二深度范围,紧接第二虚化区域后的虚化区域为第三虚化区域,第三虚化区域具有第三深度范围,以此类推。其中,第一深度范围的跨度小于第二深度范围的跨度,第二深度范围的跨度小于第三深度范围的跨度,以此类推。如此,距离背景部分的最前点越远的虚化区域的设定深度范围跨度越大,虚化处理后的图片的虚化效果越接近光学虚焦的效果,用户的视觉感受更佳。
具体地,请参阅图11,图中背景部分的最前点处于深度即物距为1米的位置,对应于图中人像后脑勺的位置。将物距为1米至3米的背景部分划分为第一虚化区域,第一虚化区域的第一深度范围的跨度为2米,此时第一虚化区域对应于图像中人像后脑勺位置至人像背后的树干位置(包含树干)的部分。将物距为3米至10米的背景部分划分为第二虚化区域,第二虚化区域的第二深度范围的跨度为7米,此时第二虚化区域对应于图像中人像背后的树干位置至马路右侧的小树林位置(包含小树林)的部分。对第一虚化区域和第二虚化区域进行不同程度的虚化处理后,从图中可以看出,树干部分的虚化程度小于小树林部分的虚化程度。虚化处理后的图像的虚化效果接近光学虚焦的效果,用户的视觉感受更佳。
请参阅图12,在某些实施方式中,步骤S152从背景部分的最前点开始到远景点划分成不同的深度范围包括以下子步骤:
S1521:将大于深度阈值的深度范围划分为远景深度范围。
请参阅图13,在某些实施方式中,第一划分单元152包括处理子单元1521。步骤S1521可以由处理子单元1521实现。
也即是说,处理子单元1521用于将大于深度阈值的深度范围划分为远景深度范围。
可以理解,当背景部分的深度大于某一深度阈值时,获得的大于深度阈值部分的背景部各个物体的深度信息的精度较小,且对该大于深度阈值部分的背景继续划分多个虚化区域后各个虚化区域的虚化程度差异不明显,如此将大于该深度阈值的背景部分划分为多个虚化区域的作用不大。因此,将大于该深度阈值的背景部分直接划分为远景深度范围,远景深度范围为一个虚化区域。
需要说明的是,深度阈值的取值范围为5米至15米。也即是说,深度阈值的值可为5米、6米、10米、15米等数值。
具体地,请再参阅图11,物距大于10米的部分即为远景深度范围的部分,将该部划分为第三虚化区域,也即是说,此时的深度阈值的值为10米。第三虚化区域对应于图像中小树林位置至远景点的部分。如此,从图中可以看出,小树林部分的虚化程度小于远景点位置的虚化程度。虚化处理后的图像的虚化效果自然过渡,接近光学虚焦的效果。
请参阅图14,在某些实施方式中,步骤S17虚化背景部分包括以下子步骤:
S171:根据虚化程度确定对应的虚化区域的高斯核;和
S172:根据高斯核虚化对应的虚化区域。
请参阅图15,在某些实施方式中,虚化模块17包括确定单元171和虚化单元172。步骤S171可以由确定单元171实现,步骤S172可以由虚化单元172实现。
也即是说,确定单元171用于根据虚化程度确定对应的虚化区域的高斯核;虚化单元172用于根据高斯核虚化对应的虚化区域。
如此,采用不同的高斯核对场景主图像的背景部分的各个虚化区域进行不同程度的虚化处理,提升图像的虚化效果。
具体地,图像虚化一般采用高斯核函数进行模糊处理,其中,高斯核可看作为权重矩阵,对每个像素采用不同的权重矩阵进行高斯模糊值得计算,即可得到不同的虚化效果。权重矩阵与高斯核函数的方差有关,方差越大,表示高斯核函数的径向作用范围越宽,平滑效果越好即模糊程度越高。计算每个像素的高斯模糊值时,将所要计算的像素作为中心像素,并采用权重矩阵对中心像素周边的像素点的像素值进行加权计算最终得到所要计算的像素的高斯模糊值。在本发明的具体实施例中,同一虚化区域采用相同的权重矩阵使得同一虚化区域具有相同的虚化效果。不同的虚化区域采用不同的权重矩阵,距离背景部分的前景点越远的虚化区域的权重矩阵对应的方差越小,虚化程度越高。
电子装置100还包括壳体、存储器、电路板和电源电路。其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路用于为电子装置100的各个电路或器件供电;存储器用于存储可执行程序代码;背景虚化装置10通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的背景虚化方法。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (13)

1.一种基于景深的背景虚化方法,用于处理电子装置采集的场景数据,其特征在于,所述场景数据包括场景主图像,所述背景虚化方法包括以下步骤:
处理所述场景数据以获取所述场景主图像的图像深度信息;
根据所述图像深度信息获得所述场景主图像的最前点,所述最前点为所述场景主图像中深度最小的人或物体对应的像素点;
确定除与所述场景主图像的最前点邻接且深度连续变化的区域外的区域为背景部分;
获取所述背景部分的背景深度信息;
根据所述背景深度信息划分所述背景部分为至少一个虚化区域,沿所述场景主图像的最前点至远景点的方向,所述虚化区域对应的深度范围的跨度逐渐增大;
所述根据所述背景深度信息划分所述背景部分为至少一个虚化区域的步骤包括以下子步骤:
寻找所述背景部分的最前点;
从所述背景部分的最前点开始到所述远景点划分成不同的深度范围;和
将所述背景部分属于同一所述深度范围的区域划分为同一所述虚化区域;
确定每个所述虚化区域的虚化程度,沿所述场景主图像的最前点至所述远景点的方向,所述虚化区域的虚化程度逐渐增强;和
虚化所述背景部分。
2.如权利要求1所述的背景虚化方法,其特征在于,所述场景数据包括与所述场景主图像对应的深度图像,所述处理所述场景数据以获取所述场景主图像的图像深度信息的步骤包括以下子步骤:
处理所述深度图像以获取所述场景主图像的深度数据;和
处理所述深度数据以得到所述图像深度信息。
3.如权利要求1所述的背景虚化方法,其特征在于,所述场景数据包括与所述场景主图像对应的场景副图像,所述处理所述场景数据以获取所述场景主图像的图像深度信息的步骤包括以下子步骤:
处理所述场景主图像和所述场景副图像以得到所述场景主图像的深度数据;和
处理所述深度数据以得到所述图像深度信息。
4.如权利要求1所述的背景虚化方法,其特征在于,所述从所述背景部分的最前点开始到所述远景点划分成不同的深度范围的步骤包括以下步骤:
将大于深度阈值的深度范围划分为远景深度范围。
5.如权利要求1所述的背景虚化方法,其特征在于,所述虚化所述背景部分的步骤包括以下子步骤:
根据所述虚化程度确定对应的所述虚化区域的高斯核;和
根据所述高斯核虚化对应的所述虚化区域。
6.一种基于景深的背景虚化装置,用于处理电子装置采集的场景数据,其特征在于,所述场景数据包括场景主图像,所述背景虚化装置包括:
处理模块,所述处理模块用于处理所述场景数据以获取所述场景主图像的图像深度信息;
第一获取模块,所述第一获取模块用于根据所述图像深度信息获得所述场景主图像的最前点,所述最前点为所述场景主图像中深度最小的人或物体对应的像素点;
第一确定模块,所述第一确定模块用于确定除与所述场景主图像的最前点邻接且深度连续变化的区域外的区域为背景部分;
第二获取模块,所述第二获取模块用于获取所述背景部分的背景深度信息;
划分模块,所述划分模块用于根据所述背景深度信息划分所述背景部分为至少一个虚化区域,沿所述场景主图像的最前点至远景点的方向,所述虚化区域对应的深度范围的跨度逐渐增大;
所述划分模块包括:
寻找单元,所述寻找单元用于寻找所述背景部分的最前点;
第一划分单元,所述第一划分单元用于从所述背景部分的最前点开始到所述远景点划分成不同的深度范围;和
第二划分单元,所述第二划分单元用于将所述背景部分属于同一所述深度范围的区域划分为同一所述虚化区域;第二确定模块,所述第二确定模块用于确定每个所述虚化区域的虚化程度,沿所述场景主图像的最前点至所述远景点的方向,所述虚化区域的虚化程度逐渐增强;和
虚化模块,所述虚化模块用于虚化所述背景部分。
7.如权利要求6所述的背景虚化装置,其特征在于,所述场景数据包括与所述场景主图像对应的深度图像,所述处理模块包括:
第一处理单元,所述第一处理单元用于处理所述深度图像以获取所述场景主图像的深度数据;和
第二处理单元,所述第二处理单元用于处理所述深度数据以得到所述图像深度信息。
8.如权利要求6所述的背景虚化装置,其特征在于,所述场景数据包括与所述场景主图像对应的场景副图像,所述处理模块包括:
第三处理单元,所述第三处理单元用于处理所述场景主图像和所述场景副图像以得到所述场景主图像的深度数据;和
第四处理单元,所述第四处理单元用于处理所述深度数据以得到所述图像深度信息。
9.如权利要求6所述的背景虚化装置,其特征在于,所述第一划分单元包括:
处理子单元,所述处理子单元用于将大于深度阈值的深度范围划分为远景深度范围。
10.如权利要求6所述的背景虚化装置,其特征在于,所述虚化模块包括:
确定单元,所述确定单元用于根据所述虚化程度确定对应的所述虚化区域的高斯核;和
虚化单元,所述虚化单元用于根据所述高斯核虚化对应的所述虚化区域。
11.一种电子装置,其特征在于,所述电子装置包括:
成像装置;和
如权利要求6至10任意一项所述的背景虚化装置,所述背景虚化装置与所述成像装置电连接。
12.如权利要求11所述的电子装置,其特征在于,所述成像装置包括主摄像头和副摄像头。
13.如权利要求11所述的电子装置,其特征在于,所述成像装置包括深度摄像头。
CN201710138815.XA 2017-03-09 2017-03-09 基于景深的背景虚化方法及装置和电子装置 Active CN106993112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710138815.XA CN106993112B (zh) 2017-03-09 2017-03-09 基于景深的背景虚化方法及装置和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710138815.XA CN106993112B (zh) 2017-03-09 2017-03-09 基于景深的背景虚化方法及装置和电子装置

Publications (2)

Publication Number Publication Date
CN106993112A CN106993112A (zh) 2017-07-28
CN106993112B true CN106993112B (zh) 2020-01-10

Family

ID=59413095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710138815.XA Active CN106993112B (zh) 2017-03-09 2017-03-09 基于景深的背景虚化方法及装置和电子装置

Country Status (1)

Country Link
CN (1) CN106993112B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038681B (zh) * 2017-05-31 2020-01-10 Oppo广东移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN107590828B (zh) * 2017-08-09 2020-01-10 Oppo广东移动通信有限公司 拍摄图像的虚化处理方法和装置
CN107493429B (zh) * 2017-08-09 2020-01-10 Oppo广东移动通信有限公司 自拍照片的自拍杆屏蔽方法和装置
CN107392972B (zh) * 2017-08-21 2018-11-30 维沃移动通信有限公司 一种图像背景虚化方法、移动终端及计算机可读存储介质
CN107493432B (zh) * 2017-08-31 2020-01-10 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN109146767A (zh) * 2017-09-04 2019-01-04 成都通甲优博科技有限责任公司 基于深度图的图像虚化方法及装置
CN107730460B (zh) * 2017-09-26 2020-02-14 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107610046A (zh) * 2017-10-24 2018-01-19 上海闻泰电子科技有限公司 背景虚化方法、装置及系统
CN107749046B (zh) * 2017-10-27 2020-02-07 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107959778B (zh) 2017-11-30 2019-08-20 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
CN108093158B (zh) * 2017-11-30 2020-01-10 Oppo广东移动通信有限公司 图像虚化处理方法、装置、移动设备和计算机可读介质
CN108053363A (zh) * 2017-11-30 2018-05-18 广东欧珀移动通信有限公司 背景虚化处理方法、装置及设备
CN108024057B (zh) * 2017-11-30 2020-01-10 Oppo广东移动通信有限公司 背景虚化处理方法、装置及设备
CN107945105B (zh) * 2017-11-30 2021-05-25 Oppo广东移动通信有限公司 背景虚化处理方法、装置及设备
CN108024056B (zh) 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
CN107846556B (zh) * 2017-11-30 2020-01-10 Oppo广东移动通信有限公司 成像方法、装置、移动终端和存储介质
CN108024058B (zh) * 2017-11-30 2019-08-02 Oppo广东移动通信有限公司 图像虚化处理方法、装置、移动终端和存储介质
CN108156369B (zh) * 2017-12-06 2020-03-13 Oppo广东移动通信有限公司 图像处理方法和装置
CN108040207A (zh) * 2017-12-18 2018-05-15 信利光电股份有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN108093159A (zh) * 2017-12-19 2018-05-29 信利光电股份有限公司 一种多摄像头的拍摄方法、拍摄装置、移动终端和可读存储介质
CN108154465B (zh) * 2017-12-19 2022-03-01 北京小米移动软件有限公司 图像处理方法及装置
CN108154466B (zh) * 2017-12-19 2021-12-07 北京小米移动软件有限公司 图像处理方法及装置
CN108234865A (zh) * 2017-12-20 2018-06-29 深圳市商汤科技有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110012208B (zh) * 2018-01-05 2020-08-04 Oppo广东移动通信有限公司 拍照对焦方法、装置、存储介质及电子设备
CN108322646B (zh) * 2018-01-31 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108234882B (zh) * 2018-02-11 2020-09-29 维沃移动通信有限公司 一种图像虚化方法及移动终端
CN110191332A (zh) * 2018-02-23 2019-08-30 中兴通讯股份有限公司 光栅图片的生成方法及装置
WO2019233169A1 (zh) * 2018-06-06 2019-12-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子装置、计算机设备和存储介质
CN109618173B (zh) * 2018-12-17 2021-09-28 深圳Tcl新技术有限公司 视频压缩方法、装置和计算机可读存储介质
TWI693576B (zh) * 2019-02-26 2020-05-11 緯創資通股份有限公司 影像模糊處理方法與系統
CN111741283A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 图像处理的装置和方法
CN110349080B (zh) * 2019-06-10 2023-07-04 北京迈格威科技有限公司 一种图像处理方法及装置
CN110335211B (zh) * 2019-06-24 2021-07-30 Oppo广东移动通信有限公司 深度图像的校正方法、终端设备以及计算机存储介质
CN110809152A (zh) * 2019-11-06 2020-02-18 Oppo广东移动通信有限公司 信息处理方法、编码装置、解码装置、系统及存储介质
CN113052754B (zh) * 2019-12-26 2022-06-07 武汉Tcl集团工业研究院有限公司 一种图片背景虚化的方法及装置
CN113938578A (zh) * 2020-07-13 2022-01-14 武汉Tcl集团工业研究院有限公司 一种图像虚化方法、存储介质及终端设备
CN113965664B (zh) * 2020-07-20 2024-02-09 武汉Tcl集团工业研究院有限公司 一种图像虚化方法、存储介质以及终端设备
CN112532882B (zh) * 2020-11-26 2022-09-16 维沃移动通信有限公司 图像显示方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104333700A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 一种图像虚化方法和图像虚化装置
CN104935832A (zh) * 2015-03-31 2015-09-23 浙江工商大学 针对带深度信息的视频抠像方法
CN106454118A (zh) * 2016-11-18 2017-02-22 上海传英信息技术有限公司 照片虚化方法和移动终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226387B (zh) * 2013-04-07 2016-06-22 华南理工大学 基于Kinect的视频人手指尖定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104333700A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 一种图像虚化方法和图像虚化装置
CN104935832A (zh) * 2015-03-31 2015-09-23 浙江工商大学 针对带深度信息的视频抠像方法
CN106454118A (zh) * 2016-11-18 2017-02-22 上海传英信息技术有限公司 照片虚化方法和移动终端

Also Published As

Publication number Publication date
CN106993112A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN106993112B (zh) 基于景深的背景虚化方法及装置和电子装置
CN106851124B (zh) 基于景深的图像处理方法、处理装置和电子装置
US11145038B2 (en) Image processing method and device for adjusting saturation based on depth of field information
EP3330925B1 (en) Method for 3d reconstruction of an environment of a mobile device, corresponding computer program product and device
US20240046571A1 (en) Systems and Methods for 3D Facial Modeling
CN108961327B (zh) 一种单目深度估计方法及其装置、设备和存储介质
Yang Dealing with textureless regions and specular highlights-a progressive space carving scheme using a novel photo-consistency measure
CN106991378B (zh) 基于深度的人脸朝向检测方法、检测装置和电子装置
US20130335535A1 (en) Digital 3d camera using periodic illumination
KR20190034092A (ko) 화상처리 장치, 화상처리 방법, 화상처리 시스템 및 기억매체
CN111402170B (zh) 图像增强方法、装置、终端及计算机可读存储介质
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
EP3841554A1 (en) Method and system for reconstructing colour and depth information of a scene
EP2064675A1 (en) Method for determining a depth map from images, device for determining a depth map
WO2018223153A1 (en) System and method for active stereo depth sensing
JP2009139995A (ja) ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
WO2019096310A1 (en) Light field image rendering method and system for creating see-through effects
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
EP3189493B1 (en) Depth map based perspective correction in digital photos
CN112889272A (zh) 深度图像获取方法、深度图像获取装置及电子装置
Ttofis et al. A hardware-efficient architecture for accurate real-time disparity map estimation
KR20170047780A (ko) 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법
CN110514140B (zh) 一种三维成像方法、装置、设备以及存储介质
CN107025636B (zh) 结合深度信息的图像去雾方法及装置和电子装置
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong Opel Mobile Communications Co., Ltd.

GR01 Patent grant
GR01 Patent grant