CN113014806A - 虚化图像拍摄方法及装置 - Google Patents
虚化图像拍摄方法及装置 Download PDFInfo
- Publication number
- CN113014806A CN113014806A CN202110177688.0A CN202110177688A CN113014806A CN 113014806 A CN113014806 A CN 113014806A CN 202110177688 A CN202110177688 A CN 202110177688A CN 113014806 A CN113014806 A CN 113014806A
- Authority
- CN
- China
- Prior art keywords
- camera
- depth map
- depth
- blurring
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了虚化图像拍摄方法及装置,属于电子设备技术领域,其中,所述方法应用于包含多个摄像头的电子设备,所述方法包括:将第一摄像头与距离传感器配准,得到第一深度图;切换至第二摄像头,并将所述第二摄像头与所述距离传感器配准,得到第二深度图;将所述第一深度图和所述第二深度图进行融合,得到融合深度图;基于所述融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像。本申请公开的虚化图像拍摄方法,能够在摄像头切换时使虚化强度自然过渡,提升用户的视觉体验。
Description
技术领域
本申请实施例涉及电子设备技术领域,尤其涉及一种虚化图像拍摄方法及装置。
背景技术
拍照虚化是电子设备的常用拍照功能,拍照虚化所呈现的效果为所拍图像主体清晰,背景模糊。目前可基于双摄像头或单摄像头进行虚化拍摄,虚化拍摄的图像可以为近距离的半身人像、全身人像,也可以为对远距离待拍摄对象进行拍摄生成的图像。为满足对不同距离的待拍摄对象进行拍摄的需求,在拍摄时针对不同距离可选择不同放大倍数的摄像头,例如:1X、2X或者5X等等。
目前使用电子设备的虚化拍照功能进行拍照时,需要用户手动切换相机,如拍摄近距离对象时切换至1X摄像头,拍摄中等距离对象时切换至2X摄像头拍摄,拍摄远距离对象时切换至5x摄像头拍摄。目前在进行摄像头切换时,直接显示切换后的目标摄像头采集的图像,预览界面中画面的缩放比例变化较大,虚化强度过渡比较大,用户的视觉体验较差。
发明内容
本申请实施例的目的是提供一种虚化图像拍摄方法,能够解决目前虚化图像拍摄过程中,摄像头切换时预览图像虚化强度过渡大的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种虚化图像拍摄方法,其应用于包含多个摄像头的电子设备,其中,所述方法包括:将第一摄像头与距离传感器配准,得到第一深度图;切换至第二摄像头,并将所述第二摄像头与所述距离传感器配准,得到第二深度图;将所述第一深度图和所述第二深度图进行融合,得到融合深度图;基于所述融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像,其中,所述目标图像为所述第一摄像头拍摄的第一图像与所述第二摄像头拍摄的第二图像的融合图像。
第二方面,本申请实施例提供了一种虚化图像拍摄装置,应用于包含多个摄像头的电子设备,其中,所述装置包括:第一配准模块,用于将第一摄像头与距离传感器配准,得到第一深度图;切换模块,用于切换至第二摄像头;第二配置模块,用于将所述第二摄像头与所述距离传感器配准,得到第二深度图;融合模块,用于将所述第一深度图和所述第二深度图进行融合,得到融合深度图;虚化处理模块,用于基于所述融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像,其中,所述目标图像为所述第一摄像头拍摄的第一图像与所述第二摄像头拍摄的第二图像的融合图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
本申请实施例中,通过将第一摄像头与距离传感器配准,得到第一深度图;切换至第二摄像头,并将第二摄像头与距离传感器配准,得到第二深度图;将第一深度图和第二深度图进行融合,得到融合深度图;基于融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像,可平滑虚化效果,能够使得虚化强度自然过渡,提升用户的视觉体验。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是表示本申请实施例的一种虚化图像拍摄方法的步骤流程图;
图2是表示本申请实施例的一种虚化图像拍摄装置的结构框图;
图3是表示本申请实施例的一种电子设备的结构框图;
图4是表示本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的虚化图像拍摄方法进行详细地说明。
参照图1,示出了本申请实施例的一种虚化图像拍摄方法的步骤流程图。
本申请实施例的虚化图像拍摄方法包括以下步骤:
步骤101:将第一摄像头与距离传感器配准,得到第一深度图。本申请实施例提供的虚化图像拍摄方法适用于包含多个摄像头的电子设备,电子设备中包含的摄像头的个数以及各摄像头对应的缩放倍数可由本领域技术人员灵活设置。例如:在电子设备中设置1X摄像头、2X摄像头以及5X摄像头。
距离传感器可以为基于TOF(Time of Flight,飞行时间)原理的传感器,例如:红外传感器、激光距离传感器以及超声波传感器等。
由于硬件布局,第一摄像头和距离传感器在x,y,z方向存在偏移和旋转,以及分辨率存在不一致,摄像头分辨率会比距离传感器大很多,因此需要将距离传感器配准到当前开启的第一摄像头,第一摄像头为RGB摄像头。配准后第一摄像头采集到的深度图的像素可以和距离传感器采集到的深度图的像素一一对应,但是由于第一摄像头和距离传感器的视场角不一致,因此第一摄像头采集到的深度图边界上的部分像素在距离传感器采集到的深度图中无法找不到对应的像素,因此需要对二者进行深度融合。第一深度图为第一摄像头采集的深度图,与距离传感器采集的深度图进行深度融合后得到的深度图。
对于单摄相机虚化,通常采用人像分割的技术把人像从图像中扣取出来,人像保持清晰,背景进行虚化,由于背景的像素没有深度值,采用一样的虚化半径进行虚化。对于双摄相机中的摄像头深度图一般计算左右摄像头的视差,然后通过双目三角化原理得到深度图,双摄由于AF(Auto Focus,自动调焦)的影响,左右图需要动态对齐得到深度值准确度低。鉴于上述情况,得到准确地深度图是摄像头虚化的关键因素。本发明实施例中,结合距离传感器采集的深度图对第一相机采集的深度图进行深度融合,能够提升最终所确定的第一深度图的真实、可靠性。
步骤102:切换至第二摄像头,并将第二摄像头与距离传感器配准,得到第二深度图。
在实际实现过程中,用户通过电子设备桌面图标启动相机功能后,选择虚化模式或带虚化功能的人像模式,系统开启深度计算模块包括第一摄像头和距离传感器,其中,第一摄像头可以为单摄相机中的摄像头也可以为双摄相机中的摄像头,距离传感器可以为TOF相机。系统输出摄像头切换模式,摄像头切换模式包括:自动切换、手动切换,用户可根据实际需求选择任意一种摄像头切换模式。若用户选择手动切换模式,系统可基于深度计算结果输出摄像头模式切换提示,例如系统提示切换至1X摄像头或者2X摄像头,或者提示切换至2x摄像头或者5X摄像头,用户参照系统提示进行切换。不仅如此,系统还可以基于深度计算结果生成界面滑杆,用户通过调节界面滑杆上的游标选择不同倍数的摄像头。
第二深度图为第二摄像头采集的深度图,与距离传感器采集的深度图进行深度融合后得到的深度图。具体融合方式,参照第一深度图的融合方式即可,本步骤中对此不再赘述。
步骤103:将第一深度图和第二深度图进行融合,得到融合深度图。
将两个深度图进行深度融合时,可采用如下公式对深度图中的各像素进行深度融合:融合后的深度值=a*rgbdepth+b*TOF_depth,其中,a、b为占比,rgbdepth为第一深度图中像素的深度值,TOF_depth为第二深度图中像素的深度值,a、b的具体数值可由本领域技术人员灵活设置,可以均设置为0.5;也可以设置a为0.4,b为0.6;还可以设置a为0.7,b为0.3。
步骤104:基于融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像。
其中,目标图像为第一摄像头拍摄的第一图像与第二摄像头拍摄的第二图像的融合图像。
例如:第一摄像头为1X摄像头,第二摄像头为5X相机,在从1X摄像头切换至5X摄像头的过程中跳过3X摄像头,3X摄像头的虚化强度应该是介于2X摄像头和5X摄像头之间,因此需要进行图像融合,依据融合深度图对融合图像进行虚化处理,使得切换前后虚化强度平滑过渡,有效改善摄像头切换时所显示的视觉效果。
在实际实现过程中,可采用如下方式将第一图像和第二图像进行图像融合:
首先,将第一摄像头采集的第一图像调整至目标缩放倍数得到第三图像;将第二摄像头采集的第二图像调整至目标缩放倍数得到第四图像;
本步骤为图像插值的相关流程。在第二摄像头的缩放倍数和目标缩放倍数一致的情况下,无需执行本步骤。在第二摄像头的缩放倍数和目标缩放倍数为相邻倍数的情况下,需要对第二摄像头采集的图像进行插值。目标缩放倍数为通过第一深度图确定的缩放倍数。
在对第二摄像头采集的第二图像进行插值处理后,需对插值后的图像进行融合。
其次,对第三图像和第四图像进行图像融合,得到融合图像。
本申请实施例提供的虚化图像拍摄方法,通过将第一摄像头与距离传感器配准,得到第一深度图;切换至第二摄像头,并将第二摄像头与距离传感器配准,得到第二深度图;将第一深度图和第二深度图进行融合,得到融合深度图;基于融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像,可平滑虚化效果,能够在摄像头切换时使虚化强度自然过渡,提升用户的视觉体验。
在一种可选地实施方式中,在将第一摄像头与距离传感器配准,得到第一深度图之前,还可以包括如下确定第一摄像头的流程:
步骤一:通过距离传感器,得到第三深度图。
距离传感器对待拍摄对象进行深度信息采集,得到第三深度图。
步骤二:依据第三深度图,确定目标对象的目标深度值。
目标对象为对焦点处的拍摄对象。
依据第三深度图确定目标深度值时,对第三深度图进行深度分割确定第三深度图的清晰范围,通过图像上对焦点的位置,获得目标对象的目标深度值。
步骤三:依据目标深度值确定第一摄像头。
系统中预设有不同深度范围与缩放倍数的对应关系,每个预设摄像头对应一个缩放倍数,系统中预设的缩放倍数个数可以大于等于预设摄像头的个数。
例如:电子设备中预设有1X摄像头、2X摄像头以及5X摄像头,系统中可预设1、1.5、2、3、4以及5这六个缩放倍数。
在确定目标深度值后,可查找目标深度值所属的目标深度范围,将目标深度范围对应的目标缩放倍数指示的摄像头确定为第一摄像头。若电子设备中未预设目标深度范围对应目标的缩放倍数指示的摄像头,则将电子设备中预设的与目标缩放倍数相邻的缩放倍数指示的摄像头确定为第一摄像头。例如:目标缩放倍数为4.5,则将电子设备中预设的5X摄像头确定为第一摄像头。这里的相邻,可以认为是电子设备中各个摄像头预设的缩放倍数中,与目标缩放倍数最接近的缩放倍数,而并不具体限定两者相差多小才算相邻,其需要结合电子设备所包含的摄像头具体预设的缩放倍数来确定。
确定第一摄像头后,可通过第一摄像头拍摄的图像进行虚化预览。
在通过第一摄像头拍摄的图像进行虚化预览时,可通过第一摄像头采集深度图,基于第一摄像头采集的深度图确定目标对象的第一深度值,通过查找预设表可得到第一深度值对应的清晰的深度范围,其中,预设表中设置有不同距离下的景深范围,深度范围可用[near,far]表示,基于所确定的深度范围和预设公式确定最大虚化半径。虚化半径是虚化或模糊图像的圆的半径,虚化半径越小,模糊程度越轻,虚化半径越大,模糊程度越重。虚化半径由像素的深度d到景深的距离[near,far]和光圈大小以及场景的前景背景虚化距离决定。
背景虚化距离background_length=near–mindist;
前景虚化距离foreground_length=maxdist-far。
其中,mindist是第一摄像头采集的深度图最小距离,maxdist是第一摄像头采集的深度图最远或最大距离。
前景虚化半径=(near-d)*max_bokeh_r/background_length
背景虚化半径=(d-far)*max_bokeh_r/foreground_length
max_bokeh_r表示选择的光圈对应的最大虚化半径。
在确定最大虚化半径后,依据最大虚化半径和对焦点位置,可确定虚化半径图,基于所确定的虚化半径图对第一摄像头采集的图像进行虚化处理。
对图像像素进行模糊,不同的最大虚化半径,模糊程度不一样,最大虚化半径越小,模糊程度越轻;最大虚化半径越大,模糊程度越重。在进行虚化处理时通常采用圆形滤波器对图像中的像素进行模糊处理,也就是说,最大虚化半径大小决定虚化半径图的大小,进而决定虚化强度的大小。
本可选地实施例提供的第一摄像头确定方法,结合距离传感器采集的深度图确定第一摄像头,能够提升所确定的目标深度值的精准性,从而进一步提升所确定的第一摄像头的可靠性。
在一种可选地实施例中,切换至第二摄像头,并将第二摄像头采集的第三深度图与距离传感器进行配准,得到第二深度图的方式包括如下子步骤:
子步骤一:将第二摄像头采集的第三深度图中的各第一像素点与距离传感器采集的第四深度图中的各第二像素点,进行深度值映射;
本可选地实施例中以第二摄像头为双摄相机中的摄像头为例进行说明。在完成第二摄像头与距离传感器二者的配准后,还需进行第三深度图与第四深度图中的各像素的深度值的配对、映射。
第三深度图和第四深度图中像素的深度值配对方式可以如下:
第四深度图和第三深度图中单个像素对应计算比例scale=tofvalue/rgbdepthvalue,
其中,tofvalue是某个像素的在第四深度图中的深度值,rgbdepthvalue是某个像素的双摄深度值。
由于双摄相机计算存在误差,可能有多个第三深度图中的深度值对应同一个第四深度图中的深度值,针对每个第四深度图中的每个像素,从第三深度图中取该像素对应的累计次数最高的深度值与该像素在第四深度图的深度值对应。
第三深度图和第四深度图中像素的深度值映射方式可以如下:
针对第三深度图中的每一个像素,查询比例表确定该像素的深度值对应的第一比例,将该像素的深度值乘以第一比例,完成一个像素的深度值映射。重复执行上述流程完成第三深度图中的各像素的深度值的映射,使得映射后的第三深度图中的大部分像素的深度值和第四深度图中的像素的深度值相同。其中,比例表中包含第三深度图和第四深度图中像素的深度值配对后的各比例关系。
子步骤二:将深度值映射后的第三深度图和第四深度图进行深度融合,得到第五深度图;
将两个深度图进行深度融合时,可采用如下公式对深度图中的各像素进行深度融合:融合后的深度值=a*rgbdepth+b*TOF_depth,其中,a、b为占比,rgbdepth为第三深度图中像素的深度值,TOF_depth为第四深度图中像素的深度值,a、b的具体数值可由本领域技术人员灵活设置,可以均设置为0.5;也可以设置a为0.4,b为0.6;还可以设置a为0.7,b为0.3。
采用上述公式对第三深度图和第四深度图中各像素点进行深度融合,可得到融合后的第五深度图。
子步骤三:对第五深度图中的各像素进行深度滤波,得到第二深度图。
由于第二摄像头和距离传感器的视场角度不完全一致,一般第二摄像头的视场角度大于距离传感器的视场角度,所以第三深度图和第四深度图融合时存在的边界无法完全对齐的细节问题,本子步骤中对融合后的第五深度图中的各像素进行深度滤波,能够有效解决边界无法对齐的问题。在进行深度滤波时,可采用传统的深度滤波方法,如导向保边滤波算法。
该种可选地对第三深度图和第四深度图进行融合,得到第二深度图更加可靠。
在第二摄像头为单摄相机中的摄像头的情况下,在完成第二摄像头与距离传感器二者的配准后,对第二摄像头采集的第三深度图与距离传感器采集的第四深度图进行融合得到第五深度图的方式如下:
首先,将第四深度图中各像素的深度值按照像素对应赋值给第三深度图中的每个像素;其次,对赋值后的第三深度图进行深度滤波,最终得到第五深度图。由于第二摄像头和距离传感器的视场角度不完全一致,一般第二摄像头视场角度大于距离传感器的视场角度,所以第四深度图中各像素的深度值对应赋值给第三深度图后,第一深度图中部分边界像素无法赋值到对应的深度值。另一方面第四深度图中人像边界和人像分割的人像部分也会存在不完全重合的情况,因此需要对第三深度图和第四深度图融合后进行深度滤波,得到第五深度图。
在一种可选地实施例中,切换至第二摄像头的方式如下:
首先,接收用户输入的第一缩放倍数;
用户对第一摄像头拍摄的图像进行虚化预览后,可根据实际需求设置第一缩放倍数,触发系统依据第一缩放倍数确定第二摄像头并进行摄像头切换。
其次,判断是否存在与第一缩放倍数相匹配的第一预设摄像头;
电子设备包括多个摄像头,每个摄像头对应一个缩放倍数,系统中预设的缩放倍数个数可以大于等于摄像头的个数。
例如:电子设备中预设有1X摄像头、2X摄像头以及5X摄像头,若用户输入的第一缩放倍数为3,则确定电子设备中不存在与第一缩放倍数相匹配的第一预设摄像头。若用户输入的第一缩放倍数为2,则确定电子设备中存在与第一缩放倍数相匹配的第一预设摄像头即2X摄像头。
最后,在存在与第一缩放倍数相匹配的第一预设摄像头的情况下,将第一预设摄像头确定为第二摄像头;在不存在第一缩放倍数相匹配第一预设摄像头的情况下,将第二预设摄像头确定为第二摄像头。
其中,第二预设摄像头对应的第二缩放倍数与第一缩放倍数相邻。
仍然延续上述举例,若第一缩放倍数为4.5,系统中预设有1X摄像头、2X摄像头、3X摄像头以及5X摄像头,与4.5相邻的第二缩放倍数为5,则将电子设备中预设的5X摄像头确定为第二摄像头。
该种可选地确定第二摄像头的方式,所确定的第二摄像头与实际深度值更加匹配。
在一种可选地实施例中,依据融合深度图对目标图像进行虚化处理,并显示虚化处理后的目标图像的方式如下:
首先,依据融合深度图确定最大虚化半径;
在融合深度图中确定目标对象的深度值,通过查找预设表可得到该深度值对应的清晰的深度范围,其中,预设表中设置有不同距离下的景深范围,深度范围可用[near,far]表示。
调节下述两个公式中的max_bokeh_r,实现前景、背景虚化强度平滑过渡,通过调节确定最大虚化半径。
前景虚化半径=(near-d)*max_bokeh_r/background_length
背景虚化半径=(d-far)*max_bokeh_r/foreground_length
max_bokeh_r表示选择的光圈对应的最大虚化半径,背景虚化距离background_length=near–mindist;前景虚化距离foreground_length=maxdist-far。mindist是融合深度图最小距离,maxdist是融合深度图最远或最大距离。
其次,依据最大虚化半径对目标图像进行虚化处理;
最后,显示虚化处理后的目标图像。
在确定最大虚化半径后,依据最大虚化半径和目标对象即对焦点位置,可确定虚化半径图,基于所确定的虚化半径图对目标图像进行虚化处理。
该种可选地对图像进行虚化处理的方式,能够提升切换前后虚化强度过渡的平滑性。
需要说明的是,本申请实施例提供的虚化图像拍摄方法,执行主体可以为虚化图像拍摄装置,或者该虚化图像拍摄装置中的用于执行虚化图像拍摄方法的控制模块。本申请实施例中后续以虚化图像拍摄装置执行虚化图像拍摄方法为例,说明本申请实施例提供的虚化图像拍摄装置。
图2为实现本申请实施例的一种相机切换装置的结构框图。
本申请实施例的虚化图像拍摄装置200应用于包含多个摄像头的电子设备,其中,所述装置包括:
第一配准模块201,用于将第一摄像头与距离传感器配准,得到第一深度图;
切换模块202,用于切换至第二摄像头;
第二配置模块203,用于将所述第二摄像头与所述距离传感器配准,得到第二深度图;
融合模块204,用于将所述第一深度图和所述第二深度图进行融合,得到融合深度图;
虚化处理模块205,用于基于所述融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像,其中,所述目标图像为所述第一摄像头拍摄的第一图像与所述第二摄像头拍摄的第二图像的融合图像。
可选的,所述装置还包括:
深度图采集模块,用于在所述第一配准模块将第一摄像头与距离传感器配准,得到第一深度图之前,通过所述距离传感器,得到第三深度图;
第一确定模块,用于根据所述第三深度图,确定目标对象的目标深度值;
第二确定模块,用于根据所述目标深度值,确定所述第一摄像头。
可选的,所述切换模块包括:
第一子模块,用于接收用户输入的第一缩放倍数;
第二子模块,用于判断是否存在与所述第一缩放倍数相匹配的第一预设摄像头;
第三子模块,用于若存在,将所述第一预设摄像头确定为所述第二摄像头;
第四子模块,用于若不存在,将第二预设摄像头确定为所述第二摄像头,其中,所述第二预设摄像头对应的第二缩放倍数与所述第一缩放倍数相邻。
可选的,所述第二配准模块包括:
第五子模块,用于将所述第二摄像头采集的第三深度图中的各第一像素点与所述距离传感器采集的第四深度图中的各第二像素点,进行深度值映射;
第六子模块,用于将深度值映射后的第三深度图和所述第四深度图进行深度融合,得到第五深度图;
第七子模块,用于对所述第五深度图中的各像素进行深度滤波,得到所述第二深度图。
可选的,所述虚化处理模块包括:
第八子模块,用于依据所述融合深度图确定最大虚化半径;
第九子模块,用于依据所述最大虚化半径对所述目标图像进行虚化处理;
第十子模块,用于显示虚化处理后的目标图像。
本申请实施例提供的虚化图像拍摄装置,通过将第一摄像头与距离传感器配准,得到第一深度图;切换至第二摄像头,并将第二摄像头与距离传感器配准,得到第二深度图;将第一深度图和第二深度图进行融合,得到融合深度图;基于融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像,可平滑虚化效果,能够在摄像头切换时使虚化强度自然过渡,提升用户的视觉体验。
本申请实施例中的虚化图像拍摄装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的虚化图像拍摄装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的虚化图像拍摄装置能够实现图1的方法实施例中实现的各个过程,为避免重复,这里不再赘述。
可选地,如图3所示,本申请实施例还提供一种电子设备300,包括处理器301,存储器302,存储在存储器302上并可在所述处理器301上运行的程序或指令,该程序或指令被处理器301执行时实现上述虚化图像拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图4为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备400包括但不限于:射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。
本领域技术人员可以理解,电子设备400还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器410逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器410,用于将第一摄像头与距离传感器配准,得到第一深度图;
切换至第二摄像头,并将所述第二摄像头与所述距离传感器配准,得到第二深度图;
将所述第一深度图和所述第二深度图进行融合,得到融合深度图;
基于所述融合深度图,对目标图像进行虚化处理;
显示单元406,用于显示虚化处理后的目标图像,其中,所述目标图像为所述第一摄像头拍摄的第一图像与所述第二摄像头拍摄的第二图像的融合图像。
本申请实施例提供的电子设备,通过将第一摄像头与距离传感器配准,得到第一深度图;切换至第二摄像头,并将第二摄像头与距离传感器配准,得到第二深度图;将第一深度图和第二深度图进行融合,得到融合深度图;基于融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像,可平滑虚化效果,能够在摄像头切换时使虚化强度自然过渡,提升用户的视觉体验。
可选的,处理器410,还用于在所述将第一摄像头与距离传感器配准,得到第一深度图之前,通过所述距离传感器,得到第三深度图;根据所述第三深度图,确定目标对象的目标深度值;根据所述目标深度值,确定所述第一摄像头。
可选的,处理器410切换至第二摄像头时,具体用于:通过用户输入单元407接收用户输入的第一缩放倍数;判断是否存在与所述第一缩放倍数相匹配的第一预设摄像头;若存在,将所述第一预设摄像头确定为所述第二摄像头;若不存在,将第二预设摄像头确定为所述第二摄像头,其中,所述第二预设摄像头对应的第二缩放倍数与所述第一缩放倍数相邻。
可选的,处理器410切换至第二摄像头,并将所述第二摄像头与距离传感器配准,得到第二深度图时,具体用于:
将所述第二摄像头采集的第三深度图中的各第一像素点与所述距离传感器采集的第四深度图中的各第二像素点,进行深度值映射;
将深度值映射后的第三深度图和所述第四深度图进行深度融合,得到第五深度图;
对所述第五深度图中的各像素进行深度滤波,得到所述第二深度图。
可选的,处理器410基于所述融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像时,具体用于:依据所述融合深度图确定最大虚化半径;依据所述最大虚化半径对所述目标图像进行虚化处理;
显示单元406,还用于显示虚化处理后的目标图像。
应理解的是,本申请实施例中,输入单元404可以包括图形处理器(GraphicsProcessing Unit,GPU)4041和麦克风4042,图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元406可包括显示面板4061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板4061。用户输入单元407包括触控面板4071以及其他输入设备4072。触控面板4071,也称为触摸屏。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器409可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器410可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器410中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述虚化图像拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述虚化图像拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种虚化图像拍摄方法,应用于包含多个摄像头的电子设备,其特征在于,所述方法包括:
将第一摄像头与距离传感器配准,得到第一深度图;
切换至第二摄像头,并将所述第二摄像头与所述距离传感器配准,得到第二深度图;
将所述第一深度图和所述第二深度图进行融合,得到融合深度图;
基于所述融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像,其中,所述目标图像为所述第一摄像头拍摄的第一图像与所述第二摄像头拍摄的第二图像的融合图像。
2.根据权利要求1所述的方法,其特征在于,在所述将第一摄像头与距离传感器配准,得到第一深度图的步骤之前,所述方法还包括:
通过所述距离传感器,得到第三深度图;
根据所述第三深度图,确定目标对象的目标深度值;
根据所述目标深度值,确定所述第一摄像头。
3.根据权利要求1所述的方法,其特征在于,所述切换至第二摄像头的步骤,包括:
接收用户输入的第一缩放倍数;
判断是否存在与所述第一缩放倍数相匹配的第一预设摄像头;
若存在,将所述第一预设摄像头确定为所述第二摄像头;
若不存在,将第二预设摄像头确定为所述第二摄像头,其中,所述第二预设摄像头对应的第二缩放倍数与所述第一缩放倍数相邻。
4.根据权利要求1所述的方法,其特征在于,所述切换至第二摄像头,并将所述第二摄像头与距离传感器配准,得到第二深度图的步骤包括:
将所述第二摄像头采集的第三深度图中的各第一像素点与所述距离传感器采集的第四深度图中的各第二像素点,进行深度值映射;
将深度值映射后的第三深度图和所述第四深度图进行深度融合,得到第五深度图;
对所述第五深度图中的各像素进行深度滤波,得到所述第二深度图。
5.根据权利要求1所述的方法,其特征在于,基于所述融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像的步骤,包括:
依据所述融合深度图确定最大虚化半径;
依据所述最大虚化半径对所述目标图像进行虚化处理;
显示虚化处理后的目标图像。
6.一种虚化图像拍摄装置,应用于包含多个摄像头的电子设备,其特征在于,所述装置包括:
第一配准模块,用于将第一摄像头与距离传感器配准,得到第一深度图;
切换模块,用于切换至第二摄像头;
第二配置模块,用于将所述第二摄像头与所述距离传感器配准,得到第二深度图;
融合模块,用于将所述第一深度图和所述第二深度图进行融合,得到融合深度图;
虚化处理模块,用于基于所述融合深度图,对目标图像进行虚化处理,并显示虚化处理后的目标图像,其中,所述目标图像为所述第一摄像头拍摄的第一图像与所述第二摄像头拍摄的第二图像的融合图像。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
深度图采集模块,用于在所述第一配准模块将第一摄像头与距离传感器配准,得到第一深度图之前,通过所述距离传感器,得到第三深度图;
第一确定模块,用于根据所述第三深度图,确定目标对象的目标深度值;
第二确定模块,用于根据所述目标深度值,确定所述第一摄像头。
8.根据权利要求6所述的装置,其特征在于,所述切换模块包括:
第一子模块,用于接收用户输入的第一缩放倍数;
第二子模块,用于判断是否存在与所述第一缩放倍数相匹配的第一预设摄像头;
第三子模块,用于若存在,将所述第一预设摄像头确定为所述第二摄像头;
第四子模块,用于若不存在,将第二预设摄像头确定为所述第二摄像头,其中,所述第二预设摄像头对应的第二缩放倍数与所述第一缩放倍数相邻。
9.根据权利要求6所述的装置,其特征在于,所述第二配准模块包括:
第五子模块,用于将所述第二摄像头采集的第三深度图中的各第一像素点与所述距离传感器采集的第四深度图中的各第二像素点,进行深度值映射;
第六子模块,用于将深度值映射后的第三深度图和所述第四深度图进行深度融合,得到第五深度图;
第七子模块,用于对所述第五深度图中的各像素进行深度滤波,得到所述第二深度图。
10.根据权利要求6所述的装置,其特征在于,所述虚化处理模块包括:
第八子模块,用于依据所述融合深度图确定最大虚化半径;
第九子模块,用于依据所述最大虚化半径对所述目标图像进行虚化处理;
第十子模块,用于显示虚化处理后的目标图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110177688.0A CN113014806B (zh) | 2021-02-07 | 2021-02-07 | 虚化图像拍摄方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110177688.0A CN113014806B (zh) | 2021-02-07 | 2021-02-07 | 虚化图像拍摄方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113014806A true CN113014806A (zh) | 2021-06-22 |
CN113014806B CN113014806B (zh) | 2022-09-13 |
Family
ID=76384437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110177688.0A Active CN113014806B (zh) | 2021-02-07 | 2021-02-07 | 虚化图像拍摄方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113014806B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109688321A (zh) * | 2018-11-21 | 2019-04-26 | 惠州Tcl移动通信有限公司 | 电子设备及其图像显示方法、具有存储功能的装置 |
CN110336942A (zh) * | 2019-06-28 | 2019-10-15 | Oppo广东移动通信有限公司 | 一种虚化图像获取方法及终端、计算机可读存储介质 |
CN110572581A (zh) * | 2019-10-14 | 2019-12-13 | Oppo广东移动通信有限公司 | 基于终端设备的变焦虚化图像获取方法和装置 |
CN110784653A (zh) * | 2019-11-20 | 2020-02-11 | 香港光云科技有限公司 | 基于飞行时间的动态对焦方法及其摄像装置 |
CN111064895A (zh) * | 2019-12-31 | 2020-04-24 | 维沃移动通信有限公司 | 一种虚化拍摄方法和电子设备 |
CN111726526A (zh) * | 2020-06-22 | 2020-09-29 | Oppo广东移动通信有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
-
2021
- 2021-02-07 CN CN202110177688.0A patent/CN113014806B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109688321A (zh) * | 2018-11-21 | 2019-04-26 | 惠州Tcl移动通信有限公司 | 电子设备及其图像显示方法、具有存储功能的装置 |
CN110336942A (zh) * | 2019-06-28 | 2019-10-15 | Oppo广东移动通信有限公司 | 一种虚化图像获取方法及终端、计算机可读存储介质 |
CN110572581A (zh) * | 2019-10-14 | 2019-12-13 | Oppo广东移动通信有限公司 | 基于终端设备的变焦虚化图像获取方法和装置 |
CN110784653A (zh) * | 2019-11-20 | 2020-02-11 | 香港光云科技有限公司 | 基于飞行时间的动态对焦方法及其摄像装置 |
CN111064895A (zh) * | 2019-12-31 | 2020-04-24 | 维沃移动通信有限公司 | 一种虚化拍摄方法和电子设备 |
CN111726526A (zh) * | 2020-06-22 | 2020-09-29 | Oppo广东移动通信有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113014806B (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111935393A (zh) | 拍摄方法、装置、电子设备和存储介质 | |
CN110290324B (zh) | 设备成像方法、装置、存储介质及电子设备 | |
CN109691080B (zh) | 拍摄图像方法、装置和终端 | |
CN113141450B (zh) | 拍摄方法、装置、电子设备及介质 | |
CN110766706A (zh) | 图像融合方法、装置、终端设备及存储介质 | |
CN104780313A (zh) | 一种图像处理的方法及移动终端 | |
CN105827963B (zh) | 一种拍照过程中场景变化检测方法及移动终端 | |
CN110677621A (zh) | 摄像头调用方法、装置、存储介质及电子设备 | |
KR101703013B1 (ko) | 3차원 스캐너 및 스캐닝 방법 | |
CN107566723A (zh) | 一种拍摄方法、移动终端及计算机可读存储介质 | |
CN114445315A (zh) | 图像质量增强方法和电子设备 | |
CN113473007A (zh) | 拍摄方法及装置 | |
CN112437232A (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN114390201A (zh) | 对焦方法及其装置 | |
CN110266926B (zh) | 图像处理方法、装置、移动终端以及存储介质 | |
WO2022156673A1 (zh) | 显示控制方法、装置、电子设备及介质 | |
CN113866782A (zh) | 图像处理方法、装置及电子设备 | |
CN113014806B (zh) | 虚化图像拍摄方法及装置 | |
CN116744065A (zh) | 视频播放方法、装置 | |
CN115134532A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN112954197B (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN112653841B (zh) | 拍摄方法、装置和电子设备 | |
CN113286085B (zh) | 显示控制方法、装置和电子设备 | |
CN109766530A (zh) | 图表边框的生成方法、装置、存储介质和电子设备 | |
CN115278084A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |