CN114143442B - 图像虚化方法、计算机设备、计算机可读存储介质 - Google Patents
图像虚化方法、计算机设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN114143442B CN114143442B CN202010916702.XA CN202010916702A CN114143442B CN 114143442 B CN114143442 B CN 114143442B CN 202010916702 A CN202010916702 A CN 202010916702A CN 114143442 B CN114143442 B CN 114143442B
- Authority
- CN
- China
- Prior art keywords
- parallax
- information
- preview image
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims description 80
- 238000003384 imaging method Methods 0.000 claims description 32
- 230000001186 cumulative effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 239000006185 dispersion Substances 0.000 claims description 10
- 230000000694 effects Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000009977 dual effect Effects 0.000 description 7
- 241000219000 Populus Species 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000005251 gamma ray Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010130 dispersion processing Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种图像虚化方法、计算机设备、计算机可读存储介质,图像虚化方法包括:获取目标预览图像、参考预览图像、预览焦点信息以及预虚化图像;根据目标预览图像和参考预览图像,确定目标预览图像对应的视差信息;根据视差信息和预览焦点信息,确定目标预览图像对应的定焦视差信息;根据定焦视差信息、目标预览图像以及预虚化图像,确定目标预览图像对应的虚化预览图像。先确定视差信息,再通过视差信息和预览焦点信息,确定定焦视差信息,然后根据定焦视差信息、目标预览图像以及预虚化图像,确定所述目标预览图像对应的虚化预览图像。由于视差信息的动态范围小,不会造成焦点处的视差信息不准,从而确保虚化处理的稳定性较高。
Description
技术领域
本申请涉及图片处理技术领域,特别是涉及一种图像虚化方法、计算机设备、计算机可读存储介质。
背景技术
双摄像头已经越来越多地应用于移动终端设备上,例如,移动终端设备有双摄手机。在双摄手机拍照之前开启预览虚化功能时,可实时显示虚化效果图,确定虚化效果图满足需求后再拍照,则可以改善拍照虚化的效果。现有技术中双摄像头中的一个摄像头用来拍摄照片,另一个摄像头用来辅助计算照片的深度信息,以便进行后续的图像虚化处理。但是,在用户选择焦点的过程中,会依据焦点处的深度,计算出要虚化的景深;由于深度的动态变化范围很大,容易造成焦点处深度不准,从而导致虚化效果不稳定。
因此,现有技术有待改进。
发明内容
本发明所要解决的技术问题是,针对现有技术的不足,提供一种图像虚化方法、计算机设备、计算机可读存储介质。
一方面,本发明实施例提供了一种图像虚化方法,包括:
获取目标预览图像、所述目标预览图像对应的参考预览图像、所述目标预览图像对应的预览焦点信息以及所述目标预览图像对应的预虚化图像;
根据所述目标预览图像和所述参考预览图像,确定所述目标预览图像对应的视差信息;
根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息;
根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像。
第二方面,本发明实施例提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取目标预览图像、所述目标预览图像对应的参考预览图像、所述目标预览图像对应的预览焦点信息以及所述目标预览图像对应的预虚化图像;
根据所述目标预览图像和所述参考预览图像,确定所述目标预览图像对应的视差信息;
根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息;
根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像。
第三方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取目标预览图像、所述目标预览图像对应的参考预览图像、所述目标预览图像对应的预览焦点信息以及所述目标预览图像对应的预虚化图像;
根据所述目标预览图像和所述参考预览图像,确定所述目标预览图像对应的视差信息;
根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息;
根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像。
与现有技术相比,本发明实施例具有以下优点:本实施例中先根据所述目标预览图像和所述参考预览图像,确定所述目标预览图像对应的视差信息,并根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息,再根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像,从而将目标预览图像和预虚化图像融合,得到虚化预览图像,在用户选定焦点时,由于视差信息的动态范围小,不会造成焦点处的视差信息不准,从而确保虚化处理的稳定性较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中图像虚化方法的应用环境图;
图2为本发明实施例中所述视差信息的示意图;
图3为本发明实施例中局部虚化方式下焦点位置位于前景时的融合系数信息的示意图;
图4为本发明实施例中局部虚化方式下焦点位置位于背景时的融合系数信息的示意图;
图5为本发明实施例中全局虚化方式下焦点位置位于背景时的融合系数信息的示意图;
图6为本发明实施例中全局虚化方式下焦点位置位于前景时的融合系数信息的示意图;
图7为本发明实施例中图像虚化方法第一流程图;
图8为本发明实施例中图像虚化方法第二流程图;
图9为本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
发明人经过研究发现,在双摄移动终端的拍照功能中,在拍照之前开启预览虚化功能,可实时显示虚化效果图,依据用户选择的焦点和背景虚化的程度,可调整显示的虚化效果图,直到用户满意以后再拍照,则可以改善拍照虚化的效果。双摄像头中的一个摄像头用来拍摄照片,另一个摄像头用来辅助计算照片的深度信息,以便进行后续的图像虚化处理。现有技术中,在用户选择焦点的过程中,会依据焦点处的深度,计算出要虚化的景深;由于深度的动态变化范围很大,容易造成焦点处深度不准,从而导致虚化效果不稳定。
为了解决上述问题,在本发明实施例中,先根据所述目标预览图像和所述参考预览图像,确定所述目标预览图像对应的视差信息,并根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息,再根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像,从而将目标预览图像和预虚化图像融合,得到虚化预览图像,在用户选定焦点时,由于视差信息的动态范围小,不会造成焦点处的视差信息不准,从而确保虚化处理的稳定性较高。
本发明实施例可以应用到如下场景中,通过终端设备拍摄所述目标预览图像和所述目标预览图像对应的参考预览图像,且获取所述目标预览图像对应的预览焦点信息以及所述目标预览图像对应的预虚化图像,并将所述目标预览图像、参考预览图像、所述预览焦点信息以及所述预虚化图像发送至服务器,并由服务器根据所述目标预览图像和所述参考预览图像,确定所述目标预览图像对应的视差信息,并根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息,服务器将所述定焦视差信息返回给终端设备,终端设备根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像。
可以理解的是,如图1所示,在上述应用场景中,虽然将本发明实施方式的动作描述为由部分由终端设备10执行、部分由服务器20执行。但是,这样动作可以完全有服务器20或者完全由终端设备10执行。本发明在执行主体方面不受限制,只要执行了本发明实施方式所公开的动作即可。其中,终端设备10包括台式终端或移动终端,例如台式电脑、平板电脑、笔记本电脑、智能手机等。服务器20包括独立的物理服务器、物理服务器集群或虚拟服务器。
需要注意的是,上述应用场景仅是为了便于理解本发明而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
下面结合附图,详细说明本发明的各种非限制性实施方式。
参见图7和图8,示出了本发明实施例中的一种图像虚化方法。在本实施例中,所述图像虚化方法例如可以包括以下步骤:
S1、获取目标预览图像、所述目标预览图像对应的参考预览图像、所述目标预览图像对应的预览焦点信息以及所述目标预览图像对应的预虚化图像。
具体地,所述目标预览图像是指待虚化处理并处于预览状态的图像,所述参考预览图像是指用于辅助所述目标预览图像得到视差信息并处于预览状态的图像。视差信息是指反映了成像目标在所述目标预览图像的位置和该成像目标在所述参考预览图像中的位置之间偏差量的信息,其中,所述目标预览图像和所述参考预览图像是成像器分别从两个不同位置采集的图像,视差信息可以包括若干个视差值,在一种实现方式中,所述视差信息中的视差值可以按矩阵排列形成所述视差信息,也就是说,以视差值作为该矩阵的元素。所述视差信息中的视差值是指所述目标预览图像中的第一像素点的位置以及所述参考预览图像中与第一像素点对应的第二像素点的位置之间的偏差值,所述参考预览图像中与第一像素点对应的第二像素点是指第一像素点对应的成像目标的物理点投影到所述参考预览图像中的像素点,其中,第一像素点对应的成像目标的物理点是指成像目标投影到所述目标预览图像中第一像素点上的物理点。例如,成像器在La处采集成像目标P的图像得到目标预览图像A,成像器在Lb处采集成像目标P的图像得到参考预览图像B,成像目标P上物理点p投影到目标预览图像A中的第一像素点a上,第一像素点a的位置采用坐标表示,得到坐标(xa,ya);成像目标P上物理点p投影到参考预览图像B中的第二像素点b上,第二像素点b的位置也采用坐标表示,得到坐标(xb,yb),由于第二像素点b和第一像素点a是同一物理点p分别投影到参考图像B和目标预览图像A中的像素点,因此,第二像素点b为参考预览图像B中与第一像素点a对应的像素点,第二像素点b的位置与第一像素点a的位置之间的偏差值为(xa-xb,ya-yb),则目标预览图像A中第一像素点a对应的视差值为(xa-xb,ya-yb),计算目标预览图像A中所有第一像素点对应的视差值,可得到目标预览图像A对应的视差信息。此外,如果成像器在采集目标预览图像A和参考预览图像B时,仅在x轴上有位移,在y轴方向上没有位移,则ya=yb,xa≠xb,那么视差值为xa-xb。
因此,为了得到所述目标预览图像对应的视差信息,需要通过另一个图像辅助所述目标预览图像才能得到所述目标预览图像对应的视差信息,本申请中采用参考预览图像辅助所述目标预览图像得到视差信息。所述参考预览图像具体是成像目标与所述目标预览图像的成像目标相同,且采集位置与所述目标预览图像的采集位置不同的图像,其中,采集位置是指成像器采集图像时的位置。也就是说,所述参考预览图像的成像目标与所述目标预览图像的成像目标相同,且采集所述参考预览图像的位置与采集所述目标预览图像的位置不相同。例如,所述参考预览图像的成像目标为P,而所述目标预览图像的成像目标也是P。采集所述参考预览图像的位置为A位置,所述目标预览图像的位置为B位置,A位置与B位置为两个不同的位置,则所述参考预览图像可以辅助所述目标预览图像得到视差信息。
可以理解的是,与所述目标预览图像相比,采集位置和成像目标均不同的图像无法辅助所述目标预览图像得到视差信息。与所述目标预览图像相比,采集位置和成像目标均相同的图像也无法辅助所述目标预览图像得到视差信息。与所述目标预览图像相比,采集位置相同且成像目标不相同的图像同样无法辅助所述目标预览图像得到视差信息。
预览状态是指成像器对焦及选取待成像目标的状态。与预览状态相对的是拍照状态,拍照状态是指成像器根据成像指令采集图像并保存图像的状态。成像器在接收成像指令之前所形成的图像即为处于预览状态的图像。举例说明,用户通过手机拍摄一目标的照片时,需要将手机的镜头对准该目标,并聚焦到该目标上,此时,手机的镜头采集的预览图像会预先显示在手机的显示屏上以供用户浏览。
在本实施例的一个实现方式中,所述目标预览图像为通过成像模组中的第一成像器采集的图像,所述参考预览图像为通过所述成像模组中的第二成像器采集的图像。举例说明,所述成像模组包括至少两个双成像器,其中,所述第一成像器和所述第二成像器为所述成像模组中的两个成像器。所述第一成像器和第二成像器设置在同一平面上,第一成像器和第二成像器可以是横向相邻设置在一起,也可以是竖向相邻设置。所述第一成像器和第二成像器可以为终端设备(例如,智能手机)的双摄像头,即第一成像器和第二成像器均为摄像头。例如,第一成像器和第二成像器可以为双后置摄像头或双前置摄像头,其中,第一成像器和第二成像器可以一个为彩色成像器,另一个为黑白成像器(例如,第一成像器彩色成像器,第二成像器为黑白成像器),第一成像器和第二成像器也可以采用焦距不一样的成像器,当然,第一成像器和第二成像器也可以采用一样的成像器。此外,所述目标预览图像和所述参考预览图像可以是通过终端设备自身配置的成像模组获取的图像,也可以是通过网络、蓝牙以及红外等途径获取其他终端设备的成像模组采集得到的图像。当然,所述成像模组还可以包括3个成像器(例如,具有三个摄像头的智能手机等),也可以包括4个成像器等。
在本实施例的一个实现方式中,所述目标预览图像和所述参考预览图像为通过终端设备自身配置的第一成像器和第二成像器获取的图像。可以理解的是,终端设备配置有第一成像器和第二成像器,第一成像器和第二成像器中一个成像器为主成像器,另一个成像器为辅成像器,以通过第一成像器和第二成像器获取到主图像和辅助图像,其中,主图像为通过主成像器采集到的,辅助图像为通过辅成像器采集到的,所述辅助图像用于辅助计算主图像的视差信息。在本实施例中,所述第一成像器为主成像器,主成像器用于采集主图像,第二成像器为辅成像器,辅成像器用于采集辅助图像,所述辅助图像用于辅助计算主图像的视差信息。由此可知,所述目标预览图像为第一成像器采集到的主图像,参考预览图像为第二成像器采集到的辅助图像,参考预览图像用于辅助计算目标预览图像的深度信息。在本实施例的一个实现方式中,所述第一成像器和所述第二成像器均为摄像头。
在本实施例的一个实现方式中,所述目标预览图像和参考预览图像为成像模组处于预览状态时采集到的图像,即目标预览图像为第一成像器处于预览状态时采集到的图像,参考预览图像为第二成像器处于预览状态时采集到的图像。例如,配置有双摄像头的手机启动并处于拍照预览时,双摄像头中主摄像头采集到图像A,双摄像头中辅助摄像头采集到图像B,那么图像A为目标预览图像,图像B为参考预览图像。
在本实施例的一个实现方式中,由于不同时刻采集到的图像,可能出现差异,为了减少所述目标预览图像和所述参考预览图像之间由于时间造成的差异,所述目标预览图像和参考预览图像为帧同步图像,其中,所述帧同步图像指的是目标预览图像的帧序号与目标预览图像对应参考预览图像的帧序号相同。由于成像器在预览状态时并不是仅采集一帧图像,而是按照一定帧率采集多帧图像,采集的多帧图像形成图像序列以显示在成像器的显示屏上,帧序号表示该帧图像在图像序列中的序号,帧序号用于判断目标预览图像和参考预览图像是否为同一时刻的图像,例如,所述目标预览图像通过第一成像器采集得到,所述参考预览图像通过第二成像器采集得到,所述目标预览图像在第一成像器采集的图像序列中的序号与所述参考预览图像在第二成像器采集的图像序列中的序号相同,则所述目标预览图像的帧序号与所述参考预览图像的帧序号相同,那么所述目标预览图像和所述参考预览图像为同一时刻采集的图像。举例说明,目标预览图像的帧序号为3,参考预览图像的帧序号也为3,则目标预览图像和参考预览图像为帧同步图像。目标预览图像的帧序号为3,参考预览图像的帧序号也为5,则目标预览图像和参考预览图像不是帧同步图像。此外,为了保证目标预览图像和参考预览图像的帧同步,在通过第一成像器采集目标预览图像以及通过第二成像器采集参考预览图像之前,可以设置第一成像器和第二成像器的固定数据流帧率,以使得第一成像器采集目标预览图像时的帧率和第二成像器采集参考预览图像时的帧率相等。这样当终端设备处于采集预览状态,并第一成像器采集目标预览图像时的帧率和第二成像器采集参考预览图像时的帧率相等时,第一成像器采集到目标预览图像和第二采集图像采集的参考预览图像帧同步,这样可以避免目标预览图像和参考预览图像时差范围大,从而造成深度信息不准确的问题。
所述预虚化图像是指对所述目标预览图像进行均匀模糊所得到的图像,也就是说,对所述目标预览图像进行均匀模糊处理得到所述预虚化图像。均匀模糊是指虚化强度不变的虚化处理,对目标预览图像进行预虚化处理时,采用均匀模糊的方式,得到预虚化图像。举例说明,所述预虚化图像可以是全局虚化图像,所述预虚化图像是整个图像均进行了虚化强度相同的预虚化处理的图像,也就是说,该预虚化图像中各个位置的虚化强度一致。所述预虚化图像可以是局部虚化图像,所述预虚化图像是部分进行了虚化处理的图像,例如,通常拍摄目标位于图像中心,则可以将图像的边缘位置进行了均匀模糊得到预虚化图像。
所述预设焦点信息是指用户在目标预览图像中选定的预览焦点的信息。预设焦点信息可以是预览焦点的位置信息,例如,如图3和图6所示,用户所选定的预览焦点位于前景,也就是位于图像下半部分的白色区域内,则预设焦点信息采用预览焦点的坐标表示。再如,如图4和图5所示,用户所选定的预览焦点位于背景,也就是位于图像上半部分的白色区域内。
所述预设焦点信息可以根据用户的选取操作生成的,也可以是外部设备发送的。例如,当成像装置中显示目标预览图像时,可以接收用户对所述目标预览图像执行的点击操作,并获取点击操作对点击点作为预览焦点,并将所述点击点的位置信息(例如,点击点在所述显示界面上对应的像素点对应的像素位置,如,(125,150)等)作为预设焦点信息。
S2、根据所述目标预览图像和所述参考预览图像,确定所述目标预览图像对应的视差信息。
所述视差信息根据所述目标预览图像和所述目标预览图像对应的参考预览图像确定。所述目标预览图像的成像目标和所述参考预览图像的成像目标相同,在根据所述目标预览图像和所述目标预览图像计算视差信息时,针对所述目标预览图像中每个第一像素点,计算目标预览图像中第一像素点的位置与参考预览图像中与第一像素点对应的第二像素点的位置之间的差值,得到第一像素点对应的视差值,从而得到所述目标预览图像对应的视差信息。
举例说明,以杨树A作为成像目标,杨树A的顶点B作为成像目标上的物理点,杨树A的顶点B投影到目标预览图像中的像素点为第一像素点B',杨树A的顶点B投影到参考预览图像中的像素点为第二像素点B”,则第二像素点B”为参考预览图像中第一像素点B'的对应的像素点。第二像素点B'的位置为(xb',yb'),第一像素点B”的位置为(xb”,yb”),则目标预览图像中的第一像素点B'对应的视差值为(xb'-xb”,yb'-yb”)。
可以理解的是,图像中不同的物理点得到的视差值可以是不相同的。例如,距离越近的物理点得到的视差值越大,距离越远的物理点得到的视差值越小。
S3、根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息。
具体地,所述定焦视差信息是指携带有预览焦点信息的视差信息,根据所述视差信息和所述预览焦点信息,确定所述定焦视差信息。由于所述预览焦点信息的不同,也即预览焦点的位置不同,所得到的定焦视差信息也不相同。举例说明,根据如图2所示的视差信息,预览焦点在背景或前景时,所得到的定焦视差信息不同。
在本实施例的一个实现方式中,步骤S3、根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息,包括:
S31、根据所述视差信息和所述预览焦点信息,确定所述预览焦点信息对应的焦点视差值;其中,所述焦点视差值为所述视差信息中目标区域内的视差值的平均值,所述目标区域是以预览焦点为中心的区域。
具体地,所述焦点视差值为用户选定的预览焦点位置对应的视差值。预览焦点位置可以是所述目标预览图像中一个像素点的位置,也可以是所述目标预览图像中多个像素点(多个像素点形成目标区域)的位置,那么预览焦点位置为一个像素点的位置时,焦点视差值是该像素点对应的视差值,预览焦点位置为一个目标区域的位置时,焦点视差值是该目标区域内各像素点各自分别对应的视差值的平均值。举例说明,可以以用户选定的预览焦点为中心的目标区域的视差值平均值作为焦点视差值,目标区域的大小可以根据需要设置的,例如,目标区域的大小为3*3。
S32、根据所述视差信息和所述焦点视差值,确定所述目标预览图像对应的定焦视差信息;其中,所述定焦视差信息中视差值的离散程度大于所述视差信息中视差值的离散程度。
具体地,视差值的离散程度是指视差值之间的差异程度,通常图像的视差值的差别不大,也就是说图像的视差信息的离散程度较小,因此,需要将视差信息进行离散处理,扩大视差信息中视差值的离散程度。离散程度的测量指标包括极差、平均差和标准差一种或多种。测量指标越大表示离散程度越大,测量指标越小表示离散程度越小。离散处理可以采用指数函数等非线性函数,指数函数包括以自然常数为底的指数函数。
举例说明,视差信息中有两个视差值,分别为0.94和0.95,这两个视差值经过离散处理后,变成20和30,则0.94和0.95之间的离散程度要小于20和30之间的离散程度。例如,采用极差指标计算时,0.94和0.95之间的极差为0.95-0.94=0.01,20和30之间的极差为30-20=10>0.01,可见,定焦视差信息中视差值的离散程度大于视差信息中视差值的离散程度。
具体地,在对所述视差信息进行离散处理,以得到所述目标预览图像对应的定焦视差信息时,通过获取所述目标预览图像对应的预设离散参数和焦点视差值;并根据所述预设离散参数和焦点视差值,对所述视差信息进行离散处理,以得到所述目标预览图像对应的定焦视差信息。
所述焦点视差值根据用户选定的预览焦点位置,预览焦点位置可以位于前景或背景上。举例说明,如图3和图6所示,预览焦点位置位于前景上,如图4和图5所示,预览焦点位置位于背景上。
具体地,在对所述视差信息进行离散处理,以得到所述目标预览图像对应的定焦视差信息时,按照目标预览图像的两种虚化方式,对所述视差信息进行两种离散处理。如图3和图4所示,采用的是背景虚化的方式。如图5和图6所示,采用的是前景虚化的方式。
S4、根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像。
具体地,根据所述定焦视差信息、目标预览图像以及预虚化图像,确定虚化预览图像,定焦视差信息的视差值各不相同,则虚化预览图像与目标预览图像、预虚化图像之间的相似性不同,所得到的虚化预览图像一部分与目标预览图像相似,另一部分与预虚化图像相似,从而实现分区域虚化。
步骤S4、根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像,包括:
S41、根据所述定焦视差信息,确定所述目标预览图像对应的融合系数信息。
具体地,所述融合系数信息是指用于融合所述目标预览图像和所述预虚化图像的信息。由于融合系数信息是根据定焦视差信息确定的,且距离成像器远的物理点在融合系数信息中的视差值较小,距离成像器近的物理点在融合系数信息中的视差值较大,那么所得到融合系数信息中的视差值的大小反映了物理点距离成像器的距离。举例说明,由于背景区域的各物理点距离成像器的距离差异较小,融合系数信息中背景区域的视差值的差异较小。由于前景区域的各物理点距离成像器的距离差异较小,融合系数信息中前景区域的视差值的差异较小。由于背景区域的物理点距离成像器的距离与前景区域的物理点距离成像器的距离差异较大,融合系数信息中背景区域的视差值与融合系数信息中前景区域的视差值差异较大。通过融合系数信息中视差值的大小区分出融合系数信息的各个区域,在融合所述目标预览图像和所述预虚化图像时,由于融合系数信息中视差值的大小不同,则所得到的所述虚化预览图像的像素值与所述目标预览图像的像素值(或所述预虚化图像的像素值)之间的相似度不一样。
举例说明,融合系数信息A位置的视差值越大,所述虚化预览图像中A位置像素值与所述目标预览图像中A位置像素值之间的相似度越小,且所述虚化预览图像中A位置像素值与所述预虚化图像中A位置像素值之间的相似度越大。
反之,融合系数信息A位置的视差值越小,所述虚化预览图像中A位置像素值与所述目标预览图像中A位置像素值的相似度越大,且所述虚化预览图像中A位置像素值与所述预虚化图像中A位置像素值的相似度越小。
例如,当融合系数信息A位置的视差值为1时,所述虚化预览图像中A位置像素值等于所述预虚化图像中A位置像素值。当融合系数信息A位置的视差值为0时,所述虚化预览图像中A位置像素值等于所述目标预览图像中A位置像素值。
由上可知,所述融合系数信息的视差值越大,所得到的所述虚化预览图像中像素值与所述预虚化图像中像素值之间的相似度越大,由于所述预虚化图像的虚化程度较高,如果所述虚化预览图像某一区域中某一位置上像素点的像素值与所述预虚化图像同一区域中同一位置上像素点的像素值相同或相似(这里的相似是指两个像素值的差值小于预设差值,这里的位置是指像素点在图像中的坐标位置),将所述虚化预览图像中该像素点记为第一相似像素点,所述虚化预览图像的该区域中第一相似像素点的数量超过预设数量时,则所述虚化预览图像中该区域的虚化程度较高。当然,第一相似像素点的数量越多,则表明所述虚化预览图像中该区域的虚化程度越高。
举例说明,所述虚化预览图像A区域中(100,200)坐标位置上像素点的像素值为a,所述预虚化图像A区域中(100,200)坐标位置上像素点的像素值为b,若a=b,或a-b<预设差值,则所述虚化预览图像A区域中(100,200)坐标位置上像素点可记为第一相似像素点。
举例说明,所述虚化预览图像A区域有100个像素点,所述预虚化图像A区域也有100个像素点,其中,A区域在所述虚化预览图像中的位置与A区域在所述预虚化图像中的位置相同,针对A区域中每一个像素点,将该像素点的素值与A区域中同一位置的像素点的像素值比对,以确定该像素点是否为第一相似像素点,从而得到第一相似像素点的数量,例如,将预设数量设置为A区域中像素点的数量的50%,如果第一相似像素点的数量为60>100*50%,则A区域的虚化程度较高。
由上还可知,所述融合系数信息的视差值越小,所述虚化预览图像中像素值与所述目标预览图像中像素值的相似度越大,由于所述目标预览图像没有虚化(或者说虚化程度低),如果所述虚化预览图像某一区域中某一位置像素点的像素值与所述目标预览图像同一区域中同一位置像素点的像素值相同或相似(这里的相似是指两个像素值的差值小于预设差值,这里的位置是指像素点在图像中的坐标位置),将所述虚化预览图像中该像素点记为第二相似像素点,所述虚化预览图像的该区域中第二相似像素点的数量超过预设数量时,则所述虚化预览图像中该区域的虚化程度较低。当然,第二相似像素点的数量越多,则表明所述虚化预览图像中该区域的虚化程度越低。
举例说明,所述虚化预览图像A区域中(100,200)坐标位置上像素点的像素值为a,所述目标预览图像A区域中(100,200)坐标位置上像素点的像素值为c,若a=c,或a-c<预设差值,则所述虚化预览图像A区域中(100,200)坐标位置上像素点可记为第二相似像素点。
举例说明,所述虚化预览图像A区域有100个像素点,所述目标虚化图像A区域也有100个像素点,其中,A区域在所述虚化预览图像中的位置与A区域在所述目标虚化图像中的位置相同,针对A区域中每一个像素点,将该像素点的素值与A区域中同一位置的像素点的像素值比对,以确定该像素点是否为第二相似像素点,从而得到第二相似像素点的数量,例如,将预设数量设置为A区域中像素点的数量的50%,如果第二相似像素点的数量为70>100*50%,则A区域的虚化程度较低。
综上可见,所述融合系数信息的视差值的大小与虚化预览图像的虚化程度有关,虚化预览图像的虚化程度随着融合系数信息的视差值的增大而升高。
由于视差信息中不同区域(背景区域和前景区域)的视差值之间的具有差别,那么经过离散处理得到的定焦视差信息中不同区域的视差值之间的差别较大,融合系数信息中不同区域的视差值之间的差别也较大。又由于虚化预览图像的虚化程度随着融合系数信息的视差值的增大而升高,当融合系数信息中不同区域之间的视差值的差别较大时,虚化预览图像中不同区域的虚化程度的差别也就较大,也就是说,虚化预览图像中不同区域的虚化程度不同,从而实现了对目标预览图像的分区域虚化。
举例说明,以所述融合系数信息中前景区域的视差值较小且背景区域的视差值较大为例进行说明,由于虚化预览图像的虚化程度随着融合系数信息的视差值的增大而升高,当所述融合系数信息中前景区域的视差值较小时,那么所述虚化预览图像的前景区域的虚化程度较低。当所述融合系数信息中背景区域的视差值较大时,则得到的所述虚化预览图像的背景区域的虚化程度较高,以使所述虚化预览图像中形成前景区域虚化程度低,且背景区域虚化程度高,从而实现对目标预览图像进行分区域虚化。
需要指出的是,与现有技术中根据深度信息划分虚化区域,由于根据所述视差信息,确定所述融合系数信息,不需要确定所述目标预览图像的虚化区域,可以根据融合系数信息,将目标预览图像和预虚化图像融合,得到虚化预览图像,节省了时间,改善了预览的实时性。
具体地,将视差信息离散处理得到定焦视差信息后,定焦视差信息的视差值之间的差异扩大,从而便于区分不同大小的视差值,从而体现出所述目标预览图像的区域(包括前景区域和背景区域),从而便于确定所述融合系数信息,以对所述目标预览图像和所述预虚化图像进行融合。
在本实施例的一个实现方式中,步骤S41、根据所述定焦视差信息,确定所述目标预览图像对应的融合系数信息,具体包括:
S411、根据所述定焦视差信息,确定所述定焦视差信息对应的视差值阈值。
具体地,所述视差值阈值是指用于区分所述目标预览图像中的虚化区域的阈值。也就是说,通过所述定焦视差信息,确定所述视差值阈值,从而可以将所述定焦视差信息的视差值按大小分类,也就是将所述目标预览图像按区域划分。视差值阈值可以是一个,也可以是多个。当视差值阈值为一个时,则至少可以划分出两个区域。
需要说明的是,为了解决前景区域与背景区域之间视差值差异过小而导致的误虚和漏虚的问题,本实施例中,根据所述定焦视差信息,确定所述定焦视差信息对应的视差值阈值,然后根据视差值阈值,对定焦视差信息进行伽马变换,以此扩大前景区域与背景区域之间视差值的区分度,从而改善漏虚和误虚问题。
在本实施例的一个实现方式中,步骤S411、根据所述定焦视差信息,确定所述定焦视差信息对应的视差值阈值,包括:
S4111、根据所述定焦视差信息,确定所述定焦视差信息对应的直方图信息。
具体地,根据所述定焦视差信息,确定所述视差值阈值,需要对所述定焦视差信息的视差值的分布进行分析,本实施例中采用直方图分析所述定焦视差信息的视差值的分布,确定直方图的各分量,每个分量表示一个视差值间隔内所述定焦视差信息的视差值的数量。也就是说,将所述定焦视差信息的视差值按视差值间隔归类,统计每个视差值间隔内视差值的数量。直方图的第i个分量为pi,i=0,1,...,n-1,n,n表示分量的个数,也就是视差值间隔的个数。按照不同的视差值间隔,可以得到不同个数的分量。
采用归一化直方图分析所述定焦视差信息的视差值的分布,则有256个分量,也就是说,n为255,第i个分量为pi,i=0,1,...,254,255,也就是256个视差值间隔。
S4112、根据所述直方图信息,确定所述定焦视差信息对应的分量均值。
具体地,根据直方图信息,确定所述分量均值。可以根据直方图信息的分量个数以及各分量,确定所述分量均值。那么,分量均值为:
其中,mG表示分量均值,pi表示直方图信息的第i个分量,n表示分量的个数,∑表示求和符号。当然,当采用归一化直方图时,n=255。
S4113、针对所述直方图信息的每个分量,确定该分量对应的累积和值以及该分量对应的累积均值;并根据所述分量均值、该分量对应的累积和值以及该分量对应的累积均值,确定该分量对应的方差值。
具体地,累积和值是指从第一个分量至所累积到的分量之间所有分量之和。累积均值是指从第一个分量至所累积到的分量之间所有分量的均值。所累积到的分量可以是所述直方图信息中任意一个分量,k表示所累积到的分量的序号,k=0,1,...,n-1,n,n表示分量的个数。
具体地,累积和值为:
其中,Pl(k)表示累积和值,k表示所累积到的分量的序号,pi表示直方图信息的第i个分量。
累积均值为:
其中,m(k)表示累积均值,k表示所累积到的分量的序号,pi表示直方图信息的第i个分量。
具体地,根据所述分量均值、该分量对应的累积和值以及该分量对应的累积均值,确定该分量对应的方差值。也就是说,每累积到一个分量,则有一个方差值,有n个分量时,则有n个方差值。在归一化直方图中,有256个方差值。
具体地,方差值为:
其中,表示方差值,mG表示分量均值,m(k)表示累积均值,Pl(k)表示累积和值,k表示所累积到的分量的序号。
S4114、根据所有分量各自分别对应的方差值,确定所述定焦视差信息对应的视差值阈值。
具体地,根据所有分量各自分别对应的方差值,确定最大方差值,将最大方差值对应的k*作为所述目标预览图像对应的视差值阈值T_disparity。
具体地,视差值阈值为:
其中,T_disparity表示视差值阈值,表示方差值,k表示所累积到的分量的序号,argmax(·)表示使得函数取得最大值所对应的变量。
S412、针对所述定焦视差信息中每一个视差值,根据该视差值和所述视差值阈值,确定该视差值对应的目标预设参数;其中,所述目标预设参数是反映视差值与视差值阈值之间的差值大小的参数。
具体地,根据所述定焦视差信息中每个视差值和所述视差值阈值,确定该视差值对应的目标预设参数,也就是通过所述视差值阈值对所述定焦视差信息的视差值进行区分,具体通过所述视差值阈值,对定焦视差信息中背景区域的视差值与定焦视差信息中前景区域的视差值进行区分,从而确定目标预设参数。所述目标预设参数是反映视差值与视差值阈值之间的差值大小的参数,根据所述定焦视差信息中视差值与所述视差值阈值之间的差值的不同,可以采用不同的目标预设参数。
由于虚化预览图像可以采用两种虚化方式得到,一种是对所述目标预览图像进行前景虚化,另一种是对所述目标预览图像进行背景虚化。那么,所述定焦视差信息包括第一定焦视差信息和第二定焦视差信息。所述第一定焦视差信息是指所述目标预览图像进行前景虚化时的定焦视差信息;所述第二定焦视差信息是指所述目标预览图像进行背景虚化时的定焦视差信息。又由于所述视差值阈值是根据定焦视差信息确定的,在定焦视差信息包括第一定焦视差信息和第二定焦视差信息时,则视差值阈值包括第一视差值阈值和第二视差值阈值。第一视差值阈值是指所述目标预览图像进行前景虚化时的视差值阈值;第二视差值阈值是指所述目标预览图像进行背景虚化时的视差值阈值。目标预设参数包括第一预设参数、第二预设参数以及第三预设参数。预设参数是指预先设置的参数。第一预设参数和第二预设参数是指所述目标预览图像进行前景虚化时的预设参数。第三预设参数是指所述目标预览图像进行背景虚化时的预设参数。具体地,根据第一定焦视差信息和第一视差值阈值,确定目标预设参数为第一预设参数或第二预设参数。根据第二定焦视差信息和第二视差值阈值,确定目标预设参数为第三预设参数。
S413、根据所述定焦视差信息和所述定焦视差信息中各视差值各自分别对应的目标预设参数,确定所述目标预览图像对应的融合系数信息。
具体地,根据所述定焦视差信息和所述定焦视差信息中各视差值各自分别对应的目标预设参数,确定所述融合系数信息。在不同的虚化方式下,得到的融合系数信息不同,因此所述融合系数信息包括第一融合系数信息和第二融合系数信息。根据第一定焦视差信息、第一预设参数以及第二预设参数,确定第一融合系数信息。具体地,在第一定焦视差信息中,有些视差值采用第一预设参数进行处理,有些视差值采用第二预设参数进行处理,从而得到所述目标预览图像对应的第一融合系数信息。例如,在第一定焦视差信息中,小于第一视差值阈值的视差值采用第一预设参数进行处理,大于或等于第一视差值阈值的视差值采用第二预设参数进行处理。根据第二定焦视差信息和第三预设参数,确定第二融合系数信息。具体地,在第二定焦视差信息中,有些视差值采用第三预设参数进行处理,有些视差值不做处理,从而得到所述目标预览图像对应的第二融合系数信息。例如,大于或等于第一视差值阈值的视差值不做处理。
以下对两种虚化方式下,具体展开说明。第一种方式是前景虚化,对所述目标预览图像采用前景虚化时得到的虚化预览图像为前景虚化的图像,也就是说,虚化预览图像中前景进行了虚化。第二种方式是背景虚化,对所述目标预览图像采用背景虚化时,得到的虚化预览图像为背景虚化的图像,也就是说,虚化预览图像中背景进行了虚化。
当采用第一种虚化方式时,所述虚化预览图像为前景虚化的图像,所述定焦视差信息包括:第一定焦视差信息;所述第一定焦视差信息为所述目标预览图像进行前景虚化时的定焦视差信息。步骤S32、根据所述视差信息和所述焦点视差值,确定所述目标预览图像对应的定焦视差信息,包括:
S321a、获取所述目标预览图像对应的第一预设离散参数。
S322a、根据所述第一预设离散参数和所述焦点视差值,对所述视差信息进行离散处理,以得到所述目标预览图像对应的第一定焦视差信息。
具体地,离散参数是指离散处理中所采用的参数,第一离散参数是指所述目标预览图像进行前景虚化时的离散参数,所述第一离散参数可以根据客户需求预先设定的,当然第一离散参数可以根据需要进行修改。根据所述第一离散参数和所述焦点视差值,对所述视差信息进行离散处理,得到第一定焦视差信息。第一离散参数包括第一常数和第二常数。
具体地,第一定焦视差信息的视差值为:
disparity1=C1*e/(1+e)
e=exp(-abs(disparity-focus_disparity)/sigma1)
其中,disparity1表示第一定焦视差信息的视差值,C1表示第一常数,e表示中间变量,sigma1表示第二常数,abs(·)表示取绝对值函数,disparity表示视差信息的视差值,focus_disparity表示焦点视差值,exp(·)表示以自然常数为底的指数函数,第一常数C1大于256,第二常数sigma1大于0。举例说明,第一常数C1为570,第二常数sigma1为30。
需要指出的是,现有技术中,在用户选定焦点时,由于深度信息的动态范围大,容易造成焦点处的深度信息不准,从而导致虚化处理的稳定性较低,使得预览虚化的效果与拍摄虚化的效果不一致。与现有技术中利用深度信息进行虚化处理相比,本申请在用户选定预览焦点时,由于视差信息的动态范围小,不会造成预览焦点处的视差信息不准,从而确保虚化处理的稳定性较高,使得预览虚化的效果与拍摄虚化的效果一致。
在本实施例的一个实现方式中,所述视差值阈值包括:第一视差值阈值,所述目标预设参数包括:第一预设参数和第二预设参数,其中,所述第一预设参数小于所述第二预设参数,例如,所述第一预设参数小于1,所述第二预设参数大于1。根据所述第一定焦视差信息中视差值与第一视差值阈值之间的差值的大小,采用不同的预设参数,并对所述第一定焦视差信息进行不同变换。具体地,通过所述第一定焦视差信息中视差值与第一视差值阈值进行比较,确定目标预设参数。
具体地,步骤S412、针对所述定焦视差信息中每一个视差值,根据该视差值和所述视差值阈值,确定该视差值对应的目标预设参数,包括:
S4121a、针对所述第一定焦视差信息中每一个视差值,当该视差值小于所述第一视差值阈值时,该视差值对应的目标预设参数为所述第一预设参数。
S4122a、当该视差值大于或等于所述第一视差值阈值时,该视差值对应的目标预设参数为所述第二预设参数。
具体地,当所述第一定焦视差信息中视差值小于所述第一视差值阈值时,则所述目标预设参数采用所述第一预设参数。当所述第一定焦视差信息中视差值大于或等于所述第一视差值阈值时,所述目标预设参数为所述第二预设参数。也就是说,针对第一定焦视差信息中视差值与第一视差值阈值之间的差值的大小,采用不同的伽马变换,得到融合系数信息。通过第一视差值阈值判断第一定焦视差信息中视差值的大小,从而通过第一视差值阈值可区分所述目标预览图像中的虚化区域。
具体地,步骤S413、根据所述定焦视差信息和所述定焦视差信息中各视差值各自分别对应的目标预设参数,确定所述目标预览图像对应的融合系数信息,包括:
S413a、根据所述第一定焦视差信息和所述第一定焦视差信息中各视差值各自分别对应的目标预设参数,确定所述目标预览图像对应的第一融合系数信息。
具体地,第一融合系数信息为:
其中,disparity11表示第一融合系数信息的视差值,disparity1表示第一定焦视差信息的视差值,T_disparity1表示第一视差值阈值,γ1表示第一预设参数,γ2表示第二预设参数。举例说明,第一预设参数γ1为0.8,第二预设参数γ2为1.003。
本实施例的一个实现方式中,步骤S32、根据所述视差信息和所述焦点视差值,确定所述目标预览图像对应的定焦视差信息,包括:
S321b、获取所述目标预览图像对应的第二预设离散参数。
S322b、根据所述第二预设离散参数和所述焦点视差值,对所述视差信息进行离散处理,以得到所述目标预览图像对应的第二定焦视差信息。
具体地,第一离散参数是指所述目标预览图像进行背景虚化时的离散参数,所述第二离散参数可以根据客户需求预先设定的,当然第二离散参数可以根据需要进行修改。根据所述第二离散参数和所述焦点视差值,对所述视差信息进行离散处理,得到第二定焦视差信息。第二离散参数包括第三常数和第四常数。
具体地,第二定焦视差信息的视差值为:
disparity2=C2/(1+exp(-(disparity-focus_disparity+1)/sigma2))
其中,disparity2表示第二定焦视差信息的视差值,C2表示第三常数,表示sigma2第四常数,disparity表示视差信息的视差值,focus_disparity表示焦点视差值,exp(·)表示以自然常数为底的指数函数,第三常数C2大于256,第四常数sigma2大于0。举例说明,第三常数C2为271,第四常数sigma2为30。
本实施例的一个实现方式中,步骤S412、针对所述定焦视差信息中每一个视差值,根据该视差值和所述视差值阈值,确定该视差值对应的目标预设参数,包括:
S4121b、针对所述第二定焦视差信息中每一个视差值,当该视差值小于所述第二视差值阈值时,该视差值对应的目标预设参数为第三预设参数。
具体地,当所述第二定焦视差信息中视差值disparity2小于所述第二视差值阈值T_disparity2时,所述目标预设参数为第三预设参数γ3。
S4122b、当该视差值大于或等于所述第二视差值阈值时,该视差值对应的目标预设参数为1。
具体地,当所述第二定焦视差信息中视差值disparity2大于或等于所述第二视差值阈值T_disparity2时,所述目标预设参数为1。在伽马变换中,目标预设参数为1,也就是说,不进行伽马变换,保持第二定焦视差信息中视差值的大小不变。
具体地,步骤S413、根据所述定焦视差信息和所述定焦视差信息中各视差值各自分别对应的目标预设参数,确定所述目标预览图像对应的融合系数信息,包括:
S413b、根据所述第二定焦视差信息和所述第二定焦视差信息中各视差值各自分别对应的目标预设参数,确定所述目标预览图像对应的第二融合系数信息。
具体地,第二融合系数信息为:
其中,disparity22表示第二融合系数信息的视差值,γ3表示第三预设参数,disparity2表示第二定焦视差信息的视差值,T_disparity2表示第二视差值阈值。
所述第三预设参数根据所述第二定焦视差信息的最大视差值、所述第二定焦视差信息的最小视差值以及所述焦点视差值确定,具体地,所述第三预设参数为:γ3=γ4+γ5*(max_disparity2-focus_disparity2)/(max_disparity2-min_disparity2)
其中,γ3表示第三预设参数,max_disparity2表示第二定焦视差信息的最大视差值,min_disparity2表示第二定焦视差信息的最小视差值,focus_disparity2表示焦点视差值。γ4表示第四预设参数,γ5表示第五预设参数,且所述第四预设参数与所述第五预设参数之和为1,即γ4+γ5=1。举例说明,第四预设参数γ4为0.7。
当然,第二融合系数信息为:
disparity22=disparity2;disparity2≥T_disparity2
其中,disparity22表示第二融合系数信息的视差值,disparity2表示第二定焦视差信息的视差值,T_disparity2表示第二视差值阈值。
S42、根据所述融合系数信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像;其中,所述预虚化图像为对所述目标预览图像进行均匀模糊所得到的图像。
具体地,根据所述融合系数信息,对所述目标预览图像和所述预虚化图像进行融合,得到虚化预览图像。具体地,虚化预览图像为:
preBokeh_M=(1-F)*M+F*bokeh_M
其中,preBokeh_M表示虚化预览图像,M表示目标预览图像,bokeh_M表示预虚化图像,F表示融合系数信息。采用不同虚化方式时,融合系数信息F分别为第一融合系数信息和第二融合系数信息。第一融合系数信息的视差值为disparity11,第二融合系数信息的视差值为disparity22。
可以看出的是,当融合系数信息F趋近于1时,虚化预览图像preBokeh_M与预虚化图像bokeh_M相似。当融合系数信息F趋近于0时,虚化预览图像preBokeh_M与目标预览图像M相似。由于在两种虚化方式下,融合系数信息包括第一融合系数信息和第二融合系数信息,也就是说,可以根据不同的虚化方式得到不同的虚化预览图像。当然选择不同的预览焦点位置,也可以得到不同的虚化预览图像。此外,对预虚化图像的虚化强度进行调整,也可以得到不同的虚化预览图像。
在根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息时,由于视差信息的动态范围小,即使焦点位置有偏移,焦点处的视差信息(即焦点视差信息)变化不大,再通过所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像,所得到的虚化预览图像的虚化稳定性较高,从而避免了焦点处深度不准导致的虚化效果不稳定的问题。
在本发明实施例的一个实现方式中,所述融合系数信息的尺寸小于所述目标预览图像的尺寸。具体地,在步骤S2中,所述视差信息的尺寸小于所述目标预览图像的尺寸,在获得所述视差信息时,先对所述目标预览图像和所述参考预览图像进行下采样,减小所述目标预览图像的尺寸和所述参考预览图像的尺寸,那么根据下采样的目标预览图像和下采样的参考预览图像得到下采样的视差信息,然后按照步骤S3,根据所述下采样的视差信息和所述预览焦点信息,确定所述目标预览图像对应的下采样的定焦视差信息,由于下采样的视差信息的尺寸小于所述目标预览图像的尺寸,则得到下采样的融合系数信息的尺寸也小于所述目标预览图像的尺寸。因此,在步骤S42中,可以对所述下采样的融合系数信息进行上采样,得到融合系数信息,使得融合系数信息的尺寸与所述目标预览图像的尺寸相同,从而可以根据融合系数信息,对所述目标预览图像和所述预虚化图像进行融合,以得到虚化预览图像。
在一个实施例中,本发明提供了一种计算机设备,该设备可以是终端,内部结构如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现图像虚化方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9所示的仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取目标预览图像、所述目标预览图像对应的参考预览图像、所述目标预览图像对应的预览焦点信息以及所述目标预览图像对应的预虚化图像;
根据所述目标预览图像和所述参考预览图像,确定所述目标预览图像对应的视差信息;
根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息;
根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取目标预览图像、所述目标预览图像对应的参考预览图像、所述目标预览图像对应的预览焦点信息以及所述目标预览图像对应的预虚化图像;
根据所述目标预览图像和所述参考预览图像,确定所述目标预览图像对应的视差信息;
根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息;
根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
Claims (10)
1.一种图像虚化方法,其特征在于,所述方法包括:
获取目标预览图像、所述目标预览图像对应的参考预览图像、所述目标预览图像对应的预览焦点信息以及所述目标预览图像对应的预虚化图像;
根据所述目标预览图像和所述参考预览图像,确定所述目标预览图像对应的视差信息;
根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息;
根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像;
所述根据所述视差信息和所述预览焦点信息,确定所述目标预览图像对应的定焦视差信息,包括:
根据所述视差信息和所述预览焦点信息,确定所述预览焦点信息对应的焦点视差值;其中,所述焦点视差值为所述视差信息中目标区域内的视差值的平均值,所述目标区域是以预览焦点为中心的区域;
根据所述视差信息和所述焦点视差值,确定所述目标预览图像对应的定焦视差信息;其中,所述定焦视差信息中视差值的离散程度大于所述视差信息中视差值的离散程度;
所述根据所述定焦视差信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像,包括:
根据所述定焦视差信息,确定所述目标预览图像对应的融合系数信息;
根据所述融合系数信息、所述目标预览图像以及所述预虚化图像,确定所述目标预览图像对应的虚化预览图像;其中,所述预虚化图像为对所述目标预览图像进行均匀模糊所得到的图像;
所述目标预览图像为通过成像模组中的第一成像器采集的图像,所述参考预览图像为通过成像模组中的第二成像器采集的图像,所述目标预览图像和所述参考预览图像为帧同步图像。
2.根据权利要求1所述的图像虚化方法,其特征在于,所述根据所述定焦视差信息,确定所述目标预览图像对应的融合系数信息包括:
根据所述定焦视差信息,确定所述定焦视差信息对应的视差值阈值;
针对所述定焦视差信息中每一个视差值,根据该视差值和所述视差值阈值,确定该视差值对应的目标预设参数;其中,所述目标预设参数是反映视差值与视差值阈值之间的差值大小的参数;
根据所述定焦视差信息和所述定焦视差信息中各视差值各自分别对应的目标预设参数,确定所述目标预览图像对应的融合系数信息。
3.根据权利要求2所述的图像虚化方法,其特征在于,所述虚化预览图像为前景虚化的图像;所述定焦视差信息包括:第一定焦视差信息,所述第一定焦视差信息为所述目标预览图像进行前景虚化时的定焦视差信息;
所述根据所述视差信息和所述焦点视差值,确定所述目标预览图像对应的定焦视差信息,包括:
获取所述目标预览图像对应的第一预设离散参数;
根据所述第一预设离散参数和所述焦点视差值,对所述视差信息进行离散处理,以得到所述目标预览图像对应的第一定焦视差信息。
4.根据权利要求3所述的图像虚化方法,其特征在于,所述视差值阈值包括:第一视差值阈值,所述第一视差值阈值为所述目标预览图像进行前景虚化时的视差值阈值,所述目标预设参数包括:第一预设参数和第二预设参数,其中,所述第一预设参数小于所述第二预设参数;
所述针对所述定焦视差信息中每一个视差值,根据该视差值和所述视差值阈值,确定该视差值对应的目标预设参数,包括:
针对所述第一定焦视差信息中每一个视差值,当该视差值小于所述第一视差值阈值时,该视差值对应的目标预设参数为所述第一预设参数;
当该视差值大于或等于所述第一视差值阈值时,该视差值对应的目标预设参数为所述第二预设参数。
5.根据权利要求2所述的图像虚化方法,其特征在于,所述虚化预览图像为背景虚化的图像;所述定焦视差信息包括:第二定焦视差信息,所述第二定焦视差信息为所述目标预览图像进行背景虚化时的定焦视差信息;
所述根据所述视差信息和所述焦点视差值,确定所述目标预览图像对应的定焦视差信息,包括:
获取所述目标预览图像对应的第二预设离散参数;
根据所述第二预设离散参数和所述焦点视差值,对所述视差信息进行离散处理,以得到所述目标预览图像对应的第二定焦视差信息。
6.根据权利要求5所述的图像虚化方法,其特征在于,所述视差值阈值包括:第二视差值阈值,所述第二视差值阈值为所述目标预览图像进行背景虚化时的视差值阈值,所述目标预设参数包括:第三预设参数,其中,所述第三预设参数根据所述第二定焦视差信息的最大视差值、所述第二定焦视差信息的最小视差值以及所述焦点视差值确定;
所述针对所述定焦视差信息中每一个视差值,根据该视差值和所述视差值阈值,确定该视差值对应的目标预设参数,包括:
针对所述第二定焦视差信息中每一个视差值,当该视差值小于所述第二视差值阈值时,该视差值对应的目标预设参数为第三预设参数。
7.根据权利要求2所述的图像虚化方法,其特征在于,所述根据所述定焦视差信息,确定所述定焦视差信息对应的视差值阈值,包括:
根据所述定焦视差信息,确定所述定焦视差信息对应的直方图信息;
根据所述直方图信息,确定所述定焦视差信息对应的分量均值;
针对所述直方图信息的每个分量,确定该分量对应的累积和值以及该分量对应的累积均值;并根据所述分量均值、该分量对应的累积和值以及该分量对应的累积均值,确定该分量对应的方差值;
根据所有分量各自分别对应的方差值,确定所述定焦视差信息对应的视差值阈值。
8.根据权利要求1所述的图像虚化方法,其特征在于,所述第一成像器为主成像器,主成像器用于采集主图像,所述第二成像器为辅成像器,所述辅成像器用于采集辅助图像,所述辅助图像用于辅助计算主图像的视差信息。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的图像虚化方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的图像虚化方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010916702.XA CN114143442B (zh) | 2020-09-03 | 2020-09-03 | 图像虚化方法、计算机设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010916702.XA CN114143442B (zh) | 2020-09-03 | 2020-09-03 | 图像虚化方法、计算机设备、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114143442A CN114143442A (zh) | 2022-03-04 |
CN114143442B true CN114143442B (zh) | 2023-08-01 |
Family
ID=80438220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010916702.XA Active CN114143442B (zh) | 2020-09-03 | 2020-09-03 | 图像虚化方法、计算机设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114143442B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028454A (ja) * | 2006-07-18 | 2008-02-07 | Kyocera Corp | 撮像装置 |
CN105100615A (zh) * | 2015-07-24 | 2015-11-25 | 青岛海信移动通信技术股份有限公司 | 一种图像的预览方法、装置及终端 |
CN106357980A (zh) * | 2016-10-19 | 2017-01-25 | 广东欧珀移动通信有限公司 | 图像虚化处理方法、装置和移动终端 |
CN107948519A (zh) * | 2017-11-30 | 2018-04-20 | 广东欧珀移动通信有限公司 | 图像处理方法、装置及设备 |
CN110022430A (zh) * | 2018-01-10 | 2019-07-16 | 中兴通讯股份有限公司 | 图像虚化方法、装置、移动终端及计算机可读存储介质 |
CN111311482A (zh) * | 2018-12-12 | 2020-06-19 | Tcl集团股份有限公司 | 背景虚化方法、装置、终端设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7286168B2 (en) * | 2001-10-12 | 2007-10-23 | Canon Kabushiki Kaisha | Image processing apparatus and method for adding blur to an image |
JP2015213299A (ja) * | 2014-04-15 | 2015-11-26 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2020
- 2020-09-03 CN CN202010916702.XA patent/CN114143442B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028454A (ja) * | 2006-07-18 | 2008-02-07 | Kyocera Corp | 撮像装置 |
CN105100615A (zh) * | 2015-07-24 | 2015-11-25 | 青岛海信移动通信技术股份有限公司 | 一种图像的预览方法、装置及终端 |
CN106357980A (zh) * | 2016-10-19 | 2017-01-25 | 广东欧珀移动通信有限公司 | 图像虚化处理方法、装置和移动终端 |
CN107948519A (zh) * | 2017-11-30 | 2018-04-20 | 广东欧珀移动通信有限公司 | 图像处理方法、装置及设备 |
CN110022430A (zh) * | 2018-01-10 | 2019-07-16 | 中兴通讯股份有限公司 | 图像虚化方法、装置、移动终端及计算机可读存储介质 |
CN111311482A (zh) * | 2018-12-12 | 2020-06-19 | Tcl集团股份有限公司 | 背景虚化方法、装置、终端设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
《人眼的深度视觉原理与立体影像特性》;朱梁;《北京电影学院学报》(第4期);第1-8页 * |
《双视角自然图像视差计算和深度估计》;李春明,耿永鹏,远松灵,李鹏;《北京信息科技大学学报》;第28卷(第5期);第1-5页 * |
《基于模糊相似度融合的图像复原算法》;刘卫华;白本督;赵小强;《计算机辅助设计与图形学学报》;第25卷(第5期);第1-6页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114143442A (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8254630B2 (en) | Subject extracting method and device by eliminating a background region using binary masks | |
CN109691080B (zh) | 拍摄图像方法、装置和终端 | |
CN114071010B (zh) | 一种拍摄方法及设备 | |
US9445073B2 (en) | Image processing methods and systems in accordance with depth information | |
CN110636276A (zh) | 视频拍摄方法、装置、存储介质及电子设备 | |
CN111935398A (zh) | 图像的处理方法、装置、电子设备和计算机可读介质 | |
CN112532881A (zh) | 图像处理方法、装置和电子设备 | |
CN114445315A (zh) | 图像质量增强方法和电子设备 | |
CN112422798A (zh) | 拍照方法、装置、电子设备和存储介质 | |
CN112672058B (zh) | 拍摄方法及装置 | |
CN114071009B (zh) | 一种拍摄方法及设备 | |
JP2015138399A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
WO2018196854A1 (zh) | 一种拍照方法、拍照装置及移动终端 | |
CN111885371A (zh) | 图像遮挡检测方法、装置、电子设备和计算机可读介质 | |
CN114143442B (zh) | 图像虚化方法、计算机设备、计算机可读存储介质 | |
CN115334241B (zh) | 对焦控制方法、装置、存储介质及摄像设备 | |
CN116958795A (zh) | 翻拍图像的识别方法、装置、电子设备及存储介质 | |
US10282633B2 (en) | Cross-asset media analysis and processing | |
CN112653841B (zh) | 拍摄方法、装置和电子设备 | |
CN115134532A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
KR101132976B1 (ko) | 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법 | |
CN113395434B (zh) | 一种预览图像虚化方法、存储介质及终端设备 | |
JP2016032125A (ja) | 画像処理装置、画像処理プログラム、電子機器及び画像処理方法 | |
CN107633498A (zh) | 图像暗态增强方法、装置及电子设备 | |
CN114390206A (zh) | 拍摄方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |