CN113965664B - 一种图像虚化方法、存储介质以及终端设备 - Google Patents

一种图像虚化方法、存储介质以及终端设备 Download PDF

Info

Publication number
CN113965664B
CN113965664B CN202010698264.4A CN202010698264A CN113965664B CN 113965664 B CN113965664 B CN 113965664B CN 202010698264 A CN202010698264 A CN 202010698264A CN 113965664 B CN113965664 B CN 113965664B
Authority
CN
China
Prior art keywords
image
blurring
pixel point
pixel
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010698264.4A
Other languages
English (en)
Other versions
CN113965664A (zh
Inventor
李鹏
刘阳兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202010698264.4A priority Critical patent/CN113965664B/zh
Publication of CN113965664A publication Critical patent/CN113965664A/zh
Application granted granted Critical
Publication of CN113965664B publication Critical patent/CN113965664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像虚化方法、存储介质以及终端设备，所述方法获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域；基于所述深度图以及所述待处理图像对应的成像参数，确定所述待处理图中的各像素点各自对应的虚化半径；基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像。本发明在获取到深度图后，基于深度图以及待处理图像对应的成像参数确定各像素点的虚化半径，使得各像素点对应的虚化半径与该像素点对应的光学散焦虚半径相匹配，这样可以减少不同虚化半径的像素点之间的像素差异，提高了各虚化半径对应的像素点之间的虚化过渡的平滑性，从而提高了虚化图像的图像质量。

Description

一种图像虚化方法、存储介质以及终端设备
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像虚化方法、存储介质以及终端设备。
背景技术
双摄像头已经越来越多地应用于移动终端设备上，现有技术中双摄像头中的一个摄像头用来拍摄照片，另一个摄像头用来辅助计算照片的深度值，以便进行后续的图像虚化处理。然而，目标普遍使用的图像虚化处理方法得到虚化图像中存在虚化分级痕迹，从而到虚化效果差。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种图像虚化方法、存储介质以及终端设备。
为了解决上述技术问题，本发明实施例第一方面提供了一种图像虚化方法，其特征在于，所述方法包括：
获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域；
基于所述深度图以及所述待处理图像对应的成像参数，确定所述待处理图中的各像素点各自对应的虚化半径；
基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像。
所述图像虚化方法，其中，所述待处理图像为成像模组中主成像器拍摄的主图像，其中，所述成像模组包括至少主成像器和辅助成像器；主成像器用于拍摄主图像，辅助成像器用于拍摄辅助图像，所述辅助图像用于辅助确定主图像的深度图。
所述图像虚化方法，其中，所述获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域具体包括：
获取待处理图像以及辅助图像，并基于所述待处理图像以及所述辅助图像确定所述待处理图像对应的深度图；
基于预设深度阈值，确定所述深度图对应的背景区域；
将所述待处理图像中与所述背景区域对应的图像区域作为所述待处理图像对应的待虚化区域。
所述图像虚化方法，其中，所述基于预设深度阈值，确定所述深度图对应的背景区域具体包括：
基于预设焦点确定所述深度图对应的预设深度阈值；
基于所述预设深度阈值，确定所述深度图对应的背景区域，其中，所述背景区域中各像素点对应的深度值均大于或者等于所述预设深度阈值。
所述图像虚化方法，其中，所述成像参数包括焦距以及镜头孔径；所述基于所述深度图以及所述待处理图像对应的成像参数，确定所述待处理图中的各像素点各自对应的虚化半径具体包括：
对于待处理图像中的每个像素点，基于深度图确定该像素点的深度值；
基于该深度值、所述焦距以及所述镜头孔径，确定该像素点对应的弥散半径；
基于该弥散半径，确定该像素点对应的虚化半径。
所述图像虚化方法，其中，所述基于所述弥散半径，确定该像素点对应的虚化半径具体包括：
获取所述待处理图像对应的像平面与镜头之间的第一距离，镜头与像素平面之间的第二距离，以及镜头对应的感光系数，其中，所述镜头为用于拍摄所述待处理图像的成像器配置的镜头；
基于所述弥散半径、第一距离、第二距离以及所述感光系数，确定该像素点对应的虚化半径。
所述图像虚化方法，其中，所述基于所述弥散半径、第一距离、第二距离以及所述感光系数，确定该像素点对应的虚化半径具体包括：
确定所述第二距离与所述第一距离的比值；
确定所述感光系数、所述比值以及所述弥散半径的乘积，并将所述乘积作为该像素对应的虚化半径。
所述图像虚化方法，其中，所述获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域之后，所述方法还包括：
获取所述待虚化区域中的各像素点对应的像素亮度；
对于像素亮度大于或者等于预设亮度阈值的第一像素点，调整该第一像素点的像素值，以得到调整后的待虚化区域；其中，该第一像素点对应的调整后的像素值大于该第一像素点对应的原始像素值；
将调整后的待虚化区域作为所述待处理图像对应的待虚化区域。
所述图像虚化方法，其中，所述获取所述待虚化区域中的各像素点对应的像素亮度具体包括：
对于待虚化区域中的每个像素点，获取该像素点的R通道像素值、G通道像素值以及B通道像素值；
根据所述R通道像素值、G通道像素值以及B通道像素值，确定该像素点对应的亮度值；
对所述亮度值进行标准化处理，以得到该像素点对应的像素亮度。
所述图像虚化方法，其中，所述对所述亮度值进行标准化处理，以得到该像素点对应的像素亮度具体包括：
确定所述亮度值与第一预设亮度阈值的差值；
确定所述差值与第二预设亮度阈值的比值，并将所述比值作为该像素点对应的像素亮度，以得到该像素点对应的像素亮度。
所述图像虚化方法，其中，所述基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像具体包括：
基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，得到待虚化区域对应的虚化区域；
将所述虚化区域与前景区域进行融合，以得到融合图像，其中，所述前景区域为待处理图像中除待虚化区域外的图像区域；
对所述融合图像进行双边滤波，以得到待处理图像对应的虚化图像。
所述图像虚化方法，其中，所述基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像具体包括：
基于各像素点各自对应的虚化半径，确定各像素点对应的虚化处理核；
对于每个像素点，确定该像素点对应的虚化处理核对应的掩码图像，其中，在所述掩码图像中，待虚化区域的像素点的像素值为第一预设像素值，前景区域的像素点的像素值为第二预设像素值，前景区域为待处理图像中除待虚化区域外的图像区域；
基于各像素点对应的虚化处理核以及掩码图像，确定各像素点对应的虚化像素值，以得到待处理图像对应的虚化图像。
本发明实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像虚化方法中的步骤。
本发明实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的图像虚化方法中的步骤。
有益效果：与现有技术相比，本发明提供了一种图像虚化方法、存储介质以及终端设备，所述方法获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域；基于所述深度图以及所述待处理图像对应的成像参数，确定所述待处理图中的各像素点各自对应的虚化半径；基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像。本发明在获取到深度图后，基于深度图以及待处理图像对应的成像参数确定各像素点的虚化半径，使得各像素点对应的虚化半径与该像素点对应的光学散焦虚半径相匹配，这样可以减少不同虚化半径的像素点之间的像素差异，提高了各虚化半径对应的像素点之间的化过渡的平滑性，从而提高了虚化图像的图像质量。
附图说明
图1为本发明提供的图像虚化方法的流程图。
图2为本发明提供的图像虚化方法中在深度图上选取候选区域的一个示例图。
图3为本发明提供的图像虚化方法中将候选区域划分为若干子候选区域的示例图。
图4为本发明提供的图像虚化方法中透镜成像原理示意图。
图5为本发明提供的图像虚化方法中虚化处理核的一个示例图。
图6为本发明提供的图像虚化方法中虚化处理核的另一个示例图。
图7为本发明提供的图像虚化方法中深度图的一个示例图。
图8为本发明提供的图像虚化方法中虚化图像的一个示例图。
图9为本发明提供的终端设备的结构原理图。
具体实施方式
本发明提供一种图像虚化方法、存储介质以及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
经发明人研究发现，双摄像头已经越来越多地应用于移动终端设备上，现有技术中双摄像头中的一个摄像头用来拍摄照片，另一个摄像头用来辅助计算照片的深度值，以便进行后续的图像虚化处理。目前图像虚化普遍采用分层多级虚化的方式，例如，首先利用主摄像头和副摄像头合成带有景深信息的深度图，然后从深度图中分割出前景区域和背景区域，并依据深度图对背景区域进行多级虚化，最后将虚化后的背景与前景融合得到虚化图像。然而，基于深度图的用分层多级虚化方式，将各不同等级下虚化的背景区域叠加形成虚化后的背景区域，然后融合前景和虚化好的背景得到最终的景深虚化效果。但是，在各不同等级下虚化的背景区域叠加时，由于相邻的区域出现虚化程度不一致，而导致不同虚化等级之间叠加的边缘出现虚化过渡不平滑，从而不同等级下虚化的背景区域叠区域的边缘出现光晕或黑边等效果。
为了解决上述问题，本实施例提供了一种图像虚化方法、存储介质以及终端设备，所述方法获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域；基于所述深度图以及所述待处理图像对应的成像参数，确定所述待处理图中的各像素点各自对应的虚化半径；基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像。本发明在获取到深度图后，基于深度图以及待处理图像对应的成像参数确定各像素点的虚化半径，使得各像素点对应的虚化半径与该像素点对应的光学散焦虚半径相匹配，这样可以减少不同虚化半径的像素点之间的像素差异，提高了各虚化半径对应的像素点之间的虚化过渡的平滑性，从而提高了虚化图像的图像质量。
本实施例提供的一种图像虚化方法，该图像虚化方法的执行主体可以为图像虚化装置，或者集成图像虚化装置的电子设备，其中，图像虚化装置可以采用硬件或者软件的方式实现。可以理解的时，本实施例的执行主体可以是诸如智能手机、平板电脑或个人数字助理等之类的设置有成像模组(例如，摄像头等)的智能终端上。当然，在实际应用中，所述方法也可以应用于服务器上。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
本实施提供了一种图像虚化方法，如图1所示，所述方法可以包括以下步骤：
S10、获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域。
具体地，所述待处理图像可以是通过成像模组拍摄的图像，所述成像模组至少包括两个成像器，两个成像器分别为主成像器和辅助成像器。所述主成像器和辅助成像器设置在同一平面上，主成像器和辅助成像器可以是横向相邻设置在一起，也可以是竖向相邻设置。所述主成像器和辅助成像器可以为电子设备(例如，智能手机)的双摄像头，即主成像器和辅助成像器均为摄像头。例如，主成像器和辅助成像器可以为双后置摄像头或双前置摄像头，其中，主成像器和辅助成像器可以一个为彩色成像器另一个为黑白成像器(例如，主成像器彩色成像器，辅助成像器为黑白成像器)，主成像器和辅助成像器也可以采用焦距不一样的成像器，当然，主成像器和辅助成像器也可以采用一样的成像器。当然，所述成像模组还可以包括3个成像器(例如，具有三个摄像头的智能手机等)，也可以包括4个成像器等。
进一步，所述待处理图像可以是通过电子设备自身配置的成像模组获取的待处理图像，也可以是通过网络、蓝牙以及红外等途径获取其他电子设备的成像模组采集得到的待处理图像。在本实施例的一个具体实现方式中，所述待处理图像为通过电子设备自身配置的成像模组拍摄得到，并且所述待处理图像通过所述成像模组的主成像器拍摄得到的图像，其中，所述主成像器用于拍摄主图像。可以理解的是，电子设备配置有成像模组，即所述电子设备至少配置有主成像器和辅助成像器，主成像器用于拍摄主图像，辅助成像器用于拍摄辅助图像，所述辅助图像用于辅助确定主图像的深度图；所述待处理图像为主成像器拍摄得到的主图像。例如，配置有双摄像头的手机拍照图像时，双摄像头中主摄像头采集到图像A，双摄像头中辅助摄像头采集到图像B，那么图像A为待处理图像，图像B为用于确定所述图像A的深度图的辅助图像。
进一步，所述深度图为所述待处理图像中各像素点对应的深度值构成的图像，其中，待处理图像中各像素点的深度值指的是该像素点到主成像器与辅助成像器所在平面的距离。此外，深度图的图像尺寸与待处理图像的图像尺寸相等，并且对于深度图中的每个像素点，该像素点与待处理图像中的目标像素点相对应，并且该像素点的像素值为目标像素点的深度值，所述目标像素点为待处理图像中位置信息与该像素点在深度图中的位置信息相同的像素点。例如，该像素点在深度图中的位置信息为(10,20)，像素值为50，那么该目标像素点在待处理图像中的位置信息为(10,20)，并且目标像素点的深度值为50。
进一步，所述待虚化区域为所述待处理图像的部分图像区域，所述待虚化区域可以为基于预设深度阈值对所述待处理图像进行划分得到，其中，所述待虚化区域为待处理图像中像素点的深度值小于或等于预设深度阈值的像素点构成的图像区域。由此，在获取到深度图之后，需要确定待处理图像对应的深度阈值，并基于该深度阈值确定待处理图像对应的待虚化区域。相应的，在本实施例的一个实现方式中，所述获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域具体包括：
S11、获取待处理图像以及辅助图像，并基于所述待处理图像以及辅助图像确定所述待处理图像对应的深度图；
S12、基于预设深度值，确定所述深度图对应的背景区域；
S13、将所述待处理图像中与所述背景区域对应的图像区域作为所述待处理图像对应的待虚化区域。
具体地，在所述步骤S11中，所述辅助图像为通过拍摄所述待处理图像的成像模组获取的，并且所述辅助图像为该成像模组包括的辅助成像器拍摄得到的，所述待处理图像为成像模组包括的主成像器拍摄得到，其中，所述辅助图像用于辅助计算所述待处理图像的深度图，所述待处理图像为用于显示的图像。可以理解的是，所述成像模组包括至少主成像器和辅助成像器，主成像器用于拍摄主图像，辅助成像器用于拍摄辅助图像，所述主图像用于形成拍摄图像，所述辅助图像用于辅助确定主图像的深度图。所述待处理图像为成像模组拍摄得到主图像，所述辅助图像为程序模组拍摄得到辅助图像。
进一步，基于所述待处理图像以及辅助图像确定所述待处理图像对应的深度图的过程可以为：对于待处理图像中的每个像素点，基于待处理图像和辅助图像确定该像素点的深度值，在获取到所有像素点对应的深度值后，按照各像素点在待处理图像中位置将各深度值排布成矩阵，以得到待处理图像的深度图。其中，像素点的深度值可以根据三角测距远离来实现。这是由于待处理图像和辅助图像分别有主成像器和辅助成像器采集得到，而主成像器和辅助成像器之间具有一定距离，从而导致视差。由此，可以根据三角测距远离计算得到待处理图像和辅助图像中同一对象的深度值，也就是该对象距离主成像器和辅助成像器所在平面的距离，例如，像素点A距离主成像器和辅助成像器所在平面的距离为50，那么该像素点的深度值为50。
此外，在实际应用中，为了减少计算深度图时的计算量，在获取到待处理图像和辅助图像后，可以分别按照预定比例缩减待处理图像和辅助图像，并采用缩减得到的待处理图像作为待处理图像，缩减得到的辅助图像作为辅助图像。例如，分别将待处理图像和辅助图像缩小预设倍数(例如，2倍、4倍等)，或者分别将待处理图像和辅助图像缩小到待处理图像尺寸(例如，224*224等)等。同时，在获取到各像素点对应的深度值后，可以将待处理图像中的各像素点对应的深度值分别作为各自像素点的像素值(例如，将像素点A对应的深度值作为像素点A的像素值，将像素点B对应的深度值作为像素点B的像素值)，以得到待处理图像对应的深度图。此外，在确定待处理图像对应的深度图之后，可以对所述深度图进行预处理，以提高所述深度图均匀性以及边缘平滑性。其中，所述预处理可以是滤波处理等，其中，所述滤波处理可以包括加权最小二乘滤波和自适应中值滤波等。
进一步，在所述步骤S12中，所述预设深度阈值可以为预先设置的深度值，也可是根据待处理图像的预设焦点确定的(例如，将预设焦点的深度值作为预设深度阈值等)，还可以是基于所述深度图的平均深度确定等等。在本实施例的一个具体实现方式中，所述预设深度阈值为基于待处理图像对应的预设焦点确定，相应的，基于预设深度阈值以及所述深度图，确定所述待处理图像对应的待虚化区域具体可以为：获取待处理图像对应的预设焦点；根据所述预设焦点确定所述预设深度阈值；根据所述预设深度阈值对所述深度图进行划分，得到待虚化区域，并将得到的待虚化区域作为待处理图像对应的待虚化区域。
所述预设焦点为待处理图像中的焦点位置，所述预设焦点可以根据采集到的待处理图像自动生成，也可以根据用户的选取操作生成的，也可以是外部设备发送的。例如，当成像装置中显示待处理图像时，可以接收用户对所述待处理图像执行的点击操作，并获取点击操作对点击位置作为预设焦点，并将所述点击位置的位置信息(例如，点击点在所述显示界面上对应的像素点对应的像素位置，如，(125,150)等)作为预设焦点的位置信息。
在本实施例的一个实现方式中，所述预设焦点根据采集到的待处理图像自动生成，其中，预设焦点可以根据预览图像的图像中心确定，也可以是根据预览图像中人脸图像确定。当所述预设焦点可以根据预览图像的图像中心确定时，所述预设焦点确定的过程可以为：当采集到待处理图像时，获取所述待处理图像的图像中心点，将所述图像中心点作为所述待处理图像对应的预设焦点。此外，当所述预设焦点为根据图像中人脸图像确定的时，所述预设焦点的确定过程可以为：当获取到待处理图像时，检测待处理图像携带人脸图像；若未携带人脸图像，则将图像中心点作为预设焦点；若携带一张人脸图像，将该人脸图像中的一像素点作为预设焦点(例如，鼻尖对应的像素点，或者人脸图像的中心点等)；若携带多张人脸图像时，选取多张人脸图像中人脸图像所占图像区域最大的人脸图像作为目标人脸图像，并将目标人脸图像中的一像素点作为预设焦点(例如，左眼球对应的像素点等)。当然，在实际应用中，当根据待处理图像自动生成焦点后，用户还可以手动对所述预设焦点进行设置，其中，所述手动设置预设焦点的优先级高于根据待处理图像自动生成预设焦点的优先级。可以理解的是，当预设焦点为手动设置时，成像装置不会再执行根据待处理图像自动生成预设焦点的动作；当预设焦点为自动生成时，成像装置可以根据手动设置的预设焦点来更新自动生成的预设焦点。
在本实施例的一个实现方式中，在获取到预设焦点后，所述方法包括：
A10、基于预设焦点在所述待处理图像中确定候选区域；
A20、基于所述候选区域对所述预设焦点进行修正处理，并将到修正处理后的预设焦点作为预设焦点。
具体地，所述候选区域为所述待处理图像的一个图像区域，所述候选区域可以包含所述预设焦点。可以理解的是，所述候选区域为包含预设焦点的一个图像区域，该图像区域为待处理图像中的一图像区域，例如，在获取到预设焦点后，以该预设焦点为圆心，以预设半径(例如，20像素点)为半径绘制圆形区域，该圆形区域待处理图像的相交区域为预设焦点对应的图像区域；再如，预先将待处理图像划分为图像区域A、图像区域B以及图像区域C，当检测到用户点击图像区域B时，所以图像区域B便可作为预设焦点对应的图像区域。此外，所述候选区域可以为所述预设焦点为中心的正方形区域、矩形区域、圆形区域以及三角形区域等。
本实施例的一个可能实现方式中，所述候选区域为以预设焦点为中心的正方形区域，其中，所述正方形区域的边长可以根据待处理图像的宽和高确定，例如，所述正方形的边长为待处理图像的宽与长中最小值与预设阈值的比值，即正方形边长Ls＝min(w,h)/d，其中，w为待处理图像对应的深度图的宽、h为待处理图像对应的深度图的高，d为预设阈值，例如，d＝24等。
进一步，在本实施例的一个实现方式中，所述基于所述候选区域对应所述预设焦点进行修正处理，具体包括：
B10、将所述候选区域划分为若干子候选区域，并分别获取各子候选区域各自对应的深度均值；
B20、根据获取到的所有深度均值确定所述预设焦点对应的目标区域，并将所述目标区域对应的区域中心作为修正处理后的预设焦点。
具体地，在所述步骤B110中，所述任意两个子候选区域之间可以不重叠，也可以部分重叠。所述候选区域的划分过程为：以预设焦点为中心选取第一子候选区域，第一子候选区域包含于候选区域内，然后，将候选区域除第一子区域外的区域划分为至少两个子区域，并将每个子区域作为一个子候选区域，以得到候选区域对应的若干子候选区域。
举例说明：设置预设焦点作为(x,y)，待处理图像的大小为(w,h)，所述候选区域为以预设焦点为中心的正方形区域，候选区域的边长为Ls，所述候选区域的四个顶点分别为： 以及/>首先以预设焦点为中心选取边长为Ls/2的第一候选区域S5，然后将候选区域等分为4个第二子候选区域(S1,S2,S3,S4)，4个第二子候选区域中的任意两个第二子候选区域对称，其中，若两个第二子候选区域左右并排布置，在这两个第二子候选区域沿竖直方向对称，若两个第二子候选区域上下并排布置，在这两个第二子候选区域沿水平方向对称，以得到如图3所示的5个子候选区域，其中，5个子候选区域的边长均为Ls/2,S1子候选区域的四个顶点坐标为S2子候选区域的四个顶点坐标为S3子候选区域的四个顶点坐标为 S4子候选区域的四个顶点坐标为 以及S5子候选区域的四个顶点坐标为/>
进一步，所述深度均值为子候选区域中各像素点对应的深度值的平均值，其中，所述深度值用于表示实际拍摄场景中实际景物与成像模组之间的距离差。在本实施例中，所述深度值可以是将实际拍摄场景中实际景物与成像模组之间的距离差归一化到0-255得到的数值。此外，为了加快子候选区域的深度均值的计算过程，在获取到待处理图像的深度值后，并基于待处理图像的深度值得到深度图后，所述候选区域以及子候选区域的确定过程可以在该深度图中进行(例如，如图2所示)，这样待处理图像中的候选区域选取移植到深度图上，根据候选区域在深度图中位置，可以直接确定该候选区域以及子候选区域对应的深度值，从而可以省略基于深度图确定预设上的候选区域对应的深度值的过程，从而提高了候选区域以及各子候选区域的深度值的计算速度。
进一步，在所述步骤B20中，在获取到各子候选区域各自对应的深度均值后，分别将各深度均值进行比较，以选取该深度均值中的最大深度均值，并将选取到的最大深度均值对应的子候选区域作为预设焦点对应的目标区域。可以理解的是，所述目标区域为所述预设焦点对应的若干子候选区域中的一个子候选区域，其中，该子候选区域的深度均值为所有子候选区域中深度均值最大的子候选区域。此外，在确定到目标区域后，获取所述目标区域的区域中心点，并将所述区域中心点作为预设焦点，以对所述预设焦点进行修正，这样可以避免当预设焦点处于靠近待处理图像的前景边缘时，造成的预设焦点景深计算错误，从而提高了待处理图像对应的待虚化区域的准确性。当然，在实际应用中，在确定子候选区域时，获取了预设焦点对应的候选区域，从而在确定目标区域时，可以将候选区域也作为候选区域的一个子候选区域，所述预设焦点对应的子候选区域包括候选区域，以及对候选区域进行划分得到的各子候选区域。
进一步，在确定所述预设焦点后，获取所述预设焦点对应的深度值，并将所述预设焦点对应的深度值作为确定待虚化区域的深度阈值，通过该深度阈值将待处理图像划分为前景区域以及待虚化区域。所述基于深度阈值将待处理图像划分为前景区域以及待虚化区域的过程可以为：
获取所述待处理图像中深度值小于所述深度阈值的目标像素点；
确定所述目标像素点形成的图像区域，并将所述图像区域作为所述待处理图像对应的待虚化区域。
具体地，所述获取所述待处理图像中深度值小于所述深度阈值的像素点指的是对于待处理图像中的每个像素点，根据待处理图像对应的深度图确定该像素点的深度值，并将该像素点的深度值与深度阈值进行比较，若该像素点的深度值小于深度阈值，则获取该像素点，例如，记录该像素点的位置信息。此外，在获取到所有深度值小于预设深度阈值的像素点后，将获取到所有像素点形成的区域作为待虚化区域，而将待处理图像中未被选取的像素点形成的区域作为前景区域，例如，如图7所示，图中手所处区域为前景区域，图中除手所处区域外的所有区域为待虚化区域。
进一步，在本实施例的一个实现方式，在获取到预设焦点的深度值后，可以对所述预设焦点的深度值进行修正，并采用修正后的深度值来确定待虚化区域。相应的，所述基于预设焦点确定待处理图像对应的待虚化区域具体包括：
C10、对于待处理图像中的每个第二像素点，计算该第二像素点对应的第一深度值与所述预设焦点对应的第二深度值的差值，以得到第一差值集；
C20、将所述第一差值集中的各负数差值均置为零，以更新所述第一差值集；
C30、根据更新得到的第一差值集对所述预设焦点的第二深度值进行修正，以得到修正后的第二深度值；
C40、将修正后的第二深度值作为所述预设焦点的第二深度值将修正后的第二深度值作为所述预设焦点的第二深度值；
C50、根据所述第二深度值确定所述待处理图像对应的待虚化区域。
具体地，将待处理图像中的像素点记为第二像素点，将待虚化区域中的像素点记为第一像素点。可以理解的是，每第一像素点为所有第二像素点中的一个像素点，所述第二像素点形成的像素点集合包含所有第一像素点形成的像素点集合。第二像素点对应的第一深度值与预设焦点对应的第二深度值的差值指的是采用第一深度值减去第二深度值得到的深度值差值，其中，所述差值可以为正数、可以为负数，也可以为零。
进一步，所述第一差值集包括各第二像素点对应的差值，并且所述第一差值集包括的差值的数量与第二像素点的数量相等。在获取到第一差值集后，选取第一差值集中所有小于零的差值，即选取第一差值集中所有负数差值，并将选取到的所有负数差值替换为零，以更新所述第一差值集。可以理解的是，在得到第一差值集后，采用零替换第一差值集中各负数差值，以使得所述第一差值集中仅包括零和正数。此外，在获取到更新后的第一差值集后，基于该第一差值集确定所述第二深度值对应修正值，并采用该修正值对第二深度值进行修正，以得到修正后的第二深度值，最后采集修正后的第二深度值作为深度阈值来确定待虚化区域，这样可以使得深度阈值能够准确的代表前景区域的深度值，进而提高待虚化区域选取的准确性。
在本实施的一个实现方式中，在确定更新后的第一差值集后，可以采用阈值搜索方法确定第二深度值对应的修正值等。例如，首先，将待处理图像中各第二像素点的像素值设置为目标像素值，以得到差值图A，其中，目标像素值为更新后的第一差值集合中的第二像素点对应的差值；其次，统计差值图A的灰度直方图，其中，该灰度直方图符合双峰分布，其中，所述双峰分布指的是灰度直方图对应的次数分布曲线有两个波峰；最后，通过阈值搜索可以计算出直方图两个波峰之间的波谷对应的灰度值，并将该灰度值作为修正值。当然，在实际应用中，阈值搜索方法有多种，这里不一一说明，这样可以获取到修正值的阈值搜索方法均可以适应于本申请，这里不做限定。
进一步，在确定预设像素点的第二深度值后，将所述第二深度值作为待虚化区域对应的深度阈值，基于该第二深度值对所述待处理图像进行分割，以得到待虚化区域以及前景区域。其中，所述前景区域中各像素点的深度值大于或等于第二深度值，待虚化区域中各像素点的深度值小于第二深度值。由此，所述根据所述第二深度值确定所述待处理图像对应的待虚化区域的具体过程可以为：对于待处理图像中的每个像素点，根据待处理图像对应的深度值确定该像素点的深度值，并将该像素点的深度值与第二深度值进行比较，若该像素点的深度值小于深度阈值，则获取该像素点(例如，记录该像素点的位置信息等)，在获取到所有深度值小于预设深度阈值的像素点后，将获取到所有像素点形成的区域作为待虚化区域，而将待处理图像中未被选取的像素点形成的区域作为前景区域。
S20、基于所述深度图以及所述待处理图像对应的成像参数，确定所述待处理图中的各像素点各自对应的虚化半径。
具体地，所述虚化半径为该第一像素点对应的虚化处理的虚化处理核的半径，不同虚化半径对应的虚化处理核的虚化程度不同。例如，虚化半径越大，虚化处理核的虚化程度越大，反之，虚化半径越小，虚化处理核的虚化程度越小。所述虚化处理核可以为散焦模糊核，也可以为高斯模糊核。当虚化处理核为散焦模糊核时，采用散焦模糊对该第一像素点进行散焦滤波，当虚化处理核为高斯模糊核时，采用高斯模糊算法对该第一像素点进行高斯滤波。
进一步，所述成像参数为拍摄所述待处理图像的成像器(例如，相机等)的拍摄参数，其中，所述成像参数包括焦距以及镜头孔径。所述焦距为成像器对应的第二焦点(后焦点或像方焦点)与所述成像器的镜头之间的距离，所述镜头孔径指为通过镜头的光束直径。所述像平面为过第二焦点(后焦点或象方焦点)且成像器镜头主光轴的平面，并且焦平面上的点在像平面上的成像为一点，此外，过第一焦点(前焦点或物方焦点)且垂直于成像器镜头主光轴的平面的焦平面。此外，如图4所示，对于待处理图像中的每个像素点，该像素点在像平面上的成像为一个弥散圆，并且每个像素点对应的弥散圆可以映射为像素平面的部分图像区域，将该部分图像区域作为该像素点对应的虚化处理核对应的图像区域，这样基于成像器的成像原理来确定各像素点对应的虚化半径，使得虚化半径符合成像器的光学变焦效果，从而使得待虚化区域各虚化半径对应的图像区域之间叠加的边缘过滤平滑，提高后续的虚化效果。
基于此，在本实施例的一个实现方式中，所述成像参数包括焦距以及镜头孔径；所述基于所述深度图以及所述待处理图像对应的成像参数，确定所述待处理图中的各像素点各自对应的虚化半径具体包括：
S21、对于待处理图像中的每个像素点，基于深度图确定该像素点的深度值；
S22、基于该深度值、所述焦距以及所述镜头孔径，确定该像素点对应的弥散半径；
S23、基于该弥散半径，确定该像素点对应的虚化半径。
具体地，像素点的深度值为该像素点到主成像器与辅助成像器所在平面的距离，所述深度图用于表示待处理图像中各像素点的深度值。由此，在获取到深度图之后，对于待处理图像中的每个像素点，可以基于该像素点在待处理图像中的位置信息，确定深度图中与该像素点对应的深度像素点，并将该深度像素点对应的值作为该像素点的深度值，其中，该像素点对应的深度像素点的在深度图中的位置信息与该像素点在待处理图像中的位置信息相同。例如，待处理图像中的像素点A在代理处理图像中的位置信息为(50,50)，那么像素点A对应的深度像素点B在深度图中的位置信息为(50,50)。当然，值得说明的是，有深度图的确定过程可以知道，深度图的图像尺寸与待处理图像的图像尺寸相同，并且对于待处理图像中的每个像素点均可以在深度图中查找到该像素点对应的深度像素点，由此，根据深度图可以确定待处理图像中每个像素点的深度值。
进一步，所述弥散半径为该像素点对应的弥散圆的半径，其中，所述弥散圆为该像素点对应的对象点在像平面上形成一个扩散的圆形投影。如图4所示，所述弥散半径可以利用透镜成像原理来确定，基于透镜成像原理可知：对于该像素点对应的对象点，该对象点对应的物距(对象点与成像器镜头的距离之间的距离，即该对象点对应的像素点的深度值)、焦距和像距(像素点在像平面侧的成像点与所述成像器之间的距离)之间满足：
其中，所述wf为焦距，z为深度值，wz为像距。
基于此，在物距(像素点的深度值)以及焦距已知的情况下，可以通过物距和焦距计算得到该像素点对应的像距，从而可以确定该像素点对应的弥散半径。当然，值得说明的是，所述焦距可以从待处理图像的图像文件头中读取到，所述镜头孔径可以基于待处理图像的图像文件头中读取到的光圈值和焦距值确定，所述镜头孔径等于焦距与所述光圈值的比值，其中，所述镜头为用于拍摄所述待处理图像的成像器配置的镜头。例如，焦距为12mm，光圈值为2.0，那么镜头孔径为12/2＝6mm。
进一步，所述弥散半径的计算公式可以为：
其中，wf为焦距，E为镜头孔径，Cr为弥散半径，wz为像距。
由深度值、焦距以及像距之间的对应关系，可以知道由此，所述弥散半径的计算公式可以为：
其中，Cr为弥散半径，z为深度值，wf为焦距，E为镜头孔径。
进一步，在本实施例的一个实现方式中，所述基于所述弥散半径，确定该像素点对应的虚化半径具体包括：
获取所述待处理图像对应的像平面与镜头之间的第一距离，镜头与像素平面之间的第二距离，以及镜头对应的感光系数；
基于所述弥散半径、第一距离、第二距离以及所述感光系数，确定该像素点对应的虚化半径。
具体地，所述像素平面为所述成像器拍摄所述待处理图像时，所述待处理图图像对应的拍摄对象转换为图像像素形成的平面；所述像平面为所述wz为像距，所述像平面为过第二焦点(后焦点或象方焦点)且成像器镜头主光轴的平面。所述第一距离为所述镜头所处平面与所述像平面之间的距离，所述第二距离为所述镜头所处平面与所述像素平面之间的距离。
进一步，基于小孔成像原理，将将该像素点对应给的弥散圆作为发光物，将成像器的镜头作凸透镜，那么该弥散圆可以在所述像素平面上形成以像，并且基于第一距离、第二距离以及弥散半径可以确定该像的尺寸。此外，由于该平面为像素平面，从而在确定该像的尺寸时，可以基于成像器的感光系数确定该像所处区域包含的像素点数量，以得到该像的像素尺寸，最后将该像素的形式尺寸作为该像素点对应的虚化半径，以得到该像素点对应的虚化半径。
在本实施例的一个实现方式中，所述基于所述弥散半径、第一距离、第二距离以及所述感光系数，确定该像素点对应的虚化半径具体包括：确定所述第二距离与所述第一距离的比值；确定所述感光系数、所述比值以及所述弥散半径的乘积，并将所述乘积作为该像素对应的虚化半径。基于此，所述虚化半径的计算公式可以为：
其中，DPI为感光系数，ds为第二距离，dr为第一距离，Cr为弥散半径。
进一步，在本实施例的一个具体实现方式中，为了使得虚化后的虚化图像携带光斑效果，可以在获取到待虚化区域后，对待虚化区域满足预设条件的像素点进行预处理，在对预处理后的待虚化区域进行虚化处理后，使得虚化后的虚化图像中具有光斑。其中，所述预处理可以在获取到待虚化区域中各像素点的虚化半径后执行，也可以在获取到待虚化区域中各像素点的虚化半径前执行，还可以与获取到待虚化区域中各像素点的虚化半径的步骤同步执行。这里以预处理在获取到待虚化区域中各像素点的虚化半径步骤后执行为例，加以说明。
示例性地，所述预处理过程包括：
获取所述待虚化区域中的各像素点对应的像素亮度；
对于像素亮度大于或者等于预设亮度阈值的第一像素点，调整该第一像素点的像素值，以得到调整后的待虚化区域；其中，该第一像素点对应的调整后的像素值大于该第一像素点对应的原始像素值；
将调整后的待虚化区域作为所述待处理图像对应的待虚化区域。
具体地，所述像素亮度为像素点的亮度值，所述预设亮度阈值为预先设置的，用于衡量像素点的像素值是否需要进行调整的依据。例如，像素点的像素亮度大于或者等于预设亮度阈值，则需要对该像素点的像素值进行调整；反之，像素点的像素亮度小于预设亮度阈值，则不需要对该像素点的像素值进行调整。例如，预设阈值为150，像素点A的像素亮度为160，像素点B的像素亮度为100，那么像素点A的像素值需要进行调整，像素点B的像素值不需要进行调整。
进一步，在本实施例的一个实现方式中，所述获取所述待虚化区域中的各像素点对应的像素亮度具体包括：
对于待虚化区域中的每个像素点，获取该像素点的R通道像素值、G通道像素值以及B通道像素值；
根据所述R通道像素值、G通道像素值以及B通道像素值，确定该像素点对应的亮度值；
对所述亮度值进行标准化处理，以得到该像素点对应的像素亮度。
具体地，所述R为红色通道值，G为绿色通道值，B为蓝色通道值，由此，所述R通道像素值指的是红色通道像素值、G通道像素值指的是绿色通道像素值，B通道像素值指的是蓝色通道像素值。可以理解的是，所述待处理图像为RGB图像，对于待处理图像中的每个像素点，该像素点均有R通道像素值、G通道像素值以及B通道像素值，在获取待带处理图像后，可以读取到待处理图像中每个像素点的R通道像素值、G通道像素值以及B通道像素值。
进一步，在获取到R通道像素值、G通道像素值以及B通道像素值后，该像素点对应的亮度值可以的计算公式可以为：
L＝a*Pixel_r+b*Pixel_g+c*Pixel_b
其中，a、b以及c均为权重系数，Pixel_r表示R通道像素值，Pixel_g表示G通道像素值，Pixel_b表示B通道像素值。a、b以及c均为已知数，且a、b以及c的和等于1，例如，a＝0.3、b＝0.59以及c＝0.11等。
进一步，所述调整该第一像素点的像素值用于将该第一像素点的像素值调大，其中，所述像素值指的是由R通道像素值、G通道像素值以及B通道像素值形成的元数据组，对该第一像素点的像素值进行调整可以为分别对第一像素点的R通道像素值、G通道像素值以及B通道像素值进行调整，以使得调整后的像素值大于该第一像素点对应的原像素值(即调整前的像素值)，这样可以提高第一像素点的亮度，那么在对待虚化区域进行虚化时第一像素点对于的虚化处理核对应的图像区域会形成亮度高于其周围区域的光斑，从而使得虚化得到图像具有光斑效果。
进一步，所述调整该第一像素点的像素值是可以将各第一像素点对应的像素值调整为预设像素值，也可以基于该第一像素点对应的原像素值确定其对应的调整后的像素值，并将第一像素点对应的原像素值调整为调整后的像素值，当然，还可以采用其他方式进行调整，只要可以使得调整后的像素值大于原像素值的调整方法均可以。
在本实施例的一个具体实现方式中，所述调整后的像素值为基于该第一像素点对应的原像素值确定，这可以使得各第一像素点对应的光斑效果不同，并且该第一像素点对应的光斑与第一像素点所处区域的图像相匹配。所述调整后的像素值为基于该第一像素点对应的原像素值确定的规则可以为：
Pixel←((1-(Ln)α+(Ln)α*β)*Pixel
其中，Pixel为第一像素点的像素值，←表示赋值符号，Ln为第一像素点对应的标准像素亮度，α和β为已知值，例如，α＝3、β＝2等。
此外，所述标准像素亮度为对所述第一像素点的亮度值进行标准化得到，其中，所述标准化的过程可以包括：
确定所述亮度值与第一预设亮度阈值的差值；
确定所述差值与第二预设亮度阈值的比值，并将所述比值作为该像素点对应的像素亮度，以得到该像素点对应的像素亮度。
具体地，所述第一预设亮度阈值和第二预设亮度阈值均为预先设置的，其中，所述第一预设亮度阈值和第二预设亮度阈值均小于1。例如，第一预设亮度阈值为0.85，第二预设亮度阈值为0.15等。在本实施例的一个实现方式中，所述第一预设亮度阈值与第二预设亮度阈值的和为1，即第一预设亮度阈值+第二预设亮度阈值＝1。基于此，所述标准化的公式可以为：
Ln＝(L-L0)/(1-L0)
其中，Ln为第一像素点对应的标准像素亮度，L为第一像素点的像素亮度，L0为已知值，例如，L0＝0.85等。
S30、基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像
具体地，所述虚化处理可以采用高斯模糊算法对待虚化区域进行虚化处理，也可以采用散焦模糊算法等。所述虚化处理仅对所述待处理图像对应的待虚化区域进行虚化处理，所述待处理图像中的前景图像不进行虚化处理，其中，前景图像为待处理图像中除待虚化区域外的图像区域。
所述基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化指的是对于待虚化区域中的每个像素点，基于该像素点对应的虚化半径可以确定该像素点对应的虚化处理核，并基于该虚化处理核在待虚化区域中对应的图像区域包括的像素点的像素值确定该像素点的像素值，以实现对该像素点的虚化处理。在本实施例的一个具体实现方式中，所述虚化处理核的确定过程可以为：获取像素点对应的虚化半径，基于该虚化半径确定虚化处理核的尺寸，基于所述虚化处理核的尺寸在待虚化区域中选取以图像区域，将选取到的图像区域作为该像素点的对应的虚化区域，其中，所述图像区域为以该像素点为中心，尺寸为虚化处理核尺寸的图像区域。例如，虚化半径为C，虚化处理核的尺寸可以为(2C+1)*(2C+1)，那么该像素点对应的虚化区域为以该像素点为中心的(2C*2C)图像区域。当然，在实际应用中，虚化处理核可以采用不同形状，例如，如图5和6所示的，圆形形状或者心形形状等；这样可以使得虚化得到的光斑可以成不同形状。此外，当虚化处理核不为正方形形状时，虚化处理核的确定过程以虚化处理核为圆形为例加以说明。所述虚化处理核的确定过程可以为：先基于虚化半径为C确定以像素点对应的正方形，之后在该正方形绘制的内切圆，将该具有内切圆的正方形作为像素点对应的虚化处理核，并且在基于虚化处理核确定的图像区域计算像素点对应的虚化后的像素值时，圆形区域内的像素值对应的权重大于为处于圆形区域内的像素点的权重，这样在虚化得到的虚化图像中，该像素点周围会形成圆形光斑。
进一步，在本实施例的一个实现方式中，所述基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像具体包括：
基于各像素点各自对应的虚化半径，确定各像素点对应的虚化处理核；
对于每个像素点，确定该像素点对应的虚化处理核对应的掩码图像，其中，在所述掩码图像中，待虚化区域的像素点的像素值为第一预设像素值，前景区域的像素点的像素值为第二预设像素值，前景区域为待处理图像中除待虚化区域外的图像区域；
基于各像素点对应的虚化处理核以及掩码图像，确定各像素点对应的虚化像素值，以得到待处理图像对应的虚化图像。
具体地，所述掩码图像为待虚化区域对应的掩码图像，即在掩码图像中，待虚化区域的像素点的像素值为第一预设像素值，前景区域的像素点的像素值为第二预设像素值，前景区域为待处理图像中除待虚化区域外的图像区域，在本实施例的中，所述第一预设像素值可以为255、1等。所述第二预设像素值可以为0等。由于所述掩码图像为待虚化区域的背景区域的掩码图像，前景区域采集第二预设像素值(例如，0等)，这样在对背景区域和前景区域之间的过渡区域中的像素点，在对该像素点进行虚化时，可以避免前景区域对虚化结果的影响，提高了虚化效果。
进一步，对于待虚化区域中的每个像素点，根据该像素点对应的虚化半径在掩码图像中确定该像素点的虚化处理核对应的第一图像区域，以及在该待虚化区域中确定该像素点的虚化处理核对应的第二图像区域，其中，所述第一图像区域的区域大小与所述第二图像区域的区域大小相同，并且对于第一图像区域中每个像素点A，第二区域图像中像素点B与像素点A的像素位置相同。例如，第一图像区域中的像素点A的像素位置为(100,100)，那么第二图像区域中存在像素点B的像素位置为(100,100)。
进一步，在获取到第一图像区域和第二图像区域后，基于第一图像区域中的各像素点对第二图像区域中的各像素点进行更新，其中，所述更新指的是将第一图像区域中各像素点与第二图像区域中各像素点各自分别对应的像素点进行预处理，将预处理得到的像素值作为第二图像区域中各像素点的像素值，其中，所述预处理可以为乘积运算或者进行与运算等。例如，对于第二图像区域中的每个像素点B，在第一图像区域中选取该像素点B对应的像素点A，并将像素点B的像素值与像素点A的像素值进行预处理，将预处理得到的像素值作为像素点B更新后的像素值，其中，所述预处理可以为乘积运算或者进行与运算等。当然，在实际应用中，所述掩码图像中待虚化区域的各像素点的值可以根据预处理方式不同而不同，例如，当预处理为乘积运算时，所述掩码图像中待虚化区域的各像素点的值可以为1；当预处理为与运算时，所述掩码图像中待虚化区域的各像素点的值可以为255。
举例说明：假设预处理为乘积运算，掩码图像中待虚化区域中各像素点的像素值为1，前景区域中各像素点的像素值为0；待虚化区域中待虚化区域中的像素点A，根据该像素点A在待虚化区域中确定的第二图像区域包括区域A和区域B，区域A包含于待虚化区域，区域B包含于前景区域；根据该像素点在掩码图像中确定的第二图像区域包括区域C和区域D，那么区域C对于待虚化区域对应的掩码区域，区域D包含于前景区域对应的掩码区域，并且当第一图像区域与第二图像区域重叠时，区域A与区域C重叠，区别B与区域D重叠；那么对于区域A中的任意像素点a，区域C中存在一个位置信息与像素点a相同的像素点c；对于区域B中的任意像素点b，区域D中存在一个位置信息与像素点b相同的像素点d；在采用第一图像区域中各像素点更新第二图像区域中的各像素点时，对于区域A中的像素点a与区域C中其对应的像素点c进行乘积运算，像素点a的像素值保持不变；对于区域B中的像素点b与区域D中其对应的像素点d进行乘积运算，像素点b的像素装置变为0，即基于第一图像区域中各像素点对第二图像区域中各像素点进行更新得到的第二图像区域中，区域B中各像素点的像素值变为0。
由上，在根据所述第一图像区域中的各像素点的像素值更新所述第二图像区域中各像素点的像素值后，当第二图像区域中存在包含于前景区域中的图像区域时，该图像区域中的各像素点的像素值被更新为零，这样可以避免靠近前景区域的像素点在滤波时受到前景区域中的像素点的影响，从而避免前景区域与待虚化区域的边缘产生光晕的问题，例如，如图8所示的虚化图像。
进一步，在本实施例的一个实现方式中，所述基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像具体包括：
基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，得到待虚化区域对应的虚化区域；
将所述虚化区域与前景区域进行融合，以得到融合图像，其中，所述前景区域为待处理图像中除待虚化区域外的图像区域；
对所述融合图像进行双边滤波，以得到待处理图像对应的虚化图像。
具体地，所述前景区域为待处理图像中除待虚化区域外的图像区域，所述虚化图像将所述虚化区域与前景区域进行融合，以得到融合图像。而在将前景区域与虚化区域进行融合后，可以对所述融合图像进行平滑处理，并将平滑处理后的融合作为虚化图像。其中，对所述融合图像进行平滑处理的过程可以为：采用对融合得到的融合图像进行边缘检测，对边缘进行双边滤波。例如，用高斯模糊等对过渡区域精细逐点模糊处理，使得各虚化半径之间平滑过渡。其中，所述边缘检测可以采用拉普拉斯算子等边缘检测算子。
此外，在将所述虚化区域与前景区域进行融合之前，可以包含虚化区域的第一图像的图像尺寸与待处理图像的图像尺寸是否相同，若干第一图像的图像尺寸与待处理图像的图像尺寸不同，则可以对所述第一图像进行上采样或下采样，以使得第一图像的图像尺寸与待处理图像的图像尺寸相同，之后再将所述虚化区域与前景区域进行融合。在本实施例的一个具体实现方式中，在对待虚化区域进行虚化时，为了提供虚化的处理效率，对标注待虚化区域的第二图像进行下采样，以减小第二图像的图像尺寸；由此，在对待虚化区域进行虚化后得到第一图像的图像尺寸与第二图像的图像尺寸相同，从而需要对第一图像进行上采样，以使得第一图像的图像尺寸与待处理图像的图像尺寸相同。例如，第二图像的图像尺寸为待处理图像的图像尺寸的四分之一，那么第一图像的图像尺寸为待处理图像的图像尺寸的四分之一。
综上所述，本实施例提供了一种图像虚化方法、存储介质以及终端设备，所述方法获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域；基于所述深度图以及所述待处理图像对应的成像参数，确定所述待处理图中的各像素点各自对应的虚化半径；基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像。本发明在获取到深度图后，基于深度图以及待处理图像对应的成像参数确定各像素点的虚化半径，使得各像素点对应的虚化半径与该像素点对应的光学散焦虚半径相匹配，这样可以减少不同虚化半径的像素点之间的像素差异，提高了各虚化半径对应的像素点之间的化过渡的平滑性，从而提高了虚化图像的图像质量。
基于上述图像虚化方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像虚化方法中的步骤。
基于上述图像虚化方法，本发明还提供了一种终端设备，如图9所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种图像虚化方法，其特征在于，所述方法包括：
获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域；
基于所述深度图以及所述待处理图像对应的成像参数，确定所述待处理图中的各像素点各自对应的虚化半径；
基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像；
所述获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域之后，所述方法还包括：
获取所述待虚化区域中的各像素点对应的像素亮度；
对于像素亮度大于或者等于预设亮度阈值的第一像素点，调整该第一像素点的像素值，以得到调整后的待虚化区域；其中，该第一像素点对应的调整后的像素值大于该第一像素点对应的原始像素值；
将调整后的待虚化区域作为所述待处理图像对应的待虚化区域；
所述获取所述待虚化区域中的各像素点对应的像素亮度具体包括：
对于待虚化区域中的每个像素点，获取该像素点的R通道像素值、G通道像素值以及B通道像素值；
根据所述R通道像素值、G通道像素值以及B通道像素值，确定该像素点对应的亮度值；
对所述亮度值进行标准化处理，以得到该像素点对应的像素亮度；
所述对所述亮度值进行标准化处理，以得到该像素点对应的像素亮度具体包括：
确定所述亮度值与第一预设亮度阈值的差值；
确定所述差值与第二预设亮度阈值的比值，并将所述比值作为该像素点对应的像素亮度，以得到该像素点对应的像素亮度。
2.根据权利要求1所述图像虚化方法，其特征在于，所述待处理图像为成像模组中主成像器拍摄的主图像，其中，所述成像模组包括至少主成像器和辅助成像器；主成像器用于拍摄主图像，辅助成像器用于拍摄辅助图像，所述辅助图像用于辅助确定主图像的深度图。
3.根据权利要求1或2所述图像虚化方法，其特征在于，所述获取待处理图像的深度图，并基于所述深度图确定所述待处理图像对应的待虚化区域具体包括：
获取待处理图像以及辅助图像，并基于所述待处理图像以及所述辅助图像确定所述待处理图像对应的深度图；
基于预设深度阈值，确定所述深度图对应的背景区域；
将所述待处理图像中与所述背景区域对应的图像区域作为所述待处理图像对应的待虚化区域。
4.根据权利要求3所述图像虚化方法，其特征在于，所述基于预设深度阈值，确定所述深度图对应的背景区域具体包括：
基于预设焦点确定所述深度图对应的预设深度阈值；
基于所述预设深度阈值，确定所述深度图对应的背景区域，其中，所述背景区域中各像素点对应的深度值均大于或者等于所述预设深度阈值。
5.根据权利要求1所述图像虚化方法，其特征在于，所述成像参数包括焦距以及镜头孔径；所述基于所述深度图以及所述待处理图像对应的成像参数，确定所述待处理图中的各像素点各自对应的虚化半径具体包括：
对于待处理图像中的每个像素点，基于深度图确定该像素点的深度值；
基于该深度值、所述焦距以及所述镜头孔径，确定该像素点对应的弥散半径；
基于该弥散半径，确定该像素点对应的虚化半径。
6.根据权利要求5所述图像虚化方法，其特征在于，所述基于所述弥散半径，确定该像素点对应的虚化半径具体包括：
获取所述待处理图像对应的像平面与镜头之间的第一距离，镜头与像素平面之间的第二距离，以及镜头对应的感光系数，其中，所述镜头为用于拍摄所述待处理图像的成像器配置的镜头；
基于所述弥散半径、第一距离、第二距离以及所述感光系数，确定该像素点对应的虚化半径。
7.根据权利要求6所述图像虚化方法，其特征在于，所述基于所述弥散半径、第一距离、第二距离以及所述感光系数，确定该像素点对应的虚化半径具体包括：
确定所述第二距离与所述第一距离的比值；
确定所述感光系数、所述比值以及所述弥散半径的乘积，并将所述乘积作为该像素对应的虚化半径。
8.根据权利要求1所述图像虚化方法，其特征在于，所述基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像具体包括：
基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，得到待虚化区域对应的虚化区域；
将所述虚化区域与前景区域进行融合，以得到融合图像，其中，所述前景区域为待处理图像中除待虚化区域外的图像区域；
对所述融合图像进行双边滤波，以得到待处理图像对应的虚化图像。
9.根据权利要求1所述图像虚化方法，其特征在于，所述基于各像素点各自对应的虚化半径对所述待虚化区域进行虚化，以得到待处理图像对应的虚化图像具体包括：
基于各像素点各自对应的虚化半径，确定各像素点对应的虚化处理核；
对于每个像素点，确定该像素点对应的虚化处理核对应的掩码图像，其中，在所述掩码图像中，待虚化区域的像素点的像素值为第一预设像素值，前景区域的像素点的像素值为第二预设像素值，前景区域为待处理图像中除待虚化区域外的图像区域；
基于各像素点对应的虚化处理核以及掩码图像，确定各像素点对应的虚化像素值，以得到待处理图像对应的虚化图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-9任意一项所述的图像虚化方法中的步骤。
11.一种终端设备，其特征在于，包括：处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-9任意一项所述的图像虚化方法中的步骤。
CN202010698264.4A 2020-07-20 2020-07-20 一种图像虚化方法、存储介质以及终端设备 Active CN113965664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010698264.4A CN113965664B (zh) 2020-07-20 2020-07-20 一种图像虚化方法、存储介质以及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010698264.4A CN113965664B (zh) 2020-07-20 2020-07-20 一种图像虚化方法、存储介质以及终端设备

Publications (2)

Publication Number Publication Date
CN113965664A CN113965664A (zh) 2022-01-21
CN113965664B true CN113965664B (zh) 2024-02-09

Family

ID=79459544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010698264.4A Active CN113965664B (zh) 2020-07-20 2020-07-20 一种图像虚化方法、存储介质以及终端设备

Country Status (1)

Country Link
CN (1) CN113965664B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979479A (zh) * 2022-05-19 2022-08-30 维沃移动通信（深圳）有限公司 拍摄方法及其装置
CN118134771A (zh) * 2022-12-02 2024-06-04 Oppo广东移动通信有限公司 图像景深渲染方法、图像景深渲染装置、终端及存储介质
CN116962874B (zh) * 2023-06-19 2024-06-07 广州大西洲科技有限公司 主从遥视控制方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018491A (ja) * 2010-07-06 2012-01-26 Konami Digital Entertainment Co Ltd 画像処理装置、画像処理方法、及びプログラム
CN106504220A (zh) * 2016-08-19 2017-03-15 华为机器有限公司 一种图像处理方法及装置
CN106993112A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 基于景深的背景虚化方法及装置和电子装置
CN108230234A (zh) * 2017-05-19 2018-06-29 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
CN108234865A (zh) * 2017-12-20 2018-06-29 深圳市商汤科技有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019105214A1 (zh) * 2017-11-30 2019-06-06 Oppo广东移动通信有限公司 图像虚化方法、装置、移动终端和存储介质
CN110751593A (zh) * 2019-09-25 2020-02-04 北京迈格威科技有限公司 一种图像虚化处理方法及装置
CN111402111A (zh) * 2020-02-17 2020-07-10 深圳市商汤科技有限公司 图像虚化方法、装置、终端及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740959B2 (en) * 2017-09-09 2020-08-11 Apple Inc. Techniques for providing virtual light adjustments to image data
TWI689892B (zh) * 2018-05-18 2020-04-01 瑞昱半導體股份有限公司 基於前景影像的背景虛化方法與電子裝置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018491A (ja) * 2010-07-06 2012-01-26 Konami Digital Entertainment Co Ltd 画像処理装置、画像処理方法、及びプログラム
CN106504220A (zh) * 2016-08-19 2017-03-15 华为机器有限公司 一种图像处理方法及装置
CN106993112A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 基于景深的背景虚化方法及装置和电子装置
CN108230234A (zh) * 2017-05-19 2018-06-29 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
WO2019105214A1 (zh) * 2017-11-30 2019-06-06 Oppo广东移动通信有限公司 图像虚化方法、装置、移动终端和存储介质
CN108234865A (zh) * 2017-12-20 2018-06-29 深圳市商汤科技有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110751593A (zh) * 2019-09-25 2020-02-04 北京迈格威科技有限公司 一种图像虚化处理方法及装置
CN111402111A (zh) * 2020-02-17 2020-07-10 深圳市商汤科技有限公司 图像虚化方法、装置、终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN113965664A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
US10997696B2 (en) Image processing method, apparatus and device
EP3493520B1 (en) Method for dual-camera-based imaging, mobile terminal and storage medium
CN113965664B (zh) 一种图像虚化方法、存储介质以及终端设备
WO2019105262A1 (zh) 背景虚化处理方法、装置及设备
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2020259271A1 (zh) 图像畸变校正方法和装置
WO2021057652A1 (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN108234858B (zh) 图像虚化处理方法、装置、存储介质及电子设备
WO2019105261A1 (zh) 背景虚化处理方法、装置及设备
WO2019105206A1 (en) Method and device for image processing
WO2021057474A1 (zh) 主体对焦方法、装置、电子设备和存储介质
WO2019085951A1 (en) Image processing method, and device
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
CN111062881A (zh) 图像处理方法及装置、存储介质、电子设备
WO2019105254A1 (zh) 背景虚化处理方法、装置及设备
KR20200041371A (ko) 더블 카메라 기반 이미징 방법 및 장치
CN113592739B (zh) 一种镜头阴影校正的方法、装置及存储介质
CN113674303B (zh) 图像处理方法、装置、电子设备及存储介质
WO2017190415A1 (zh) 一种图像优化方法、装置及终端
CN113938578B (zh) 一种图像虚化方法、存储介质及终端设备
CN111080553A (zh) 图片优化处理方法、装置、设备及可读存储介质
CN113724129B (zh) 一种图像虚化方法、存储介质以及终端设备
WO2022011657A1 (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN113395434B (zh) 一种预览图像虚化方法、存储介质及终端设备
CN112634298A (zh) 图像处理方法及装置、存储介质、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant