CN113395434B - 一种预览图像虚化方法、存储介质及终端设备 - Google Patents

Abstract

本发明公开了一种预览图像虚化方法、存储介质以及终端设备，所述方法首先通过采集得到的第一预览图像和第二预览图像并基于所述第一预览图像和所述第二预览图像确定所述第一预览图像的深度信息，以及根据预览焦点确定候选区域，其次再根据候选区域和深度信息来确定待虚化区域，最后对待虚化区域进行虚化处理。这样根据预览焦点对应的候选区域确定待虚化区域，并根据候选区域对应的深度信息作为预览焦点对应的深度信息，提高了用于确定待虚化区域的深度信息的准确性，从而使得拍摄虚化效果与预览虚化效果相同，进而提高了图像拍摄效果。

Description

一种预览图像虚化方法、存储介质及终端设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种预览图像虚化方法、存储介质及终端设备。

背景技术

双摄像头已经越来越多地应用于移动终端设备上，现有技术中双摄像头中的一个摄像头用来拍摄照片，另一个摄像头用来辅助计算照片的深度信息，以便进行后续的图像虚化处理。但是，目前普遍采用的图像虚化处理过程是依据用户选取的焦点处的深度来计算需要虚化的景深，从而确定需要虚化的背景区域。然而，当用户选取的焦点处的深度不准时，会使得预览虚化的效果与拍照虚化的效果不一致，从而影响图像拍摄效果。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种预览图像虚化方法、存储介质及终端设备。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种预览图像虚化方法，所述方法包括：

获取第一预览图像以及第二预览图像，并基于所述第一预览图像和所述第二预览图像确定所述第一预览图像的深度信息，其中，所述第一预览图像为通过成像模组中的第一成像器采集的图像，所述第二预览图像为通过所述成像模组中的第二成像器采集的图像；

根据获取到的预览焦点在所述第一预览图像中确定候选区域，并根据所述候选区域以及所述深度信息确定所述第一预览图像对应的待虚化区域；

对所述待虚化区域进行虚化处理，以得到预览图像。

所述预览图像虚化方法，其中，所述第一预览图像和所述第二预览图像均为所述成像模组处于预览状态时采集到的图像，并且所述第一预览图像和第二预览图像为帧同步图像。

所述预览图像虚化方法，其中，当所述第一成像器在第一预览图像的采集时间前采集至少一张图像时，所述基于所述第一预览图像和所述第二预览图像确定所述第一预览图像的深度信息具体包括：

检测预设数量的参考图像各自分别对应的深度信息，其中，参考图像为所述第一成像器所采集的，且参考图像的采集时间早于所述第一预览图像的采集时间，并且所述预设数量的参考图像和所述第一预览图像为连续图像；

若预设数量的参考图像各自分别对应的深度信息均相同，则根据所述第一预览图像和所述第二预览图像确定所述第一预览图像对应的深度信息。

所述预览图像虚化方法，其中，所述基于所述第一预览图像和所述第二预览图像确定所述第一预览图像的深度信息包括：

若预设数量的参考图像各自对应的深度信息不同或者未存在预设数量的参考图像，将所述第一预览图像的候选参考图像对应的深度信息作为所述第一预览图像的深度信息，其中，所述候选参考图像为按照采集时间先后顺序位于第一预览图像之前且与所述第一预览图像相邻的图像。

所述预览图像虚化方法，其中，所述根据所述候选区域以及所述深度信息确定所述第一预览图像对应的待虚化区域具体包括：

将所述候选区域划分为若干子候选区域，并根据划分得到的若干子候选区域以及所述候选区域，确定所述第一预览图像对应的深度阈值；

根据所述深度阈值确定所述第一预览图像对应的待虚化区域。

所述预览图像虚化方法，其中，所述根据划分得到的若干子候选区域以及所述候选区域确定所述第一预览图像对应的深度阈值具体包括：

计算每个子候选区域各自分别对应的第一深度信息，以及所述候选区域的第二深度信息；

根据各子候选区域对应的第一深度信息，计算各子候选区域各自对应的第一深度均值；

根据所述第二深度信息计算所述候选区域的第二深度均值；

根据计算得到所有第一深度均值以及所述第二深度均值，确定所述第一预览图像对应的深度阈值。

所述预览图像虚化方法，其中，所述根据所述深度阈值确定所述第一预览图像对应的待虚化区域具体包括：

获取所述第一预览图像中深度信息小于所述深度阈值的目标像素点；

确定所述目标像素点形成的目标区域，并将所述目标区域作为所述第一预览图像对应的待虚化区域。

所述预览图像虚化方法，其中，所述对所述待虚化区域进行虚化处理，以得到预览图像具体包括：

获取所述第一预览图像对应的虚化强度；

根据所述虚化强度对所述待虚化区域进行虚化处理，以得到预览图像。

所述预览图像虚化方法，其中，所述对所述待虚化区域进行虚化处理之后，所述方法还包括：

根据虚化后的待虚化区域确定所述第一预览图像对应的目标区域，并将所述目标区域与虚化后的待虚化区域融合，以得到预览图像。

所述预览图像虚化方法，其中，所述第一预览图像和所述第二预览图像均为YUV颜色空间下的图像，所述对待虚化区域进行区域为在Y通道对待虚化区域进行虚化处理。

所述预览图像虚化方法，其中，所述第一成像器为主成像器，主成像器用于采集主图像，所述第二成像器为辅成像器，辅成像器用于采集辅助图像，所述辅助图像用于辅助计算主图像的深度信息，其中，所述第一成像器和所述第二成像器均为摄像头。

一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的预览图像虚化方法中的步骤。

一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如上任一所述的预览图像虚化方法中的步骤。

有益效果：与现有技术相比，本发明提供了一种预览图像虚化方法、存储介质以及终端设备，所述方法首先通过采集得到的第一预览图像和第二预览图像并基于所述第一预览图像和所述第二预览图像确定所述第一预览图像的深度信息，以及根据预览焦点确定候选区域，其次再根据候选区域和深度信息来确定待虚化区域，最后对待虚化区域进行虚化处理。这样根据预览焦点对应的候选区域确定待虚化区域，并根据候选区域对应的深度信息作为预览焦点对应的深度信息，提高了用于确定待虚化区域的深度信息的准确性，从而使得拍摄虚化效果与预览虚化效果相同，进而提高了图像拍摄效果。

附图说明

图1为本发明提供的预览图像虚化方法的流程图。

图2为本发明提供的预览图像虚化方法中在深度图上选取候选区域的一个示例图。

图3为本发明提供的预览图像虚化方法中在深度图上选取候选区域的另一个示例图。

图4为本发明提供的预览图像虚化方法中将候选区域划分为若干子候选区域的示例图。

图5为对根据图2所述候选区域确定的待虚化处理进行虚化处理后的第一预览图像的示例图。

图6为对根据图3所述候选区域确定的待虚化处理进行虚化处理后的第一预览图像的示例图。

图7为本发明提供的终端设备的结构原理图。

具体实施方式

本发明提供一种预览图像虚化方法、存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

本实施例提供的一种预览图像虚化方法，该预览图像虚化方法的执行主体可以为图像虚化装置，或者集成图像虚化装置的电子设备，其中，图像虚化装置可以采用硬件或者软件的方式实现。可以理解的时，本实施例的执行主体可以是诸如智能手机、平板电脑或个人数字助理等之类的设置有成像模组(例如，摄像头等)的智能终端上。当然，在实际应用中，所述方法也可以应用于服务器上，例如，服务器接收终端设备发生的第一预览图像、第二预览图像以及预览焦点，并根据接收到的预览焦点在所述第一预览图像中确定候选区域，并根据所述候选区域以及所述深度信息确定所述第一预览图像对应的待虚化区域；对所述待虚化区域进行虚化处理，以得到预览图像；最后将得到的预览图像发送至终端设备，以使得终端设备显示所述预览图像。

需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

进一步，为了对发明内容作进一步说明，下面结合附图，通过对实施例进行具体描述。

本实施例提供的预览图像虚化方法，如图1所示，所述方法具体包括：

S10、获取第一预览图像以及第二预览图像，并基于所述第一预览图像和所述第二预览图像确定所述第一预览图像的深度信息，其中，所述第一预览图像为通过成像模组中的第一成像器采集的图像，所述第二预览图像为通过所述成像模组中的第二成像器采集的图像。

具体地，所述成像模组包括至少包括两个双成像器，其中，所述第一成像器和第二成像器为所述成像模组中的两个成像器。所述第一成像器和第二成像器设置在同一平面上，第一成像器和第二成像器可以是横向相邻设置在一起，也可以是竖向相邻设置。所述第一成像器和第二成像器可以为电子设备(例如，智能手机)的双摄像头，即第一成像器和第二成像器均为摄像头。例如，第一成像器和第二成像器可以为双后置摄像头或双前置摄像头，其中，第一成像器和第二成像器可以一个为彩色成像器另一个为黑白成像器(例如，第一成像器彩色成像器，第二成像器为黑白成像器)，第一成像器和第二成像器也可以采用焦距不一样的成像器，当然，第一成像器和第二成像器也可以采用一样的成像器。此外，所述第一预览图像和第二预览图像可以是通过电子设备自身配置的成像模组获取的预览图像，也可以是通过网络、蓝牙以及红外等途径获取其他电子设备的成像模组采集得到的预览图像。当然，所述成像模组还可以包括3个成像器(例如，具有三个摄像头的智能手机等)，也可以包括4个成像器等。

进一步，在本实施例的一个可能实现方式中，所述第一预览图像和第二预览图像为通过电子设备自身配置的第一成像器和第二成像器获取的图像。可以理解的是，电子设备配置有第一成像器和第二成像器，第一成像器和第二成像器中一个成像器为主成像器，另一个成像器为辅成像器，以通过第一成像器和第二成像器获取到主图像和辅助图像，其中，主图像为通过主成像器采集到的，辅助图像为通过辅成像器采集到的，所述辅助图像用于辅助计算主图像的深度信息。在本实施例中，所述第一成像器为主成像器，主成像器用于采集主图像，第二成像器为辅成像器，辅成像器用于采集辅助图像，所述辅助图像用于辅助计算主图像的深度信息。由此可知，所述第一预览图像为第一成像器采集到的主图像，第二预览图像为第二成像器采集到的辅助图像，第二预览图像用于辅助计算第一预览图像的深度信息。在本实施例的一个实现方式中，所述第一成像器和所述第二成像器均为摄像头。

进一步，在本实施例的一个实现方式中，所述第一预览图像和第二预览图像为成像模组处于预览状态时采集到的图像，即第一预览图像为第一成像器处于预览状态时采集到的图像，第二预览图像为第二成像器处于预览状态时采集到的图像。例如，配置有双摄像头的手机启动并处于拍照预览时，双摄像头中主摄像头采集到图像A，双摄像头中辅助摄像头采集到图像B，那么图像A为第一预览图像，图像B为第二预览图像。

在本实施例的一个可能实现方式中，所述第一预览图和第二预览图像为帧同步图像，其中，所述帧同步图像指的是第一预览图像的帧序号与第一预览图像对应第二预览图像的帧序号相同。此外，为了保证第一预览图像和第二预览图像的帧同步，在通过第一成像器采集第一预览图像以及通过第二成像器采集第二预览图像之前，可以设置第一成像器和第二成像器的固定数据流帧率，以使得第一成像器采集第一预览图像时的帧率和第二成像器采集第二预览图像时的帧率相等。这样当电子设备处于采集预览状态，并第一成像器采集第一预览图像时的帧率和第二成像器采集第二预览图像时的帧率相等时，第一成像器采集到第一预览图像和第二采集图像采集的第二预览图像帧同步，这样可以避免第一预览图像和第二预览图像时差范围大，从而造成深度信息不准确的问题。

进一步，所述第一预览图像的深度信息指的是第一预览图像中各像素点对应的深度信息形成的矩阵，其中，像素点对应的深度信息为该像素点到第一成像器和第二成像器所在平面的距离，其中，每个深度信息在所述矩阵中的位置与该深度信息对应的像素点在第一预览图像中的位置相同。例如，深度信息在矩阵中的位置为(10，20)，那么该深度信息对应的像素点在第一预览图像中的位置为(10，20)。在本实施例中，基于所述第一预览图像和所述第二预览图像确定所述第一预览图像的深度信息可以是根据第一预览图像和第二预览图像确定第一预览图像的深度信息。所述根据第一预览图像和第二预览图像确定第一预览图像的深度信息的过程可以为：对于第一预览图像中的每个像素点，基于第一预览图像和第二预览图像确定该像素点的深度信息，在获取到所有像素点对应的深度信息后，按照各像素点在第一预览图像中位置将各深度信息排布成矩阵，以得到第一预览图像的深度信息。其中，像素点的深度信息可以根据三角测距远离来实现。这是由于第一预览图像和第二预览图像分别有第一成像器和第二成像器采集得到，而第一成像器和第二成像器之间具有一定距离，从而导致视差。由此，可以根据三角测距远离计算得到第一预览图像和第二预览图像中同一对象的深度信息，也就是该对象距离第一成像器和第二成像器所在平面的距离，例如，像素点A距离第一成像器和第二成像器所在平面的距离为50，那么该像素点的深度信息为50。

此外，在实际应用中，为了减少计算深度信息时的计算量，在获取到第一预览图像和第二预览图像后，可以分别按照预定比例缩减第一预览图像和第二预览图像，并采用缩减得到的第一预览图像作为第一预览图像，缩减得到的第二预览图像作为第二预览图像。例如，分别将第一预览图像和第二预览图像缩小预设倍数(例如，2倍)，或者分别将第一预览图像和第二预览图像缩小到预设图像尺寸(例如，224＊224等)等。同时，在获取到深度信息之后，可以将第一预览图像中的各像素点对应的深度信息分别作为各自像素点的像素值(例如将像素点A对应的深度信息作为像素点A的像素值，将像素点B对应的深度信息作为像素点B的像素值)，以得到第一预览图像对应的深度图。此外，在确定第一预览图像对应的深度图之后，可以对所述深度图进行预处理，以提高所述深度图均匀性以及边缘平滑性。其中，所述预处理可以是滤波处理等，其中，所述滤波处理可以包括加权最小二乘滤波和自适应中值滤波等。

进一步，在本实施例的一个实现方式中，配置有成像模组的终端设备处于在预览状态时，两个成像器采集得到的视频均为视频流，其中，所述第一预览图像为第一成像器处于预览状态时采集得到视频流中的一张图像，第二预览图像为第二成像器处于预览状态时采集得到的视频流中的一张图像。对于同一场景进行预览时，得到的视频流中相邻图像帧的图像内容重叠性很高，那么在对视频流中的每张图像进行预览虚化的过程中，可以无需每张图像都计算深度信息，可以每间隔预设数量的图像计算一次第一预览图像的深度信息，也可以是按照预设规则确定需要计算深度信息的第一预览图像。例如，对于相邻的图像A和图像B，图像A的采集时间早于图像B的采集时间，那么在计算得到图像A的深度信息后，当图像B处于预览虚化时可以直接使用图像A的深度信息，这样可以减少深度信息的计算次数，进而可以提高预览虚化处理的实时性。相应的，在本实施例的一个可能实现方式中，所述基于所述第一预览图像和所述第二预览图像确定所述第一预览图像的深度信息具体包括：

H11、检测预设数量的参考图像各自分别对应的深度信息，其中，参考图像为所述第一成像器所采集的，且参考图像的采集时间早于所述第一预览图像的采集时间，并且所述预设数量的参考图像和所述第一预览图像为连续图像；

H12、若预设数量的参考图像各自分别对应的深度信息相同，根据所述第一预览图像和所述第二预览图像确定所述第一预览图像对应的深度信息；

H13、若预设数量的参考图像各自对应的深度信息不同或者未存在预设数量的参考图像，将所述第一预览图像的候选参考图像对应的深度信息作为所述第一预览图像的深度信息，其中，所述候选参考图像为按照采集时间位于第一预览图像之前且与所述第一预览图像相邻的图像。

具体地，所述采集时间指的是第一成像器在预览状态时采集到第一预览图像的采集时间，参考图像为所述第一成像器采集，并且预设数量的参考图像中的任一参考图像的采集时间均早于第一预览图像对应的采集时间，并且预设数量的参考图像与所述第一预览图像为连续图像。其中，预设数量的参考图像与所述第一预览图像为连续图像可以理解为，预设数量的参考图像按照采集时间的先后顺序位于所述第一预览图像之前，并预设数量的参考图像的采集时间与第一预览图像的采集时间相邻。例如，参考图像包括图像A以及图像B，并且图像A的采集时间早于图像B的采集时间，那么图像A、图像B以及第一预览图像为第一成像器依次采集到，并且采集到图像A的下一采集时刻采集到图像B，并且在采集到图像B的下一时间采集到第一预览图像。此外，在本实施例的一个实现方式中，所述预设数量为预先设置，用于确定深度图计算的频率，例如，所述预设数量为5，那么每五张图像计算一次深度信息。

在本实施例中，所述预设数量的参考图像各自分别对应的深度信息相同是根据第一预览图像和第二预览图像确定第一预览图像对应的深度信息的预设条件，由此，在获取到第一预览图像和第二预览图像后，需要检测预设数量的参考图像各自分别对应的深度信息，并判断预设数量的参考图像各自分别对应的深度信息是否相同，以判定是否需要根据第一预览图像和第二预览图像确定第一预览图像的深度信息。其中，所述预设数量的参考图像各自分别对应的深度信息相同指的是预设数量的参考图像中每一张参考图像对应的深度信息均相同，例如，每一张参考图像均采用预设数量的参考图像中采集时间最早的参考图像的深度信息作为该参数图像的深度信息；此时需要根据第一预览图像和第二预览图像确定第一预览图像的深度信息。所述预设数量的参考图像对应的深度信息不相同指的是预设数量的参考图像对应深度信息中存在至少一张参考图像，该参考图像对应的深度信息与其他参考图像对应的深度信息不同。例如，预设数量的参考图像中，按照采集时间的先后顺序，处于第一位(即采集时间最早)的第一参考图像的深度信息，与处于第三位(即采集时间仅次于第一参考图像和第二参考图像的采集时间)的第三参考图像的深度信息不同，此时不需要根据第一预览图像和第二预览图像确定第一预览图像的深度信息，可以直接将第一预览图像对应的前一时刻的图像对应深度信息作为第一预览图像的深度信息。

进一步，检测预设数量的参考图像各自分别对应的深度信息可以为：检测第一预览图像前连续预设数量的参考图像是否采用同一张图像确定的深度信息，若是则说明预设数量的参考图像各自分别对应的深度信息相同，第一预览图像需要重新计算深度信息，若否则说明预设数量的参考图像各自分别对应的深度信息不相同，第一预览图像可以直接采用参考图像中任一参考图像对应的深度信息，这样可以减少深度信息的计算次数，从而减少了深度信息计算所耗费的时间，进而可以提高预览虚化处理的实时性。例如，预设数量为2，当获取到第一预览图像后，获取预设数量的参考图像，分别记为参考图像A以及参考图像B，其中，参考图像B为第一预览图像的前一时刻的图像，参考图像A为参考图像B的前一时刻的图像；在获取到参考图像A和参考图像B后，判断参考图像A对应的深度信息和参考图像B对应深度信息是否为采用同一张图像确定深度信息(例如，均是采用图像A确定的深度信息等)，并且当图像A与图像B均采用图像A确定深度信息，则图像A的深度信息和图像B的深度信息相同，若图像B不是采用图像A确定的深度信息，则图像A的深度信息和图像B的深度信息不同。

当然，值得说明的是，预设数量的参考图像对应的深度信息为根据预设数量的参考图像中的一参考图像A计算得到的，并且该参考图像A按照采集时间的先后顺序为预设数量的参考图像中最早采集得到的图像。此外，当所述第一预览图像之前未存在参考图像(即第一预览图像为按照采集时间顺序采集到的第一张图像)时，基于所述第一预览图像和第二预览图像计算该第一预览图像对应的深度信息；当第一预览图像之前存在至少一张参考图像，而参考图像的数量未达到预设数量时，将第一预览图像的前一参考图像的深度信息作为第一预设图像的深度信息。

S20、根据获取到的预览焦点在所述第一预览图像中确定候选区域，并根据所述候选区域以及所述深度信息确定所述第一预览图像对应的待虚化区域。

具体地，所述预览焦点为第一预览图像的焦点位置，所述预览焦点可以根据用户的选取操作生成的，也可以是外部设备发送的。例如，当成像装置中显示第一预览图像时，可以接收用户对所述第一预览图像执行的点击操作，并获取点击操作对点击点作为预览焦点，并将所述点击点的位置信息(例如，点击点在所述显示界面上对应的像素点对应的像素位置，如，(125，150)等)作为预览焦点的位置信息。此外，所述候选区域为所述第一预览图像的一个图像区域，所述候选区域可以包含所述预览焦点。可以理解的是，所述候选区域为包含预览焦点的一个图像区域，该图像区域为第一预览图像中的一图像区域，例如，在获取到预览焦点后，以该预览焦点为圆形，以预设半径(例如，20像素点)为半径绘制圆形区域，该圆形区域第一预览图像的相交区域为预览焦点对应的图像区域；再如，预先将第一预览图像划分为图像区域A、图像区域B以及图像区域C，当检测到用户点击图像区域B时，所以图像区域B便可作为预览焦点对应的图像区域。此外，所述候选区域可以为所述预览焦点为中心的正方形区域、矩形区域、圆形区域以及三角形区域等。

本实施例的一个可能实现方式中，所述候选区域为与预览焦点为中心的正方形区域，其中，所述正方形区域的边长可以根据第一预览图像的宽和高确定，例如，所述正方形的边长为第一预览图像的宽与长中最小值与预设阈值的比值，即正方形边长L_s＝min(w,h)/d，其中，w为第一预览图像对应的深度图的宽、h为第一预览图像对应的深度图的高，d为预设阈值，例如，d＝24等。

进一步，在本实施例的一个实现方式中，所述根据所述候选区域以及所述深度信息确定所述第一预览图像对应的待虚化区域具体包括：

将所述候选区域划分为若干子候选区域，并根据划分得到的若干子候选区域以及所述候选区域确定所述第一预览图像对应的深度阈值；

根据所述深度阈值确定所述第一预览图像对应的待虚化区域。

具体地，任意两个子候选区域之间可以不重叠，也可以部分重叠。所述候选区域的划分过程为：以预览焦点为中心选取第一子候选区域，第一子候选区域包含于候选区域内，然后，将候选区域除第一子区域外的区域划分为至少两个子区域，并将每个子区域作为一个子候选区域，以得到候选区域对应的若干子候选区域。此外，所述第一预览图像信息为各像素点对应的深度信息形成矩阵，并且矩阵中各深度信息与各自对应的像素点的位置对应，从而所述第一预览图像的深度信息可以看做一张与第一预览图像尺寸等大的图像(记为深度图)，并且候选区域以及子候选区域的确定过程可以在该深度图中进行(例如，如图2和3所示)，这样第一预览图像中的候选区域选取移植到深度图上，根据候选区域在深度图中位置，可以直接确定该候选区域对应的深度信息，从而可以省略基于深度图确定第一预览图像上的候选区域对应的深度信息的过程，从而提高了候选区域以及各子候选区域的深度信息的计算速度。

举例说明：设置预览焦点作为(x,y)，深度图的大小为(w,h)，所述候选区域为以预览焦点为中心的正方形区域，候选区域的边长为L_s，所述候选区域的四个顶点分别为(x+L_s/2,y+L_s/2)，(x-L_s/2,y+L_s/2)，(x-L_s/2,y+L_s/2)以及(x-L_s/2,y-L_s/2)。首先以预览焦点为中心选取边长为L_s/2的第一候选区域S₅，然后将候选区域等分为4个第二子候选区域(S₁,S₂,S₃,S₄)，4个第二子候选区域中的任意两个第二子候选区域对称，其中，若两个第二子候选区域左右并排布置，在这两个第二子候选区域沿竖直方向对称，若两个第二子候选区域上下并排布置，在这两个第二子候选区域沿水平方向对称，以得到如图4所示的5个子候选区域，其中，5个子候选区域的边长均为L_s/2，S₁子候选区域的四个顶点坐标为{

(x,y)，

}；S₂子候选区域的四个顶点坐标为{

(x,y)}；S₃子候选区域的四个顶点坐标为

(x,y)}；S₄子候选区域的四个顶点坐标为{(x,y)，

以及S₅子候选区域的四个顶点坐标为

进一步，在本实施例的一个可能实现方式中，所述根据划分得到的若干子候选区域以及所述候选区域确定所述第一预览图像对应的深度阈值具体包括：

计算每个子候选区域各自分别对应的第一深度信息，以及所述候选区域的第二深度信息；

根据各子候选区域对应的第一深度信息，计算各子候选区域各自对应的第一深度均值；

根据所述第二深度信息计算所述候选区域的第二深度均值；

根据计算得到所有第一深度均值以及所述第二深度均值，确定所述第一预览图像对应的深度阈值。

具体地，所述深度阈值用于分区目标区域以及待虚化区域的深度信息，在获取到深度阈值后，根据所述深度阈值可以将所述第一预览图像划分为待虚化区域以及目标区域。所述子候选区域对应的第一深度信息可以根据计算得到第一预览图像对应的深度信息确定，例如，在获取第一深度信息时，可以确定子候选区域对应的图像区域，之后在第一预览图像对应的深度信息中确定该图像区域的深度信息，以确定该子候选区域的第一深度信息。同理，所述候选区域对应的第二深度信息可以计算得到第一预览图像对应的深度信息确定，在获取第二深度信息时，可以确定候选区域对应的图像区域，之后在第一预览图像对应的深度信息中确定该图像区域的深度信息，以确定该候选区域的第二深度信息。

此外，在本实施例的一个可能实现方式中，所述第一预览图像的深度信息可以为深度图；子候选区域的第一深度信息也为深度图，并将所述子候选区域对应的深度图记为第一深度图；那么在确定子候选区域后，可以确定所述子候选区域对应的图像区域的区域范围，之后根据区域范围在第一预览图像对应的深度图内选取子深度图，并将选取到的子深度图作为该子候选区域对应的第一深度图，从而获取到该子候选区域对应的深度信息，这样只需计算第一预览图像的深度信息，提高了深度信息获取的效率，从而可以提高预览虚化的实时性。当然，值得说明的，候选区域的第二深度信息也可以作为第二深度图，也可以通过在第一预览图像对应的深度图内选取子深度图的方式来确定，这里就不再赘述。

进一步，在根据计算得到的所有第一深度信息以及所述候选区域的第二深度信息确定深度阈值的过程可以为：首先，对于每个第一深度信息，计算该第一深度信息包括的各深度信息的第一平均值，并将计算得到第一平均值作为该第一深度信息对应的子候选区域的第一深度均值，以得到各子候选区域各自对应的第一深度均值；其次，计算第二深度信息包括的各深度信息的第二平均值，并将第二平均值作为所述候选区域对应的第二深度均值；最后，在获取到的所有第一深度均值以及第二深度均值中选取最大值，将选取到的最大值作为第一预览图像对应的深度阈值。

进一步，在本实施例的一个实现方式中，所述根据所述深度阈值确定所述第一预览图像对应的待虚化区域具体包括：

获取所述第一预览图像中深度信息小于所述深度阈值的目标像素点；

确定所述目标像素点形成的目标区域，并将所述目标区域作为所述第一预览图像对应的待虚化区域。

具体地，所述获取所述第一预览图像中深度信息小于所述深度阈值的像素点指的是对于第一预览图像中的每个像素点，根据第一预览图像对应的深度信息确定该像素点的深度信息，并将该像素点的深度信息与深度阈值进行比较，若该像素点的深度信息小于深度阈值，则获取该像素点，例如，记录该像素点的位置信息。此外，在获取到所有深度信息小于预设深度阈值的像素点后，将获取到所有像素点形成的区域作为待虚化区域，而将第一预览图像中未被选取的像素点形成的区域作为目标区域，例如，如图5所示，图中女孩子所处区域为目标区域，图中除女孩子所处区域外的所有区域为待虚化区域。此外，在获取到待虚化区域以及目标区域后，可以分别生成待虚化区域的掩膜以及目标区域的掩膜，其中，所述待虚化区域的掩膜掩膜中属于待虚化区域的像素点用1表示，不属于待虚化区域的像素点用0表示，所述目标区域的掩膜掩膜中属于目标区域的像素点用1表示，不属于目标区域的像素点用0表示。

S30、对所述待虚化区域进行虚化处理，以得到预览图像。

具体地，对所述待虚化区域进行虚化处理指的是将待虚化区域的图像内容进行虚化，例如，应用高斯模糊算法对待虚化区域进行虚化处理，从而实现图像背景虚化的效果。在预览图像中，待虚化区域的得到了虚化，目标区域更加突出，呈现出对焦的目标区域的成像效果。

进一步，在本实施例的一个实现方式中，所述对所述待虚化区域进行虚化处理，以得到预览图像具体包括：

获取所述第一预览图像对应的虚化强度；

根据所述虚化强度对所述待虚化区域进行虚化处理，以得到预览图像。

具体地，所述虚化强度为预设设置的默认虚化强度，或者根据接收到的虚化指令确定虚化强度。可以理解的是，所述虚化强度可以是用户输入的虚化强度，可是成像装置自身配置的默认虚化强度，也可以是外部设备发送的虚化强度，还可以是用户设定的虚化强度等。此外，虚化处理预先划分100个等级，并且用1到100的自然数标识，那么所述虚化强度为100个等级中的一个等级，即虚化强度为1到100中的一个自然数。其中，虚化强调对应的虚化等级越高，所述待虚化区域被虚化的程度越高，反之，虚化强调对应的虚化等级越低，所述待虚化区域被虚化的程度越低。

进一步，在获取到虚化强度后，可以根据虚化强度确定散焦模糊核K，根据所述散焦模糊核采用散焦模糊对待虚化区域进行虚化处理。其中，散焦模糊是数字图像中的一种模糊方法，其是当目标场景落在景深之外时，对目标场景进行模糊的方法：模糊核为一个矩阵，清晰图像与模糊核卷积后使得图像变得模糊，所述模糊核是卷积核的一种。在本实施例的一个实现方式中，所述散焦模糊核的大小可以为(2*I+1)*(2*I+1)，其中，I为虚化强度，散焦模糊核中的每个元素(i,j)的值为：

进一步，在本实施例的一个实现方式中，所述对所述待虚化区域进行虚化处理之后，所述方法还包括：

根据虚化后的待虚化区域确定所述第一预览图像对应的目标区域，并将所述目标区域与虚化后的待虚化区域融合，以得到预览图像。

具体地，所述目标区域为第一预览图像中深度信息大于或等于深度阈值的像素点形成的图像区域。可以理解的是，目标区域为第一预览图像的前景区域，待虚化区域为第一预览图像的背景区域，而对待虚化区域进行虚化处理为对背景区域进行虚化。将目标区域与虚化后的待虚化后的待虚化区域融合为将前景区域与虚化后的背景区域融合，以得到预览图像。例如，对根据图2所示的候选区域确定深度阈值确定待虚化区域进行虚化后，可以得到如图5所示的预览图像；再如，对根据图3所示的候选区域确定深度阈值确定待虚化区域进行虚化后，可以得到如图6所示的预览图像。

此外，在将前景图像与虚化后的背景区域融合时，为了避免前景图像与虚化后的背景区域的边缘显得突兀或出现闪烁，在将前景图像与虚化后的背景区域融合时，可以在前景图像与虚化后的背景区域在分割边界生成过渡带，以减少预览虚化的闪烁。相应的，在本实施例的一个实现方式中，将所述目标区域与虚化后的待虚化区域融合的过程可以为：对目标区域进行腐蚀和高斯模糊处理，在目标区域的边缘产生过渡带，其中，过渡带中每个像素点的像素均位于0－255之间，并在获取将目标区域与虚化后的待虚化区域进行融合时，对于过渡带中的每个像素点，该像素点的像素值可以根据该像素点的像素值、目标区域中对应的像素点的值以及虚化后的待虚化区域中对应的像素点的值来更新，更新后的像素值可以表示为：

其中，w为过渡带中该像素点的像素值，p₁为目标区域中该像素点的像素值，p₂虚化后的待虚化区域中该像素点的像素值。

进一步，在本实施例的一个实现方式中，所述虚化处理是在预览过程中，而终端设备采集到预览图像为YUV颜色空间下的图像，从而在对待虚化区域进行虚化处理时，可以直接在YUV颜色空间下虚化，这样可以无需将图像从YUV颜色空间转换到RGB颜色空间，之后再由RGB颜色空间转换到YUV颜色空间，进而可以提高预览虚化的实时性。此外，在本实施例的一个可能实现方式中，所述对待虚化区域进行区域为在Y通道对待虚化区域进行虚化处理，可以进一步减少2/3计算量，保证了预览虚化的实时性。

综上，本实施例提供了一种预览图像虚化方法、存储介质以及终端设备，所述方法本发明提供了一种预览图像虚化方法、存储介质以及终端设备，所述方法首先通过采集得到的第一预览图像和第二预览图像并基于所述第一预览图像和所述第二预览图像确定所述第一预览图像的深度信息，以及根据预览焦点确定候选区域，其次再根据候选区域和深度信息来确定待虚化区域，最后对待虚化区域进行虚化处理。这样根据预览焦点对应的候选区域确定待虚化区域，并根据候选区域对应的深度信息作为预览焦点对应的深度信息，提高了用于确定待虚化区域的深度信息的准确性，从而使得拍摄虚化效果与预览虚化效果相同，进而提高了图像拍摄效果。

基于上述预览图像虚化方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的预览图像虚化方法中的步骤。

基于上述预览图像虚化方法，本发明还提供了一种终端设备，如图7所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read－Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及移动终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种预览图像虚化方法，其特征在于，所述方法包括：

获取第一预览图像以及第二预览图像，其中，所述第一预览图像为通过成像模组中的第一成像器采集的图像，所述第二预览图像为通过所述成像模组中的第二成像器采集的图像；

当第一成像器在第一预览图像的采集时间前采集至少一张图像时，检测预设数量的参考图像各自分别对应的深度信息，其中，参考图像为所述第一成像器所采集的，且参考图像的采集时间早于所述第一预览图像的采集时间，并且所述预设数量的参考图像和所述第一预览图像为连续图像；

若预设数量的参考图像各自分别对应的深度信息均相同，根据所述第一预览图像和所述第二预览图像确定所述第一预览图像对应的深度信息；

若预设数量的参考图像各自对应的深度信息不同或者未存在预设数量的参考图像，将所述第一预览图像的候选参考图像对应的深度信息作为所述第一预览图像的深度信息，其中，所述候选参考图像为按照采集时间的先后顺序位于第一预览图像之前且与所述第一预览图像相邻的图像；

根据获取到的预览焦点在所述第一预览图像中确定候选区域，并根据所述候选区域以及所述深度信息确定所述第一预览图像对应的待虚化区域；

对所述待虚化区域进行虚化处理，以得到预览图像。

2.根据权利要求1所述预览图像虚化方法，其特征在于，所述第一预览图像和所述第二预览图像均为所述成像模组处于预览状态时采集到的图像，并且所述第一预览图像和第二预览图像为帧同步图像。

3.根据权利要求1所述预览图像虚化方法，其特征在于，所述根据所述候选区域以及所述深度信息确定所述第一预览图像对应的待虚化区域具体包括：

将所述候选区域划分为若干子候选区域，并根据划分得到的若干子候选区域以及所述候选区域，确定所述第一预览图像对应的深度阈值；

根据所述深度阈值确定所述第一预览图像对应的待虚化区域。

4.根据权利要求3所述预览图像虚化方法，其特征在于，所述根据划分得到的若干子候选区域以及所述候选区域，确定所述第一预览图像对应的深度阈值具体包括：

计算每个子候选区域各自分别对应的第一深度信息，以及所述候选区域的第二深度信息；

根据各子候选区域对应的第一深度信息，计算各子候选区域各自对应的第一深度均值；

根据所述第二深度信息计算所述候选区域的第二深度均值；

根据计算得到所有第一深度均值以及所述第二深度均值，确定所述第一预览图像对应的深度阈值。

5.根据权利要求3所述预览图像虚化方法，其特征在于，所述根据所述深度阈值确定所述第一预览图像对应的待虚化区域具体包括：

获取所述第一预览图像中深度信息小于所述深度阈值的目标像素点；

确定所述目标像素点形成的目标区域，并将所述目标区域作为所述第一预览图像对应的待虚化区域。

6.根据权利要求1所述预览图像虚化方法，其特征在于，所述对所述待虚化区域进行虚化处理，以得到预览图像具体包括：

获取所述第一预览图像对应的虚化强度；

根据所述虚化强度对所述待虚化区域进行虚化处理，以得到预览图像。

7.根据权利要求1－6任一所述预览图像虚化方法，其特征在于，所述对所述待虚化区域进行虚化处理之后，所述方法还包括：

根据虚化后的待虚化区域确定所述第一预览图像对应的目标区域，并将所述目标区域与虚化后的待虚化区域融合，以得到预览图像。

8.根据权利要求1－6任一所述预览图像虚化方法，其特征在于，所述第一预览图像和所述第二预览图像均为YUV颜色空间下的图像，所述对待虚化区域进行区域为在Y通道对待虚化区域进行虚化处理。

9.根据权利要求1－6任一所述预览图像虚化方法，其特征在于，所述第一成像器为主成像器，主成像器用于采集主图像，所述第二成像器为辅成像器，辅成像器用于采集辅助图像，所述辅助图像用于辅助计算主图像的深度信息；其中，所述第一成像器和所述第二成像器均为摄像头。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～9任意一项所述的预览图像虚化方法中的步骤。

11.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1－9任意一项所述的预览图像虚化方法中的步骤。

Images