CN110572581B - 基于终端设备的变焦虚化图像获取方法和装置 - Google Patents

Abstract

本发明提出一种基于终端设备的变焦虚化图像获取方法和装置，其中，方法包括：获取携带变焦倍数的变焦拍照指令；判断变焦倍数与主摄像头和至少一个副摄像头的等效变焦倍数的大小关系；根据大小关系，在主摄像头和至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定变焦主摄像头的拍照模式；控制变焦主摄像头根据拍照模式拍摄主图像，并控制变焦副摄像头拍摄副图像；根据变焦倍数裁切主图像以获取变焦主图像，并根据副图像对变焦主图像进行虚化获取虚化主图像；根据虚化主图像对变焦主图像的背景虚化渲染生成变焦虚化图像。由此，灵活的满足了多设摄像头拍照时多种变焦倍数的拍摄需求，且保证了变焦后的成像清晰度。

Description

基于终端设备的变焦虚化图像获取方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于终端设备的变焦虚化图像获取方法和装置。

背景技术

随着终端设备的普及，终端设备的拍照功能也愈发多样化，比如，采用双摄实现人像模式的变焦拍照，可以满足用户的人像拍照需求。

相关技术中，终端设备的双摄像头为定焦摄像头，无法支持人像模式下拍照的灵活变焦，这导致人像拍照过程中只能通过拍摄者的移动来调整被摄人像的大小，由此，亟需一种灵活满足多摄像头拍照时变焦需求的拍照方式。

发明内容

本发明提出一种基于终端设备的变焦虚化图像获取方法和装置，以解决现有技术中，多摄像头拍照无法实现灵活变焦的技术问题。

本发明一方面实施例提供了一种基于终端设备的变焦虚化图像获取方法，所述终端设备包括主摄像头和至少一个副摄像头，其中，所述主摄像头的等效变焦倍数为1，所述方法包括以下步骤：获取携带变焦倍数的变焦拍照指令；判断所述变焦倍数与所述主摄像头和所述至少一个副摄像头的等效变焦倍数的大小关系；根据所述大小关系，在所述主摄像头和所述至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定所述变焦主摄像头的拍照模式；控制所述变焦主摄像头根据所述拍照模式拍摄主图像，并控制所述变焦副摄像头拍摄副图像；根据所述变焦倍数裁切所述主图像以获取变焦主图像，并根据所述副图像对所述变焦主图像的背景虚化生成变焦虚化图像。

本发明另一方面实施例提供了一种基于终端设备的变焦虚化图像获取装置，所述终端设备包括主摄像头和至少一个副摄像头，其中，所述主摄像头的等效变焦倍数为1，所述装置，包括：获取模块，用于获取携带变焦倍数的变焦拍照指令；判断模块，用于判断所述变焦倍数与所述主摄像头和所述至少一个副摄像头的等效变焦倍数的大小关系；确定模块，用于根据所述大小关系，在所述主摄像头和所述至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定所述变焦主摄像头的拍照模式；拍摄模块，用于控制所述变焦主摄像头根据所述拍照模式拍摄主图像，并控制所述变焦副摄像头拍摄副图像；处理模块，用于根据所述变焦倍数裁切所述主图像以获取变焦主图像，并根据所述副图像对所述变焦主图像的背景虚化生成变焦虚化图像。

本发明又一方面实施例提供了一种终端设备，包括主摄像头和至少一个副摄像头，其中，所述主摄像头的等效变焦倍数为1，存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器与所述主摄像头和至少一个副摄像头连接，所述处理器执行所述计算机程序时，实现如前述实施例描述的基于终端设备的变焦虚化图像获取方法。

本发明还一方面实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施例描述的基于终端设备的变焦虚化图像获取方法。

本发明提供的实施例，至少包括如下有益技术效果：

获取携带变焦倍数的变焦拍照指令，判断变焦倍数与主摄像头和至少一个副摄像头的等效变焦倍数的大小关系，根据大小关系，在主摄像头和至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定变焦主摄像头的拍照模式，进一步的，控制变焦主摄像头根据拍照模式拍摄主图像，并控制变焦副摄像头拍摄副图像，最后，根据变焦倍数裁切主图像以获取变焦主图像，根据副图像对变焦主图像的背景虚化生成变焦虚化图像。由此，灵活的满足了多摄像头拍照时多种变焦倍数的拍摄需求，且保证了变焦后的成像清晰度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种图像传感器的结构示意图；

图2为本发明实施例所提供的一种基于终端设备的变焦虚化图像获取方法的流程示意图；

图3-1是根据本发明一个实施例的拍照界面示意图；

图3-2是根据本发明另一个实施例的拍照界面示意图；

图4是根据本发明一个实施例的变焦倍数变化时视角变化示意图；

图5是根据本发明一个实施例的预览和拍照阶段处理流程示意图；

图6为本发明实施例所提供的另一种基于终端设备的变焦虚化图像获取方法的流程示意图；以及

图7为本发明实施例所提供的一种基于终端设备的变焦虚化图像获取装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于终端设备的变焦虚化图像获取方法和装置。

其中，本发明实施例的终端设备包括一个主摄像头和至少一个副摄像头，其中主摄像头的等效变焦倍数为1，至少一个副摄像头的等效变焦倍数可以为小于1，也可以为大于1，或者任意不等于1的变焦倍数。

针对上述背景技术中提到的，当前拍照不支持变焦的技术问题，相关技术中最常用的方法为布局两个焦距不同的摄像头，比如，采用广角+主摄实现1x双摄虚化效果，对1x虚化效果进行数码放大得到1x～2x变焦效果，又比如，采用广角+主摄实现1x双摄虚化效果，采用主摄+长焦实现2x双摄虚化效果，1x～2x之间通过对1x虚化效果进行数码放大实现。

由此，相关技术中，在摄像头不能直接拍摄得到的变焦倍数下，采用完全数码放大的方式实现变焦，这导致细节难以达到光变水平，影响图像的质量，另外，变焦倍数完全受限于摄像头的定焦焦距，比如，若当前摄像头的定焦焦距分别为1x和2x,则显然双摄像头能拍摄的变焦范围限制在1-2倍。

为了解决上述技术，本发明提出了一种变焦图像获取方法，一方面，可以满足多种场景下的变焦倍数需求，另一方面，保证了变焦拍摄图像后的清晰度。

在对本发明实施例的基于终端设备的变焦虚化图像获取方法进行说明之前，首先对本发明实施例中涉及的一些技术名词进行定义，定义如下：

等效变焦倍数：光学变焦倍数通常为通过移动镜头的前后位置来实现的变焦倍数，本实施例中的摄像头均为定焦摄像头，因而，基于每个摄像头对物体成像的大小，计算对物体成像的缩放倍数，根据缩放倍数确定每个摄像头的等效变焦倍数。

第一拍照模式和第二拍照模式：第一拍照模式和第二拍照模式分别指代不同分辨率的拍照模式，其中，在第一拍照模式下，通过改变图像传感器的像素单元组成，使得拍摄的图像的分辨率高于现有技术中的图像传感器直接出图的分辨率，第二拍照模式的分辨率高于第一拍照模式的成像分辨率。在本发明的实施例中，为了实现第一拍照模式和第二拍照模式，对第一拍照模式中每个感光像素点可以对应于一个合并像素单元，即第一拍照模式下拍摄的主图像由多个合并像素单元组成，每个合并像素单元包括多个感光像素单元。第二拍照模式可以由第一拍照模式下的像素点的插值计算得到，即第二拍照模式下拍摄的主图像由第一拍照模式下的主图像中每个合并像素单元插值得到。

在实际执行过程中，可以通过安装对应图像传感器的方式来实现第一拍照模式和第二拍照模式中合并像素单元的实现，如图1所示，若合并像素单元包含4个感光像素值，则本发明实施例的图像传感器可以为四合一的结构，即如图1中的(a)部分示出的，每个合并像素单元1对应于同一个颜色的滤光片，第一拍照模式如图1中的(b)部分示出的，可以将每个合并像素单元1中的四个感光像素11之和作为合并像素单元1的感光像素值，在具体计算时，也可以将四个像素单元值之和的二分之一作为合并像素单元的感光像素值，由此，第一拍照模式下得到的主图像的亮度较高，分辨率相对于现有技术中的图像传感器拍摄的分辨率也较高。第二拍照模式如图1中的(c)部分示出的，可以将每个合并像素单元1进行插值计算，获取其他两个颜色的合并像素单元的感光像素值，其中，插值的像素的颜色排列和个数可以和(a)部分示出的合并像素单元相同，由此，第二拍照模式下得到的主图像的分辨率相对于第一拍照模式更高。

具体而言，图2为本发明实施例所提供的一种基于终端设备的变焦虚化图像获取方法的流程示意图。

如图2所示，该基于终端设备的变焦虚化图像获取方法包括以下步骤：

步骤101，获取携带变焦倍数的变焦拍照指令。

可以理解，在很多应用场景中，用户为了获取不同焦距下的拍照效果，通常会具有变焦拍摄需求，为了满足用户的变焦拍照需求，获取携带变焦倍数的变焦拍照指令，该变焦拍照指令的触发方式可以为语音触发、也可以为控件触发等。

作为一种可能的实现方式，如图3-1所示，可以在当前拍照预览界面提供多种变焦倍数拍照控件，可以根据用户触发的控件获取携带变焦倍数的变焦拍照指令。

作为另一种可能的实现方式，如图3-2所示，可以在当前拍照预览界面中提供变焦调节进度条，用户可以通过拖动该进度条并点击对应的拍照控件来触发携带变焦倍数的变焦拍照指令。

步骤102，判断变焦倍数与主摄像头和至少一个副摄像头的等效变焦倍数的大小关系。

正如以上分析的，每个摄像头由于其焦距的不同，成像的等效变焦倍数不同，由于每个摄像头的等效变焦倍数不同，因而，每个摄像头可以获取不同的变焦倍数下的较为清晰的图像，为了保证对应变焦倍数下的图像清晰度，判断变焦倍数与主摄像头和至少一个副摄像头的等效变焦倍数的大小关系，基于该大小关系，筛选出拍摄的图像相对于该变焦倍数下的理论图像最相近的摄像头，以保证后续出图的清晰度。

步骤103，根据大小关系，在主摄像头和至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定变焦主摄像头的拍照模式。

步骤104，控制变焦主摄像头根据拍照模式拍摄主图像，并控制变焦副摄像头拍摄副图像。

具体的，根据大小关系在主摄像头和至少一个副摄像头中确定变焦主摄像头和变焦副摄像头，以保证变焦主摄像头是所有摄像头中，拍摄的图像在转换为对应变焦倍数下的图像时的图像清晰度最高，从而保证后续获取的变焦图像的清晰度。变焦主摄像头可以理解为后续虚化变焦图像中主图像的拍摄摄像头。

另外，在本发明的实施例中，为了确保可以获取到更好的变焦效果，能够更加突出拍照主体，在主摄像头和至少一个副摄像头中确定变焦副摄像头，以便于基于变焦副摄像头拍摄的图像参与背景虚化处理。

举例而言，如果变焦倍数为1.1，则显然由于主摄像头的拍摄的图像的等效变焦倍数为1，相对于其他摄像头最接近于该变焦倍数，因而，将该主摄像头确定为变焦主摄像头，由于此时，变焦倍数比较低，广角摄像头和主摄像头的重叠视角较多，计算景深的精度较高，因此，将广角摄像头作为变焦副摄像头。

容易理解的是，正如以上分析的，本发明中的图像传感器可以安装在变焦主摄像头上，基于拍照模式的选择拍摄获取清晰度较高的图像，以进一步保证后续获取的变焦图像的清晰度。

当然，为了提高图像的虚化效果，也可以控制与变焦主摄像头同样的拍照模式拍照，控制变焦副摄像头根据与变焦主摄像头一样的拍照模式拍摄副图像，保证拍摄的副图像可以和主图像进行更好的像素对齐，保证虚化的自然。

需要说明的是，为了保证后续变焦图像的图像质量，可以通过提升主图像的解析力来实现，示例说明如下：

在本发明的一个实施例中，为了进一步保证主图像的解析力，还可以控制变焦主摄像头根据拍照模式拍摄连续的多帧主图像，基于多帧主图像合成生成一帧主图像进行后续的处理，在本实施例中，可以在连续的多帧主图像中选择清晰度比较高的一帧主图像参与后续的虚化处理。

在本发明的一个实施例中，为了进一步保证主图像的解析力，还可以根据预设算法对主图像进行插值计算，比如根据超分算法对主图像的像素值进行计算，实现画质增强。

比如，当拍摄的主图像是多帧时，可以根据超分算法对每一帧主图像进行画质增强处理。

步骤105，根据变焦倍数裁切主图像以获取变焦主图像，并根据副图像对变焦主图像的背景虚化渲染生成变焦虚化图像。

可以理解，所谓变焦倍数下的拍摄，其实就是实现了视角的增大和缩小，如图4所示，当变焦主摄像头的等效变焦倍数为1倍时，其视角范围如图4左图所示，假设变焦主摄像头的等效变焦倍数为2倍时，其视角范围如图4右图所示，由此，显然可以通过对主图像的裁剪来获取等同的视角变化后的图像，也就是说，可以根据变焦倍数裁切主图像以获取变焦主图像，其中，作为一种可能的实现方式，可以针对不同分辨率的原始主图像，预先构建裁切区域与变焦倍数的对应关系，比如，规定对于原始主图像为12M的图像其变焦倍数为1，则对于原始主图像为48M的图像，规定其中间四分之一区域相当于2倍变焦，则可以将中间四分之一的区域裁切出来作为2倍变焦效果的主图像等，作为另一种可能的实现方式，也可以预先构建网络模型，输入原始主图像，输出该对应变焦倍数下的变焦主图像。

此时，需要强调的是，由于变焦主图像的获取并不是通过算法放大来实现的，而是直接对原有的主图像进行裁剪得到的，因而，保留了原有的主图像的像素信息，保证了获取的变焦主图像的解析力，其中，原有的主图像经过上述实施例的处理，画质清晰度也较高，因而，进一步保证了获取的变焦主图像的解析力。

进一步的，根据副图像对变焦主图像进行虚化获取虚化主图像，本实施例中，在变焦主图像获取之后，相对于直接基于主图像进行虚化处理，要处理的像素点大大降低，提高了虚化处理效率，当然，在进行虚化处理之前，为了便于像素的对齐，可以根据变焦倍数同样对副图像进行裁剪，以基于裁剪后的副图像和变焦主图像进行虚化获取变焦虚化主图像。

具体而言，根据副图像对变焦主图像的背景虚化生成变焦虚化图像，其中，虚化方式可以基于三角定位法估算变焦主图像的背景区域的景深信息，基于景深信息进行虚化处理。

需要说明的是，前述方法主要描述了拍照处理流程，本发明实施例中的基于终端设备的变焦虚化图像获取方法也可以用于预览流程，在预览流程中，为了提高预览效率，可以基于数码放大的方式实现变焦虚化图像的预览。即可以以主摄像头拍摄的一倍变焦倍数的主图像，基于副摄像头获取的图像为副图像，基于主图像和副图像的重叠部分视差计算深度图，根据深度图渲染得到一倍景虚化效果的变焦虚化图像，通过对一倍虚化效果的变焦虚化图像进行数码放大对应倍数得到对应变焦倍数下的图像。

举例而言，如图5所示，当主摄像头的等效变焦倍数为一倍时，控制变焦主摄像头根据拍照模式拍摄主图像，并控制变焦副摄像头拍摄副图像，其中，基于主图像和副图像经过一系列处理模块的处理，进行虚化处理，获取一倍变焦倍数下的虚化效果预览图给用户，此时，还可以基于主图像和副图像经过上述实施例的处理步骤，生成变焦虚化图像给用户。

由此，上述实施例的基于终端设备的变焦虚化图像获取方法，一方面，通过对主图像的裁剪来实现等效变焦倍数效果的变焦主图像，保证了变焦虚化图像的清晰度，另一方面，通过背景虚化技术，突出了拍照主体，优化了变焦效果。又一方面，基于拍照模式的选择，提高了主图像的清晰度，进一步保证了变焦虚化图像的清晰度。

综上，本发明实施例的基于终端设备的变焦虚化图像获取方法，获取携带变焦倍数的变焦拍照指令，判断变焦倍数与主摄像头和至少一个副摄像头的等效变焦倍数的大小关系，根据大小关系，在主摄像头和至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定变焦主摄像头的拍照模式，进一步的，控制变焦主摄像头根据拍照模式拍摄主图像，并控制变焦副摄像头拍摄副图像，最后，根据变焦倍数裁切主图像以获取变焦主图像，根据副图像对变焦主图像的背景虚化生成变焦虚化图像。由此，灵活的满足了多摄像头拍照时多种变焦倍数的拍摄需求，且保证了变焦后的成像清晰度。

基于以上实施例，为了使得本领域的发明人更加清楚的了解如何根据大小关系，在主摄像头和至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定变焦主摄像头的拍照模式，下面结合具体的示例进行说明：

作为一种可能的实现方式，至少一个副摄像头包括广角摄像头，其中，广角摄像头的等效变焦倍数为p。

在本实施例中，判断变焦倍数是否大于等于1小于n，其中，n为大于1的某个数值，该n可以根据预设拍照模式对应的图像传感器确定，该图像传感器的成像分辨率越高，则对应的n越大，n也可以根据主图像的清晰度确定，当主图像的清晰度越高，则对应的n越大，若变焦倍数大于等于1小于n，则表明此时主摄像头拍摄的图像作为主图像可最大程度的保证图像清晰度，因而，确定主摄像头为变焦主摄像头，并确定广角摄像头为变焦副摄像头。

此时，由于变焦倍数相对较小，变焦倍数下拍照主体与主摄像头拍摄的主图像相差不大，因而，尽量使得主摄像头原图输出作为主图像，即使用分辨率相对较低的第一拍照模式拍摄主图像，避免分辨率较大，需要对主图像裁剪后，导致裁剪后的变焦主图像难以满足对应的变焦倍数需求。

当变焦倍数大于n时，进一步确定是否还具有其他更高等效变焦倍数的摄像头，若没有，则可以提高变焦主图像的分辨率，将变焦主图像控制在第二拍摄模式拍摄，由此，对第二拍摄模式下拍摄的图像拍摄后，可以通过裁剪的方式得到更大等效变焦倍数的变焦主图像。

在发明的一个实施例中，当还具有其他更高等效变焦倍数的摄像头时，比如，至少一个副摄像头包括长焦摄像头，长焦摄像头的等效变焦倍数为q时，其中，q大于第二拍照模式的等效变焦倍数n，基于上述实施例，若变焦倍数大于等于所述第二拍照模式的等效变焦倍数n小于q，则确定主摄像头为变焦主摄像头，并确定广角摄像头为变焦副摄像头，由于此时变焦倍数相对较大，因此，为了提高变焦主图像的解析力，确定主摄像头的拍照模式为分辨率较高的第二拍照模式。

当然，参照上述实施例的分析，由于第一拍照模式的亮度比较高，可以弥补感光值的不足导致主图像噪点较多，因而，在确定主摄像头的拍照模式为第二拍照模式之前，还需要获取当前环境亮度值，比如，基于传感器获取，或者基于变焦主摄像头的iso来确定，如果确定当前环境亮度值满足预设条件，比如，当前环境亮度值大于等于预设阈值，又比如，当前环境亮度值持续大于预设阈值，则基于第二拍照模式拍摄，如果当前环境亮度值小于预设阈值，则确定主摄像头的拍照模式为第一拍照模式。其中，预设阈值可以根据摄像头的成像能力确定。

由此可见，在本发明的实施例中，选择拍照模式的参考因素除了变焦倍数之外，在变焦倍数与变焦主摄像头的等效变焦倍数差距较大的时候，可以参考环境亮度值来确定拍照模式。

在本实施例中，设置预设变焦倍数，该预设变焦倍数可以理解为主摄像头采集的副图像，结合主图像可以清晰获取到对齐的像素点的变焦倍数的临界值，若变焦倍数大于等于q小于预设变焦倍数，则表明此时主摄像头获取的主图像还可以参与虚化，确定长焦摄像头为变焦主摄像头，并确定主摄像头为所述变焦副摄像头，其中，由于长焦摄像头拍照的图像的变焦倍数相对较大，变焦倍数下拍照主体与长焦摄像头拍摄的主图像相差不大，因而，尽量使得长焦摄像头原图输出作为主图像，即使用分辨率相对较低的第一拍照模式拍摄主图像，避免分辨率较大，需要对主图像裁剪后，导致裁剪后的变焦主图像难以满足对应的变焦倍数需求。

当然，在本实施例中，也可以在定长焦摄像头的拍照模式为第一拍照模式之前，获取当前环境亮度值，并确定当前环境亮度值大于等于预设阈值，其中，为了计算方便，该预设阈值可以和判断上述主摄像头的预设阈值相同，或者，为了考虑不同摄像头之间感光度的差异性，该预设阈值也可以和判断上述主摄像头的预设阈值不同。

若变焦倍数大于等于预设变焦倍数，则表明主摄像头采集的副图像，结合主图像已经不可以清晰获取到对齐的像素点，即难以发现二者的视角重合区域，从而导致难以进行虚化，此时，确定长焦摄像头为变焦主摄像头和变焦副摄像头，也可以理解，将长焦摄像头拍摄的图像即作为主图像也作为副图像，进而，基于单摄虚化的方式实现虚化变焦图像的获取。即确定长焦摄像头的拍照模式为第一拍照模式，进而，识别主图像中的拍摄主体所在区域为变焦主图像，计算变焦主图像中的非拍摄主体所在区域的景深信息，比如，基于当前拍色的光圈等拍摄参数计算景深信息，根据景深信息虚化变焦主图像中的非拍摄主体所在区域生成初始变焦虚化图像，进而，根据变焦倍数裁切初始变焦虚化图像生成变焦虚化图像。在本实施例中，为了确保变焦主图像的清晰度，也可以使用第二拍照模式拍照变焦主图像，当然了，无论以哪种模式进行拍照，长焦摄像头必然设置有上述图像传感器。

由此，本发明实施例的变焦虚化图像获取方法，满足了多种变焦倍数的图像获取，打破了摄像头定焦的限制，且平衡了成像的清晰度。

为了使得本领域的技术人员更全面的了解本发明实施例的基于终端设备的变焦虚化图像获取方法，下面结合具体的应用场景进行说明：

在本应用场景中包括一个主摄像头和两个副摄像头，其中，副摄像头包括广角摄像头和长焦摄像头，其中，主摄像头的等效变焦倍数为1倍，简称1X，广角摄像头的等效变焦倍数为0.6倍，简称0.6X(p)，长焦摄像头的等效变焦倍数为3.0倍，简称3.0X(q)，本实施例中，n为2，假设变焦步进精度为0.1，图像传感器为如图1所示，直出成像大小为48M，预设变焦倍数为4。

具体而言，如图6所示，获取携带变焦倍数的变焦拍照指令，判断该变焦倍数是否为1、2或3，即判断变焦倍数是否为摄像头的等效变焦倍数，若不是，则判断该变焦倍数是否大于1小于2，判断变焦倍数是否为1-1.9，若是，则在预览阶段，控制广角摄像头和主摄像头工作在第一拍照模式，则显然四合一合并为合并像素单元后，输出的主图像的大小为12M，广角摄像头拍摄的副图像用于辅助计算深度图。

具体而言，基于主图像和副图像的重合视角部分的图像的像素点的视差计算深度图，根据深度图渲染得到1X背景虚化效果的预览变焦虚化图像，为了提高预览效率，1.1X～1.9X预览虚化效果通过对1X虚化效果对应的预览变焦虚化图像进行数码放大得到。

在拍照阶段，为提升成像清晰度，采用超分算法对主摄像头采集的多帧主图像进行画质增强，然后根据变焦倍数裁切对应视角的主摄图像。同时，选择主图像中的基准主图像，利用基准主图像与同步的广角摄像头拍摄的副图像计算深度图，根据深度图渲染裁切后的变焦主图像。

若变焦倍数大于等于2，则判断变焦倍数是都大于等于2小于3，即判断变焦倍数是否位于2-2.9之间，此时，在预览时，仍然使用上述对1X虚化效果的预览变焦虚化图像进行数码放大得到。在拍照阶段，主摄像头切换至第二拍照模式，此时，基于该模式得到的主图像为全尺寸的48M的大小，因而，我们可以裁剪画面中央1/4面积输出12M图像作为最终输出的主图像，以便于后续对该最终的主图像的裁切，比如，裁切画面中央1/4面积输出12M图像相当于光学变焦2X的效果，提高了2X时的主图像的解析力，在变焦倍数为2.1-2.9时，可采用超分算法对这摄像头输出的多帧主图像进行画质增强。

在本实施例中，考虑到此时广角摄像头与这摄像头的重叠的视角较小，为了提高景深的计算精度，要求广角摄像头的分辨率较高，比如，要到24M以上，比如，可以基于第二拍照模式拍摄副图像。

当然，在本实施例中，若环境亮度比较低，比如，说ISO>3200，则显然第二拍照模式的噪点会较多，因此，控制主摄像头工作在第一拍照模式下拍照，在本实施例中，可以通过超分算法提高拍摄的主图像的清晰度，当然，如果环境亮度较高，则可以基于第二拍照模式控制主摄像头拍摄主图像。

若变焦倍数大于等于3，则判断变焦倍数是否大于等于3小于等于4，即判断变焦倍数是否为3-3.9，若为3-3.9，则基于长焦摄像头作为变焦主摄像头输出主图像，主摄像头作为变焦副摄像头输出副图像，辅助计算深度图。

在预览阶段，主摄像头和长焦摄像头都工作在第一拍照模式，拍照阶段，若环境亮度比较高，大于预设阈值，则主摄像头和长焦摄像头都工作在第二拍照模式下，提高深度图和变焦主图像的成像精度，采用超分算法对主图像进行画质增强。

当环境亮度比较低时，即环境亮度小于预设阈值，则控制长焦摄像头和主摄像头工作在第一拍照模式，保证计算深度图的信噪比，降低变焦主图像的清噪点，同样的，可采用超分算法对主图像进行画质增强。

当变焦倍数大于若变焦倍数大于等于4，则获取长焦摄像头拍摄的主图像，对主图像进行超分计算后，采用单摄虚化方式生成初始虚化变焦图像，进而，基于变焦倍数裁剪初始虚化变焦图像生成对应的变焦虚化图像。

综上，本发明实施例的基于终端设备的变焦虚化图像获取方法，基于摄像头的拍照模式的灵活选择，确保拍摄的变焦主图像的清晰度，进而，基于对主图像的裁剪实现对应变焦倍数的变焦主图像的获取，提高了变焦主图像的图像解析力。

为了实现上述实施例，本发明还提出一种基于终端设备的变焦虚化图像获取装置。终端设备包括主摄像头和至少一个副摄像头，其中，主摄像头的等效变焦倍数为1。

图7为本发明实施例提供的一种基于终端设备的变焦虚化图像获取装置的结构示意图。

如图7所示，该基于终端设备的变焦虚化图像获取装置包括：获取模块100、判断模块200、确定模块300、拍摄模块400和处理模块500。

其中，获取模块100，用于获取携带变焦倍数的变焦拍照指令。

判断模块200，用于判断变焦倍数与主摄像头和至少一个副摄像头的等效变焦倍数的大小关系。

确定模块300，用于根据大小关系，在主摄像头和至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定变焦主摄像头的拍照模式。

预设拍照模式，包括：

第一拍照模式和第二拍照模式，其中，第一拍照模式下拍摄的主图像由多个合并像素单元组成，每个合并像素单元包括多个感光像素单元，每个合并像素单元的感光像素值根据多个感光像素单元的感光像素值之和获取；

第二拍照模式下拍摄的主图像通过对第一拍照模式下的主图像中每个合并像素单元的感光像素值插值得到。

拍摄模块400，用于控制变焦主摄像头根据拍照模式拍摄主图像，并控制变焦副摄像头拍摄副图像。

处理模块500，用于根据变焦倍数裁切主图像以获取变焦主图像，并根据副图像对变焦主图像的背景虚化生成变焦虚化图像。

进一步地，在本发明实施例的一种可能的实现方式中，至少一个副摄像头包括广角摄像头，其中，广角摄像头的等效变焦倍数为p，其中，p小于1，确定模块300，具体用于：判断变焦倍数是否大于等于1小于预设的n；

若变焦倍数大于等于1小于预设的n,则确定主摄像头为变焦主摄像头，并确定广角摄像头为变焦副摄像头；

确定主摄像头的拍照模式为第一拍照模式。

在本实施例中，确定模块400，具体用于：

若变焦倍数大于等于n，则判断变焦倍数是否小于q；

若变焦倍数小于q，则确定主摄像头为变焦主摄像头，并确定广角摄像头为变焦副摄像头；

确定主摄像头的拍照模式为第二拍照模式。

在本实施例中，确定模块400，还用于在确定主摄像头的拍照模式为第二拍照模式之前，获取当前环境亮度值，确定当前环境亮度值大于等于预设阈值。

需要说明的是，前述对基于终端设备的变焦虚化图像获取方法实施例的解释说明也适用于该实施例的基于终端设备的变焦虚化图像获取装置，此处不再赘述。

综上，本发明实施例的基于终端设备的变焦虚化图像获取装置，获取携带变焦倍数的变焦拍照指令，判断变焦倍数与主摄像头和至少一个副摄像头的等效变焦倍数的大小关系，根据大小关系，在主摄像头和至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定变焦主摄像头的拍照模式，进一步的，控制变焦主摄像头根据拍照模式拍摄主图像，并控制变焦副摄像头拍摄副图像，最后，根据变焦倍数裁切主图像以获取变焦主图像，根据副图像对变焦主图像的背景虚化生成变焦虚化图像。由此，灵活的满足了多摄像头拍照时多种变焦倍数的拍摄需求，且保证了变焦后的成像清晰度。

为了实现上述实施例，本发明还提出了一种终端设备，包括主摄像头和至少一个副摄像头，其中，主摄像头的等效变焦倍数为1，存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器与主摄像头和至少一个副摄像头连接，处理器执行计算机程序时，实现如前述实施例描述的基于终端设备的变焦虚化图像获取方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，使得能够实现如前述实施例描述的基于终端设备的变焦虚化图像获取方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (20)

1.一种基于终端设备的变焦虚化图像获取方法，其特征在于，所述终端设备包括主摄像头和至少一个副摄像头，其中，所述主摄像头的等效变焦倍数为1，所述方法包括以下步骤：

获取携带变焦倍数的变焦拍照指令；

判断所述变焦倍数与所述主摄像头和所述至少一个副摄像头的等效变焦倍数的大小关系；

根据所述大小关系，在所述主摄像头和所述至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定所述变焦主摄像头的拍照模式；

控制所述变焦主摄像头根据所述拍照模式拍摄主图像，并控制所述变焦副摄像头拍摄副图像；

根据所述变焦倍数裁切所述主图像以获取变焦主图像，并根据所述副图像对所述变焦主图像的背景虚化生成变焦虚化图像。

2.如权利要求1所述的方法，其特征在于，所述预设拍照模式，包括：

第一拍照模式和第二拍照模式，其中，所述第一拍照模式下拍摄的主图像由多个合并像素单元组成，每个合并像素单元包括多个感光像素单元，所述每个合并像素单元的感光像素值根据所述多个感光像素单元的感光像素值之和获取；

所述第二拍照模式下拍摄的主图像通过对所述第一拍照模式下的主图像中每个合并像素单元的感光像素值插值得到。

3.如权利要求2所述的方法，其特征在于，所述至少一个副摄像头包括广角摄像头，其中，所述广角摄像头的等效变焦倍数为p，其中，p小于1，所述根据所述大小关系，在所述主摄像头和所述至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定所述变焦主摄像头的拍照模式，包括：

判断所述变焦倍数是否大于等于1小于预设的n；

若所述变焦倍数大于等于1小于n,则确定所述主摄像头为所述变焦主摄像头，并确定所述广角摄像头为所述变焦副摄像头；

确定所述主摄像头的拍照模式为所述第一拍照模式。

4.如权利要求3所述的方法，其特征在于，所述至少一个副摄像头包括长焦摄像头，所述长焦摄像头的等效变焦倍数为q，其中，q大于n，在所述判断所述变焦倍数是否大于等于1小于预设的n之后，还包括：

若所述变焦倍数大于等于n，则判断所述变焦倍数是否小于q；

若所述变焦倍数小于q，则确定所述主摄像头为所述变焦主摄像头，并确定所述广角摄像头为所述变焦副摄像头；

确定所述主摄像头的拍照模式为所述第二拍照模式。

5.如权利要求4所述的方法，其特征在于，在所述确定所述主摄像头的拍照模式为所述第二拍照模式之前，还包括：

获取当前环境亮度值；

当所述当前环境亮度值满足预设条件时，确定所述主摄像头的拍照模式为所述第二拍照模式。

6.如权利要求5所述的方法，其特征在于，在所述获取当前环境亮度值之后，还包括：

若所述当前环境亮度值小于预设阈值，则确定所述主摄像头的拍照模式为所述第一拍照模式。

7.如权利要求4所述的方法，其特征在于，在所述则判断所述变焦倍数是否小于q之后，还包括：

若所述变焦倍数大于等于q，则判断所述变焦倍数是否小于预设变焦倍数；

若所述变焦倍数小于所述预设变焦倍数，则确定所述长焦摄像头为所述变焦主摄像头，并确定所述主摄像头为所述变焦副摄像头；

确定所述长焦摄像头的拍照模式为所述第一拍照模式。

8.如权利要求7所述的方法，其特征在于，在所述确定所述长焦摄像头的拍照模式为所述第一拍照模式之前，还包括：

获取当前环境亮度值；

当所述当前环境亮度值大于等于预设阈值时，确定所述长焦摄像头的拍照模式为所述第一拍照模式。

9.如权利要求7所述的方法，其特征在于，在所述则判断所述变焦倍数是否小于预设变焦倍数之后，还包括：

若所述变焦倍数大于等于所述预设变焦倍数，则确定所述长焦摄像头为所述变焦主摄像头和所述变焦副摄像头；

确定所述长焦摄像头的拍照模式为所述第二拍照模式。

10.如权利要求9所述的方法，其特征在于，所述根据所述变焦倍数裁切所述主图像以获取变焦主图像，并根据所述副图像对所述变焦主图像的背景虚化生成变焦虚化图像，包括：

识别所述主图像中的拍摄主体所在区域为所述变焦主图像；

计算所述变焦主图像中的非所述拍摄主体所在区域的景深信息；

根据所述景深信息虚化所述变焦主图像中的非所述拍摄主体所在区域生成初始变焦虚化图像；

根据所述变焦倍数裁切所述初始变焦虚化图像生成所述变焦虚化图像。

11.如权利要求1所述的方法，其特征在于，所述控制所述变焦主摄像头根据所述拍照模式拍摄主图像，包括：

控制所述变焦主摄像头根据所述拍照模式拍摄连续的多帧主图像；

在所述根据所述变焦倍数裁切所述主图像以获取变焦主图像之前，包括：

对所述多帧主图像合成生成一帧主图像。

12.如权利要求1所述的方法，其特征在于，在所述根据所述变焦倍数裁切所述主图像以获取变焦主图像之前，包括：

根据预设算法对所述主图像进行插值计算获取计算后的所述主图像。

13.如权利要求1所述的方法，其特征在于，所述并控制所述变焦副摄像头拍摄副图像，包括：

控制所述变焦副摄像头根据所述拍照模式拍摄所述副图像。

14.一种基于终端设备的变焦虚化图像获取装置，其特征在于，所述终端设备包括主摄像头和至少一个副摄像头，其中，所述主摄像头的等效变焦倍数为1，所述装置，包括：

获取模块，用于获取携带变焦倍数的变焦拍照指令；

判断模块，用于判断所述变焦倍数与所述主摄像头和所述至少一个副摄像头的等效变焦倍数的大小关系；

确定模块，用于根据所述大小关系，在所述主摄像头和所述至少一个副摄像头中确定变焦主摄像头和变焦副摄像头以及在预设拍照模式中确定所述变焦主摄像头的拍照模式；

拍摄模块，用于控制所述变焦主摄像头根据所述拍照模式拍摄主图像，并控制所述变焦副摄像头拍摄副图像；

处理模块，用于根据所述变焦倍数裁切所述主图像以获取变焦主图像，并根据所述副图像对所述变焦主图像的背景虚化生成变焦虚化图像。

15.如权利要求14所述的装置，其特征在于，所述预设拍照模式，包括：

第一拍照模式和第二拍照模式，其中，所述第一拍照模式下拍摄的主图像由多个合并像素单元组成，每个合并像素单元包括多个感光像素单元，所述每个合并像素单元的感光像素值根据所述多个感光像素单元的感光像素值之和获取；

所述第二拍照模式下拍摄的主图像通过对所述第一拍照模式下的主图像中每个合并像素单元的感光像素值插值得到。

16.如权利要求15所述的装置，其特征在于，所述至少一个副摄像头包括广角摄像头，其中，所述广角摄像头的等效变焦倍数为p，其中，p小于1，所述确定模块，具体用于：判断所述变焦倍数是否大于等于1小于预设的n；

若所述变焦倍数大于等于1小于n,则确定所述主摄像头为所述变焦主摄像头，并确定所述广角摄像头为所述变焦副摄像头；

确定所述主摄像头的拍照模式为所述第一拍照模式。

17.如权利要求16所述的装置，其特征在于，所述确定模块，具体用于：

若所述变焦倍数大于等于n，则判断所述变焦倍数是否小于q；

若所述变焦倍数小于q，则确定所述主摄像头为所述变焦主摄像头，并确定所述广角摄像头为所述变焦副摄像头；

确定所述主摄像头的拍照模式为所述第二拍照模式。

18.如权利要求17所述的装置，其特征在于，所述确定模块，还用于：

在确定所述主摄像头的拍照模式为所述第二拍照模式之前，获取当前环境亮度值，确定所述当前环境亮度值大于等于预设阈值。

19.一种终端设备，其特征在于，包括主摄像头和至少一个副摄像头，其中，所述主摄像头的等效变焦倍数为1，存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器与所述主摄像头和至少一个副摄像头连接，所述处理器执行所述计算机程序时，实现如权利要求1-13中任一所述的基于终端设备的变焦虚化图像获取方法。

20.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-13中任一所述的基于终端设备的变焦虚化图像获取方法。

Images