CN109803087B - 一种图像生成方法及终端设备 - Google Patents

Abstract

本发明实施例公开了一种图像生成方法及终端设备，该方法包括：分别控制第一摄像头以第一帧率输出至少一个第一图像帧以及第二摄像头以第二帧率输出至少一个第二图像帧；分别确定至少一个第一图像帧中的第一目标图像帧和至少一个第二图像帧中的第二目标图像帧；对第一目标图像帧和第二目标图像帧进行虚化处理，输出目标图像；其中，第一帧率大于第二帧率。本发明实施例解决了终端设备在双摄虚化过程中耗电过多的问题。

Description

一种图像生成方法及终端设备

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种图像生成方法及终端设备。

背景技术

单反相机的虚化是通过调节镜头的光圈实现，光圈越大景深越小，虚化的程度越高。相对于单反相机镜头，目前市场上绝大多数终端设备如手机摄像头的光圈都非常小，无法直接通过硬件使手机的预览和拍照拥有虚化的效果，因此，绝大部分手机都是通过双摄像头来进行软件上的虚化，双摄虚化算法的原理是通过将两个摄像头输出的图像堆叠到一起，计算出图像的景深信息，然后模糊掉前景和背景，达到虚化的效果。其中，双摄虚化的流程可参见图1，步骤102、104、106均为双摄算法的处理过程。

由于双摄虚化过程需要两颗摄像头进行实时工作，因此，相对于单颗摄像头而言，双摄虚化中的两颗摄像头工作的功耗就增加了一倍，并且再考虑到双摄虚化算法引入的功耗，当用户打开手机的双摄功能时，手机的耗电会增加过多。

发明内容

本发明实施例提供一种图像生成方法及终端设备，以解决终端设备在双摄虚化过程中耗电过多的问题。

为解决上述技术问题，本发明是这样实现的：

第一方面，提供了一种图像生成方法，包括：

分别控制第一摄像头以第一帧率输出至少一个第一图像帧以及第二摄像头以第二帧率输出至少一个第二图像帧；

分别确定所述至少一个第一图像帧中的第一目标图像帧和所述至少一个第二图像帧中的第二目标图像帧；

对所述第一目标图像帧和所述第二目标图像帧进行虚化处理，输出目标图像；

其中，所述第一帧率大于所述第二帧率。

第二方面，提供了一种终端设备，包括：

控制单元，用于分别控制第一摄像头以第一帧率输出至少一个第一图像帧以及第二摄像头以第二帧率输出至少一个第二图像帧，所述第二帧率小于所述第一帧率；

图像帧确认单元，用于分别确定所述至少一个第一图像帧中的第一目标图像帧和所述至少一个第二图像帧中的第二目标图像帧；

图像生成单元，用于对所述第一目标图像帧和所述第二目标图像帧进行虚化处理，输出目标图像。

第三方面，还提供一种计算机可读介质，所述计算机可读介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。

在本发明实施例中，图像生成方法分别控制第一摄像头以第一帧率输出至少一个第一图像帧以及控制第二摄像头以低于第一帧率的第二帧率输出至少一个第二图像帧，并分别确定至少一个第一图像帧中的第一目标图像帧和至少一个第二图像帧中的第二目标图像帧，从而(一般在检测到用户输入用于触发图像采集指令的操作之前)对第一目标图像帧和第二目标图像帧进行虚化处理，以输出目标图像。如此，由于在开启两个摄像头后，在第一摄像头输出至少一个第一图像帧后第二摄像头才开始输出第二图像帧(第一帧率大于第二帧率)，因此，第二摄像头的功耗可以得到降低，并且对第一摄像头和第二摄像头输出的图像帧进行虚化处理的功耗可以得到降低，从而解决了终端设备在双摄虚化过程中耗电过多的问题。

附图说明

图1是现有技术中的终端设备的双摄虚化的示意性流程图；

图2是根据本发明一个实施例的图像生成方法的示意性流程图；

图3是根据本发明另一个实施例的图像生成方法的示意性流程图；

图4是根据本发明再一个实施例的图像生成方法的示意性流程图；

图5是根据本发明再一个实施例的图像生成方法的示意性流程图；

图6是根据本发明一个具体实施例的图像生成方法的示意性流程图；

图7是根据本发明另一个具体实施例的图像生成方法的示意性流程图；

图8是根据本发明一个实施例的终端设备的示意性结构框图；

图9是根据本发明另一个实施例的终端设备的示意性结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图，详细说明本发明各实施例提供的技术方案。

图2是根据本发明一个实施例的图像生成方法的示意性流程图，以解决终端设备在双摄虚化过程中耗电过多的问题。本发明实施例的图像生成方法可包括：

步骤202.分别控制第一摄像头以第一帧率输出至少一个第一图像帧以及第二摄像头以第二帧率输出至少一个第二图像帧。其中，第一帧率大于第二帧率。

当打开终端设备的虚化功能后，会自动开启第一摄像头和第二摄像头，此时，第一摄像头开始以第一帧率输出至少一个第一图像帧，而第二摄像头不会同时与第一摄像头输出图像帧，而是以第二帧率(低于第一帧率)输出至少一个第二图像帧，也就是说，第二摄像头是在第一摄像头输出至少一个第一图像帧之后，才开始输出第二图像帧。

其中，控制第二摄像头以第二帧率输出至少一个第二图像帧，包括：

控制第一摄像头每次输出一个第一图像帧时向第二摄像头发送一个同步信号；

控制第二摄像头每累计接收到M个来自于第一摄像头的同步信号，输出一个第二图像帧，且重新开始统计接收到的同步信号的数量，M的数值为第一帧率与第二帧率的比值。

即，可将第一摄像头(主摄)与第二摄像头(副摄)的硬件信号连接，即主摄每次输出一帧数据都会发送一个同步sync信号到副摄，假设副摄的帧率需要定为主摄的一半，则当副摄收到两个同步信号时就输出一帧图像，此时，M的数值为2。如此，从硬件上可以保证主摄每次输出的两帧中有一帧同副摄是对应到同一时刻的。

步骤204.分别确定至少一个第一图像帧中的第一目标图像帧和至少一个第二图像帧中的第二目标图像帧。

步骤206.对第一目标图像帧和第二目标图像帧进行虚化处理，输出目标图像。

如此，由于在第一摄像头输出至少一个第一图像帧后第二摄像头才开始输出第二图像帧(第一帧率大于第二帧率)，从而(一般在检测到用户输入用于触发图像采集指令的操作之前)对第一目标图像帧和第二目标图像帧进行虚化处理，以输出目标图像，因此，第二摄像头的功耗可以得到降低，并且对第一摄像头和第二摄像头输出的图像帧进行虚化处理的功耗可以得到降低，从而可以解决终端设备在双摄虚化过程中耗电过多的问题。

在上述实施例中，如图3所示，第一图像帧和第二图像帧均为至少两个，对第一目标图像帧和第二目标图像帧进行虚化处理的操作可包括：

步骤302.确定至少两个第一图像帧中的至少一个第一目标图像帧。

步骤304.确定至少两个第二图像帧中的至少一个第二目标图像帧。其中，至少一个第二目标图像帧中的第i个第二目标图像帧与至少一个第一目标图像帧中的第i个第一目标图像帧的生成时刻的差值小于或等于预设时间差阈值，i＝1,…N,N为第一目标图像帧和第二目标图像帧的数量。

由于第一摄像头输出至少两个第一图像帧，至少两个第一图像帧会携带有时间戳，即每一帧图像生成的时间。同理，第二摄像头输出至少两个第二图像帧，至少两个第二图像帧也会携带有时间戳，即每一帧图像生成的时间。

当两个图像帧的生成时间的差值在预设时间差阈值内，则可表示两个图像帧同步。比如，假设存在两个摄像头分别输出图像帧，则，两个摄像头输出的每一帧图像都对应于同一时刻(误差小于如3ms)可表示两个摄像头的帧同步。即，图像帧之间是否同步可通过每一帧图像的timestamp(图像帧生成时间)进行判断。

而虚化(或双摄虚化)的过程并不要求两个摄像头(即第一摄像头和第二摄像头)输出图像的帧率相同，只要输入到双摄虚化的两个图像帧同步即可。因此，可从第一摄像头输出的至少两个第一图像帧中确定出至少一个第一目标图像帧，并从第二摄像头输出的至少两个第二图像帧中确定出至少一个第二目标图像帧，当然，所确定的第一目标图像帧和第二目标图像帧同步(即第一目标图像帧和第二目标图像帧的生成时刻的差值小于或等于预设时间差阈值)，以在后续对第一目标图像帧和第二目标图像帧进行双摄虚化做铺垫。

步骤306.对第i个第二目标图像帧和第i个第一目标图像帧进行虚化处理，并对至少两个第一图像帧中除第一目标图像帧外的第一图像帧进行虚化处理。

当确定好第i个第二目标图像帧和第i个第一目标图像帧同步后，可对第i个第二目标图像帧和第i个第一目标图像帧进行虚化处理。当然，第一摄像头输出的多个第一图像帧中也有部分图像帧可能与第二摄像头输出的所有图像帧均不匹配，因此，对于至少两个第一图像帧中与第二摄像头输出的所有图像帧均不匹配的图像帧(即多个第一图像帧中除目标第一图像帧外的第一图像帧)，则可单独对至少两个第一图像帧中与第二摄像头输出的所有图像帧均不匹配的图像帧进行虚化处理。

即，在检测到用户输入用于触发图像采集指令的操作之前，可同时对第i个第二目标图像帧和第i个第一目标图像帧(第i个第二目标图像帧和第i个第一目标图像帧同步)进行双摄虚化处理，并且单独对多个第一图像帧中除第一目标图像帧外的第一图像帧进行虚化处理，以形成多个目标图像。

如此，在检测到用户输入用于触发图像采集指令的操作之前，对第一摄像头和第二摄像头输出的图像帧(至少两个第一图像帧和至少两个第二图像帧)进行虚化处理的功耗可以得到降低，从而可以解决终端设备在双摄虚化过程中耗电过多的问题。

如图4所示，本发明实施例的方法还可包括：

步骤402.接收用户的第一输入。

步骤404.响应于第一输入，确定至少一个第一图像帧中的第一目标图像帧。

步骤406.接收用户的第二输入。

步骤408.响应于第二输入，确定至少一个第二图像帧中的第二目标图像帧。其中，第一目标图像帧与第二目标图像帧的生成时刻之间的时间差小于或等于预设时间差阈值，且第一生成时刻与第二生成时刻之间的差值大于预设时间差阈值。第一生成时刻为第一目标图像帧的生成时刻与操作的输入时刻之间的任一第一图像帧的生成时刻，第二生成时刻为第二目标图像帧的生成时刻与操作的输入时刻之间的任一第二图像帧的生成时刻。

步骤410.对第一目标图像帧和第二目标图像帧进行虚化处理，输出目标图像。

应理解，比如在检测到用户点击拍照后，可从第一摄像头输出的至少一个第一图像帧和第二摄像头输出的至少一个第二图像帧的最新的图像帧(即输出时间比较晚或最晚)中选择出匹配的两个图像帧。需要说明的是，第一摄像头输出时间最晚的图像帧和第二摄像头输出时间最晚的图像帧可能并不匹配，则从多个第一图像帧中输出时间略早的图像帧中确定出与多个第二图像帧中输出时间最晚或较晚的第二目标图像帧相匹配(即同步)的第一目标图像帧，以对第一目标图像帧和第二目标图像帧进行双摄虚化处理得到目标图像。

比如说，按照时间顺序，第一摄像头输出的多个第一图像帧分别为(……a₁,a₂,a₃),第二摄像头输出的多个第二图像帧分别为(……b₁,b₂,b₃)，则检测到用户点击拍照后，先比较第一图像帧a₃与第二图像帧b₃是否匹配，如果匹配成功，则直接对第一图像帧a₃与第二图像帧b₃进行双摄虚化处理；如果匹配失败，则按照(a₃，b₂)，(a₃，b₁)，(a₂，b₃)，(a₂，b₂)，(a₂，b₁)，(a₁，b₃)，(a₁，b₂)，(a₁，b₁)的顺序依次确定对应的图像帧是否匹配。如果其中匹配的图像帧分别是a₁和b₁，以及a₃和b₂，则最后确定第一图像帧a₃为第一目标图像帧，b₂为第二目标图像帧。

如此，在检测到用户输入用于触发图像采集指令的操作之后，对第一摄像头和第二摄像头输出的图像帧(第一目标图像帧和第二目标图像帧)进行双摄虚化处理的功耗可以得到降低，从而可以解决终端设备在双摄虚化过程中耗电过多的问题。

考虑到摄像头每输出一帧图像后，需要经过图像格式转换模块IFE等一系列模块的处理后，才能发送到算法用于合成。这些中间模块的处理时间并非是固定的，为了保证经过算法处理后得到的图像是同步的。需要在算法前增加两个缓存(即第一内存队列和第二内存队列)，一个用于缓存主摄输出的图像，一个用于缓存副摄输出的图像。在缓存里面通过图像帧的时间戳(时间戳是帧的生成时间)进行匹配，在匹配成功后送往算法用于合成。

因此，在上述任一项实施例中，如图5所示，对第一目标图像帧和第二目标图像帧进行虚化处理，输出目标图像的操作可包括：

步骤502.分别对第一摄像头输出的至少一个第一图像帧和第二摄像头输出的至少一个第二图像帧进行处理，得到至少一个第一预览图像帧和至少一个第二预览图像帧。

其中，可控制图像格式转换模块分别对第一摄像头输出的至少一个第一图像帧和第二摄像头输出的至少一个第二图像帧进行处理。图像格式转换模块也称作图像处理模块IFE，其是相机处理流程中的一个硬件模块，该模块包含有很多子模块，集成在845芯片上，任何摄像头输出的数据一般都需要经过IFE硬件的处理。

步骤504.将至少一个第一预览图像帧存储至第一摄像头的第一内存队列中，并将至少一个第二预览图像帧存储至第二摄像头的第二内存队列中。

应理解，摄像头输出的图像帧的格式为RAW格式，当通过图像格式转换模块进行转换后可得到预览YUV格式。将得到的至少一个第一预览图像帧和至少一个第二预览图像帧分别存储至第一内存队列和第二内存队列中，以在缓存队列中根据预览图像帧的时间关系进行匹配判断。

步骤506.分别确定至少一个第一预览图像帧中的第一目标图像帧和至少一个第二预览图像帧中的第二目标图像帧。

步骤508.对第一目标图像帧和第二目标图像帧进行虚化处理，输出目标图像。

如此，由于在第一摄像头输出至少一个第一图像帧后第二摄像头才开始输出第二图像帧(第一帧率大于第二帧率)，从而在检测到用户输入用于触发图像采集指令的操作之前，在缓存队列中根据预览图像帧的时间关系进行匹配判断，以确定出至少一个第一预览图像帧中的第一目标图像帧和至少一个第二预览图像帧中的第二目标图像帧，从而对第一目标图像帧和第二目标图像帧进行虚化处理，得到目标图像，因此，第二摄像头的功耗可以得到降低，并且对第一摄像头和第二摄像头输出的预览图像帧进行虚化处理的功耗可以得到降低，从而可以解决终端设备在双摄虚化过程中耗电过多的问题。

当将至少一个第一预览图像帧存储至第一摄像头的第一内存队列中，并将至少一个第二预览图像帧存储至第二摄像头的第二内存队列中后，可在缓存队列中对其中的图像帧的匹配关系进行确定。比如，在检测到用户输入用于触发图像采集指令的操作之前，可从第一内存队列和第二内存队列中最旧(输出时间最早)的一个图像帧开始，依次对第一内存队列中的第一预览图像帧和第二内存队列中的第二预览图像帧进行匹配确定。

若第一内存队列中的第i个第一预览图像帧与第二内存队列中的第j个第二预览图像帧匹配成功，则对第一内存队列中的第i个第一预览图像帧和第二内存队列中的第j个第二预览图像帧进行双摄虚化处理以形成目标图像，并删除第一内存队列中的第i个第一预览图像帧和第二内存队列中的第j个第二预览图像帧。若第一内存队列中的第i个第一预览图帧像与第二内存队列中的第j个第二预览图帧像匹配失败，则对第一内存队列中的第i个第一预览图像帧进行双摄虚化处理以形成目标图像，并删除第一内存队列中的第i个第一预览图像帧。

即在第一内存队列中的第i个第一预览图像帧和第二内存队列中的第j个第二预览图像帧匹配未成功的情况下，只对第一内存队列中的第i个第一预览图像帧进行双摄虚化处理，而第二内存队列中的第j个第二预览图像帧仍在缓存中，以在下一次匹配判断中与第一内存队列中的其他第一预览图像帧进行匹配关系确定。

当然，在检测到用户输入用于触发图像采集指令的操作之后，

可从第一内存队列和第二内存队列中最新(输出时间最晚)的一个图像帧开始，依次对第一内存队列中的第一预览图像帧和第二内存队列中的第二预览图像帧进行匹配确定。需要说明的是，第一摄像头输出时间最晚的图像帧和第二摄像头输出时间最晚的图像帧可能并不匹配，则从多个第一预览图像帧中输出时间略早的预览图像帧中确定出与多个第二预览图像帧中输出时间最晚或较晚的第二目标图像帧相匹配(即同步)的第一目标图像帧，以对第目标一图像帧和第二目标图像帧进行双摄虚化处理得到目标图像。具体原理可参见图4实施例所述的内容。

如此，用户在使用虚化功能时，使第二摄像头的帧率可降低为第一摄像头的一半(或三分之一、四分之一、五分之一等等)，可以在保证图像虚化的效果的基础上，极大地改善终端设备的功耗(手机耗电变低，不容易发热)，提升用户的使用体验。

需要说明的是，上述实施例所提供方法的各步骤的一些执行主体可以是同一设备，或者，该方法也可由不同设备作为执行主体。比如，步骤S202、S204的执行主体可以为同一个执行主体，而步骤S206的执行主体则可以为另一执行主体(如控制单元)；又比如，步骤S202、S204、S206的执行主体均可以为同一个执行主体等等。

在一个具体的实施例中，如图6所示，图像生成方法的实现过程可以为：

首先，打开虚化功能后，会自动开启摄像头Sensor1和摄像头Sensor2。Sensor1开始输出至少一个第一图像帧，每一帧来自Sensor1的图像帧开始输出时都会在硬件层发送一个同步信号到Sensor2；而Sensor2被开启后，不会立即输出图像帧，是否输出图像帧则由收到的来自Sensor1的同步信号决定。其中，Sensor2每次收到两个同步信号时开始输出第二图像帧，并将所接收的同步信号的数量置为0。

第二，将Sensor1输出的至少一个第一图像帧送往IFE进行模块化的处理，IFE处理完成后得到至少一个第一预览图像帧，将至少一个第一预览图像帧缓存到第一内存队列Queue1；Sensor2输出的至少一个第二图像帧送往IFE进行模块化的处理，IFE处理完成后得到至少一个第二预览图像帧，将至少一个第二预览图像帧缓存到第二内存队列Queue2。

第三，内存队列Queue1和Queue2分别存储了来自Sensor1和Sensor2的输出图像帧，每一个图像帧都会带有一个timestamp，每次在两个队列里面各选出最旧的图像帧，通过timestamp进行匹配，若timestamp的差值小于指定的阈值(比如3ms)，则匹配成功，否则匹配失败。

第四，匹配成功后会送分别来自Sensor1和Sensor2的两个图像帧数据到双摄虚化算法。进行视场角裁剪(由于两个摄像头的位置并不会完全一样，因此，需要对预览图像帧进行裁剪，使两个摄像头的图像帧保持相同)、景深信息计算、图像合成等处理。匹配失败则只送Sensor1的一个图像帧到虚化算法进行处理。其中，景深表示相机聚焦完成后，在焦点前后范围能都能形成清晰的图像，这一前一后的距离范围称为景深，景深越小，背景和前景的越模糊。

第五，当虚化算法处理完成后，会输出一帧YUV数据，这帧YUV数据就是经过算法处理后，对前景和背景有一定程度模糊的目标图像。

第六，将yuv格式的目标图像使用相关的格式转换和编码算法转换成JPEG图像，并输出到预览界面。此时，用户观察到的每一帧图像都带有虚化之后的效果。

由此可见，在使用虚化功能时，使第二摄像头的帧率可降低为第一摄像头的一半(或三分之一、四分之一、五分之一等等)，可以在保证图像虚化的效果的基础上，极大地改善终端设备的功耗(手机耗电变低，不容易发热)，提升用户的使用体验。

在另一个具体的实施例中，如图7所示，图像生成方法的实现过程可以为：

第一，打开虚化功能后，会自动开启摄像头Sensor1和摄像头Sensor2。Sensor1开始输出第一图像帧，每一帧来自Sensor1的图像帧开始输出时都会在硬件层发送一个同步信号到Sensor2；而Sensor2被开启后，不会立即输出图像帧，是否输出图像帧则由收到的来自Sensor1的同步信号决定。其中，Sensor2每次收到两个同步信号时开始输出第二图像帧，并将所接收的同步信号的数量置为0。

第二，Sensor1输出的至少一个第一图像帧送往IFE进行模块化的处理，IFE处理完成后得到至少一个第一预览图像帧，将至少一个第一预览图像帧缓存到队列Queue1。Sensor2输出的至少一个第二图像帧送往IFE进行模块化的处理，IFE处理完成后得到至少一个第二预览图像帧，将至少一个第二预览图像帧缓存到队列Queue2。

第三，当检测到用户点击拍照后，在队列Queue1和Queue2中选取最新并且timestamp的差值在指定阈值内的两个预览图像帧。

第四，将分别来自Sensor1和Sensor2的两个预览图像帧输入至双摄虚化算法模块，进行视场角裁剪、景深信息计算、图像合成等处理。

第五，当虚化算法处理完成后，会输出一帧YUV数据，这帧YUV数据就是经过算法处理后，对前景和背景有一定程度模糊的目标图像。

第六，将YUV格式的目标图像使用相关的格式转换和编码算法转换成JPEG图像，并保存到本地。

如此，用户在使用虚化拍照功能时，副摄的帧率降低为主摄的一般，可以在极大地改善功耗的前提下，点击拍照后得到的照片，其虚化效果同之前的方式保持一致，提升了用户的使用体验。

本发明实施例还提供一种终端设备，如图8所示，该终端设备可包括控制单元802，用于分别控制第一摄像头以第一帧率输出至少一个第一图像帧以及第二摄像头以第二帧率输出至少一个第二图像帧，第二帧率小于第一帧率；图像帧确认单元804，用于分别确定至少一个第一图像帧中的第一目标图像帧和至少一个第二图像帧中的第二目标图像帧；图像生成单元806，用于对第一目标图像帧和第二目标图像帧进行虚化处理，输出目标图像。

其中，控制单元802用于控制第一摄像头每次输出一个第一图像帧时向第二摄像头发送一个同步信号，并控制第二摄像头每接收到M个来自于第一摄像头的同步信号，输出一个第二图像帧，且重新开始统计接收到的同步信号的数量，M的数值为第一帧率与第二帧率的比值。

由于本发明实施例的终端设备在开启第一摄像头和第二摄像头之后先通过控制单元802控制第一摄像头以第一帧率输出至少一个第一图像帧，并控制第二摄像头以低于第一帧率的第二帧率输出至少一个第二图像帧，然后通过图像帧确认单元804分别确定至少一个第一图像帧中的第一目标图像帧和至少一个第二图像帧中的第二目标图像帧，并通过图像生成单元806对第一目标图像帧和第二目标图像帧进行虚化处理，以得到目标图像。如此，由于在开启两个摄像头后，在第一摄像头输出至少一个第一图像帧后第二摄像头才开始输出第二图像帧(第一帧率大于第二帧率)，因此，第二摄像头的功耗可以得到降低，并且对第一摄像头和第二摄像头输出的图像帧进行虚化处理的功耗可以得到降低，从而解决了终端设备在双摄虚化过程中耗电过多的问题。

在上述实施例中，第一图像帧和第二图像帧均为至少两个。图像帧确认单元804还用于确定至少两个第一图像帧中的至少一个第一目标图像帧，并确定至少两个第二图像帧中的至少一个第二目标图像帧；图像生成单元806用于对第i个第二目标图像帧和第i个第一目标图像帧进行虚化处理，并对多个第一图像帧中除第一目标图像帧外的第一图像帧进行虚化处理，输出目标图像。其中，至少一个第二目标图像帧中的第i个第二目标图像帧与至少一个第一目标图像帧中的第i个第一目标图像帧的生成时刻的差值小于或等于预设时间差阈值，i＝1,…N,N为第一目标图像帧和第二目标图像帧的数量。

应理解，在检测到用户输入用于触发图像采集指令的操作之前，同时对第i个第二目标图像帧和第i个第一目标图像帧(第i个第二目标图像帧和第i个第一目标图像帧同步)进行双摄虚化处理，并且单独对多个第一图像帧中除第一目标图像帧外的第一图像帧进行虚化处理，以形成多个目标图像。

如此，在检测到用户输入用于触发图像采集指令的操作之前，对第一摄像头和第二摄像头输出的图像帧(至少两个第一图像帧和至少两个第二图像帧)进行虚化处理的功耗可以得到降低，从而可以解决终端设备在双摄虚化过程中耗电过多的问题。

在上述进一步的实施例中，终端设备还包括接收单元808，接收用户的第一输入和接收用户的第二输入；图像帧确认单元804还用于响应于第一输入确定至少一个第一图像帧中的第一目标图像帧，并响应于第二输入确定至少一个第二图像帧中的第二目标图像帧。其中，第一目标图像帧与第二目标图像帧的生成时刻之间的时间差小于或等于预设时间差阈值，且第一生成时刻与第二生成时刻之间的差值大于预设时间差阈值。图像生成单元804用于对第一目标图像和第二目标图像进行处理，输出目标图像。其中，第一生成时刻为第一目标图像帧的生成时刻与操作的输入时刻之间的任一第一图像帧的生成时刻，第二生成时刻为第二目标图像帧的生成时刻与操作的输入时刻之间的任一第二图像帧的生成时刻。

如此，在检测到用户输入用于触发图像采集指令的操作之后，对第一摄像头和第二摄像头输出的图像帧(第一目标图像帧和第二目标图像帧)进行双摄虚化处理的功耗可以得到降低，从而可以解决终端设备在双摄虚化过程中耗电过多的问题。

在上述任一项实施例中，控制单元802还用于分别对第一摄像头输出的至少一个第一图像帧和第二摄像头输出的至少一个第二图像帧进行处理，得到至少一个第一预览图像帧和至少一个第二预览图像帧，并将至少一个第一预览图像帧存储至第一摄像头的第一内存队列中，并将至少一个第二预览图像帧存储至第二摄像头的第二内存队列中。图像帧确认单元804用于分别确定至少一个第一预览图像帧中的第一目标图像帧和至少一个第二预览图像帧中的第二目标图像帧。图像生成单元806用于对第一目标图像帧和第二目标图像帧进行虚化处理，得到目标图像。

如此，由于在第一摄像头输出至少一个第一图像帧后第二摄像头才开始输出第二图像帧(第一帧率大于第二帧率)，从而在检测到用户输入用于触发图像采集指令的操作之前，在缓存队列中根据预览图像帧的时间关系进行匹配判断，以确定出至少一个第一预览图像帧中的第一目标图像帧和至少一个第二预览图像帧中的第二目标图像帧，从而对第一目标图像帧和第二目标图像帧进行虚化处理，得到目标图像，因此，第二摄像头的功耗可以得到降低，并且对第一摄像头和第二摄像头输出的预览图像帧进行虚化处理的功耗可以得到降低，从而可以解决终端设备在双摄虚化过程中耗电过多的问题。

图9为实现本发明实施例的终端设备的硬件结构示意图。如图9所示，该终端设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、处理器910、以及电源911等部件。本领域技术人员可以理解，图9中示出的终端设备结构并不构成对终端设备的限定，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，终端设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器910，用于执行以下步骤：

分别控制第一摄像头以第一帧率输出至少一个第一图像帧以及第二摄像头以第二帧率输出至少一个第二图像帧；

分别确定所述至少一个第一图像帧中的第一目标图像帧和所述至少一个第二图像帧中的第二目标图像帧；

对所述第一目标图像帧和所述第二目标图像帧进行虚化处理，输出目标图像；

其中，所述第一帧率大于所述第二帧率。

如此，由于在第一摄像头输出至少一个第一图像帧后第二摄像头才开始输出第二图像帧(第一帧率大于第二帧率)，从而在检测到用户输入用于触发图像采集指令的操作之前，对分别确定的至少一个第一图像帧中的第一目标图像帧和至少一个第二图像帧中的第二目标图像帧进行虚化处理，以得到多个目标图像，因此，第二摄像头的功耗可以得到降低，并且对第一摄像头和第二摄像头输出的图像帧进行虚化处理的功耗可以得到降低，从而可以解决终端设备在双摄虚化过程中耗电过多的问题。

应理解的是，本发明实施例中，射频单元901可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器910处理；另外，将上行的数据发送给基站。通常，射频单元901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元901还可以通过无线通信系统与网络和其他设备通信。

终端设备通过网络模块902为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元903可以将射频单元901或网络模块902接收的或者在存储器909中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元903还可以提供与终端设备900执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元903包括扬声器、蜂鸣器以及受话器等。

输入单元904用于接收音频或视频信号。输入单元904可以包括图形处理器(Graphics Processing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元906上。经图形处理器9041处理后的图像帧可以存储在存储器909(或其它存储介质)中或者经由射频单元901或网络模块902进行发送。麦克风9042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元901发送到移动通信基站的格式输出。

终端设备900还包括至少一种传感器905，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板9061的亮度，接近传感器可在终端设备900移动到耳边时，关闭显示面板9061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器905还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，其中红外线传感器能够通过发射和接收红外光测量物体与终端设备之间的距离，在此不再赘述。

显示单元1006用于显示由用户输入的信息或提供给用户的信息。显示单元1006可包括显示面板10061，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板9061。

用户输入单元907可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板9071上或在触控面板9071附近的操作)。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器910，接收处理器910发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板9071。除了触控面板9071，用户输入单元907还可以包括其他输入设备9072。具体地，其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板9071可覆盖在显示面板9061上，当触控面板9071检测到在其上或附近的触摸操作后，传送给处理器910以确定触摸事件的类型，随后处理器910根据触摸事件的类型在显示面板9061上提供相应的视觉输出。虽然在图9中，触控面板9071与显示面板9061是作为两个独立的部件来实现终端设备的输入和输出功能，但是在某些实施例中，可以将触控面板9071与显示面板9061集成而实现终端设备的输入和输出功能，具体此处不做限定。

接口单元908为外部装置与终端设备900连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元908可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到终端设备900内的一个或多个元件或者可以用于在终端设备900和外部装置之间传输数据。

存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器909可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器910是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器909内的软件程序和/或模块，以及调用存储在存储器909内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。处理器910可包括一个或多个处理单元；优选的，处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。

终端设备900还可以包括给各个部件供电的电源911(比如电池)，优选的，电源911可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，终端设备900包括一些未示出的功能模块，在此不再赘述。

优选地，本发明实施例还提供一种终端设备，其可包括处理器910，存储器909，存储在存储器909上并可在所述处理器910上运行的计算机程序，该计算机程序被处理器910执行时实现上述图2所示的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图2所示的方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (9)

1.一种图像生成方法，其特征在于，包括：

分别控制第一摄像头以第一帧率输出至少一个第一图像帧以及第二摄像头以第二帧率输出至少一个第二图像帧；

分别确定所述至少一个第一图像帧中的第一目标图像帧和所述至少一个第二图像帧中的第二目标图像帧；

对所述第一目标图像帧和所述第二目标图像帧进行虚化处理，输出目标图像；

其中，所述第一帧率大于所述第二帧率；

所述第一图像帧和所述第二图像帧均为至少两个；所述对所述第一目标图像帧和所述第二目标图像帧进行虚化处理，包括：

确定至少两个第一图像帧中的至少一个第一目标图像帧；

确定至少两个第二图像帧中的至少一个第二目标图像帧；

当确定好第i个第二目标图像帧和第i个第一目标图像帧同步后，对所述第i个第二目标图像帧和所述第i个第一目标图像帧进行虚化处理；对于至少两个第一图像帧中与第二摄像头输出的所有图像帧均不匹配的图像帧，则单独对至少两个第一图像帧中除所述第一目标图像帧外的第一图像帧进行虚化处理；

其中，所述至少两个第一图像帧携带有时间戳，所述至少两个第二图像帧携带有时间戳，所述至少一个第二目标图像帧中的第i个第二目标图像帧与所述至少一个第一目标图像帧中的第i个第一目标图像帧的生成时刻的差值小于或等于预设时间差阈值，i＝1,…N,N为所述第一目标图像帧和所述第二目标图像帧的数量。

2.根据权利要求1所述的方法，其特征在于，还包括：

接收用户的第一输入；

响应于所述第一输入，确定所述至少一个第一图像帧中的第一目标图像帧；

接收用户的第二输入；

响应于所述第二输入，确定所述至少一个第二图像帧中的第二目标图像帧；

对所述第一目标图像帧和所述第二目标图像帧进行虚化处理，输出目标图像；

其中，所述第一目标图像帧与所述第二目标图像帧的生成时刻之间的时间差小于或等于预设时间差阈值，且第一生成时刻与第二生成时刻之间的差值大于所述预设时间差阈值，其中，所述第一生成时刻为所述第一目标图像帧的生成时刻与所述操作的输入时刻之间的任一第一图像帧的生成时刻，所述第二生成时刻为所述第二目标图像帧的生成时刻与所述操作的输入时刻之间的任一第二图像帧的生成时刻。

3.根据权利要求1所述的方法，其特征在于，所述控制所述第二摄像头以第二帧率输出至少一个第二图像帧，包括：

控制所述第一摄像头每次输出一个所述第一图像帧时向所述第二摄像头发送一个同步信号；

控制所述第二摄像头每接收到M个来自于所述第一摄像头的同步信号，输出一个第二图像帧，且重新开始统计接收到的同步信号的数量；

其中，M的数值为第一帧率与所述第二帧率的比值。

4.根据权利要求1所述的方法，其特征在于，对所述第一目标图像帧和所述第二目标图像帧进行虚化处理，包括：

分别对所述第一摄像头输出的至少一个第一图像帧和所述第二摄像头输出的至少一个第二图像帧进行处理，得到至少一个第一预览图像帧和至少一个第二预览图像帧；

将所述至少一个第一预览图像帧存储至所述第一摄像头的第一内存队列中，并将所述至少一个第二预览图像帧存储至所述第二摄像头的第二内存队列中；

分别确定所述至少一个第一预览图像帧中的第一目标图像帧和所述至少一个第二预览图像帧中的第二目标图像帧；

对所述第一目标图像帧和所述第二目标图像帧进行虚化处理，输出所述目标图像。

5.一种终端设备，其特征在于，包括：

控制单元，用于分别控制第一摄像头以第一帧率输出至少一个第一图像帧以及第二摄像头以第二帧率输出至少一个第二图像帧，所述第二帧率小于所述第一帧率；

图像帧确认单元，用于分别确定所述至少一个第一图像帧中的第一目标图像帧和所述至少一个第二图像帧中的第二目标图像帧；

图像生成单元，用于对所述第一目标图像帧和所述第二目标图像帧进行虚化处理，输出目标图像；

其中，所述第一图像帧和所述第二图像帧均为至少两个；

所述图像帧确认单元用于确定所述至少两个第一图像帧中的至少一个第一目标图像帧，并确定所述至少两个第二图像帧中的至少一个第二目标图像帧；

所述图像生成单元用于当确定好第i个第二目标图像帧和第i个第一目标图像帧同步后，对所述第i个第二目标图像帧和所述第i个第一目标图像帧进行虚化处理；对于至少两个第一图像帧中与第二摄像头输出的所有图像帧均不匹配的图像帧，则单独对多个第一图像帧中除所述第一目标图像帧外的第一图像帧进行虚化处理，输出所述目标图像；

其中，所述至少两个第一图像帧携带有时间戳，所述至少两个第二图像帧携带有时间戳，所述至少一个第二目标图像帧中的第i个第二目标图像帧与所述至少一个第一目标图像帧中的第i个第一目标图像帧的生成时刻的差值小于或等于预设时间差阈值，i＝1,…N,N为所述第一目标图像帧和所述第二目标图像帧的数量。

6.根据权利要求5所述的终端设备，其特征在于，还包括：

接收单元，接收用户的第一输入和接收用户的第二输入；

所述图像帧确认单元用于响应于所述第一输入确定所述至少一个第一图像帧中的第一目标图像帧，并响应于所述第二输入确定所述至少一个第二图像帧中的第二目标图像帧；

所述图像生成单元用于对所述第一目标图像帧和所述第二目标图像帧进行处理，输出所述目标图像；

其中，所述第一目标图像帧与所述第二目标图像帧的生成时刻之间的时间差小于或等于预设时间差阈值，且第一生成时刻与第二生成时刻之间的差值大于所述预设时间差阈值，其中，所述第一生成时刻为所述第一目标图像帧的生成时刻与所述操作的输入时刻之间的任一第一图像帧的生成时刻，所述第二生成时刻为所述第二目标图像帧的生成时刻与所述操作的输入时刻之间的任一第二图像帧的生成时刻。

7.根据权利要求5所述的终端设备，其特征在于：

所述控制单元用于控制所述第一摄像头每次输出一个所述第一图像帧时向所述第二摄像头发送一个同步信号，并控制所述第二摄像头每接收到M个来自于所述第一摄像头的同步信号，输出一个第二图像帧，且重新开始统计接收到的同步信号的数量，M的数值为第一帧率与所述第二帧率的比值。

8.根据权利要求5所述的终端设备，其特征在于：

所述控制单元还用于分别对所述第一摄像头输出的至少一个第一图像帧和所述第二摄像头输出的至少一个第二图像帧进行处理，得到至少一个第一预览图像帧和至少一个第二预览图像帧，并将所述至少一个第一预览图像帧存储至所述第一摄像头的第一内存队列中，并将所述至少一个第二预览图像帧存储至所述第二摄像头的第二内存队列中；

所述图像帧确定单元用于分别确定所述至少一个第一预览图像帧中的第一目标图像帧和所述至少一个第二预览图像帧中的第二目标图像帧；

所述图像生成单元用于对所述第一目标图像帧和所述第二目标图像帧进行虚化处理，输出目标图像。

9.一种计算机可读介质，其特征在于，所述计算机可读介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要1至4中任一项所述的方法的步骤。

Images