CN110868560B - 一种基于双目相机的录像方法及终端设备 - Google Patents

Abstract

本发明的实施例公开一种基于双目相机的录像方法及终端设备，涉及电子技术领域，能够输出更高帧率的录像视频，满足录像慢动作的要求。该方法包括：在接收到录像开启指令后，通过第一图像传感器采集第一图像数据流，并通过第二图像传感器采集第二图像数据流；获取第一图像数据流的帧率以及第二图像数据流的帧率；根据第一图像数据流的帧率以及第二图像数据流的帧率将第一图像数据流中的图像数据帧以及第二图像数据流中的图像数据帧按照预定次序输出至视频编码器，以便视频编码器对接收到的图像数据帧进行编码生成录像视频，其中录像视频的帧率F＞所述第一图像数据流的帧率F1，并且所述录像视频的帧率F＞所述第二图像数据流的帧率F2。

Description

一种基于双目相机的录像方法及终端设备

技术领域

本发明的实施例涉及电子技术领域，尤其涉及一种基于双目相机的录像方法及终端设备。

背景技术

目前业内，手机等终端产品具有录像功能。而随着用户需求的开发，手机产品在录像过程中，对录像慢动作要求越来高，从开始的每秒最高录制60帧到目前部分产品每秒录制960帧，该功能也越来越得到用户的认可，但录像慢动作功能对相机的图像传感器(camera sensor，或者摄像头)要求很高，需要图像传感器一秒中内输出帧率高达90帧、180帧甚至960帧，而普通的图像传感器根本达不到这个要求，因此限制了录像视频的输出帧率的提升。

发明内容

本发明的实施例提供一种基于双目相机的录像方法及终端设备，能够输出更高帧率的录像视频，满足录像慢动作的要求。

第一方面，提供一种基于双目相机的录像方法，所述双目相机包括第一图像传感器和第二图像传感器，所述方法包括：

在接收到录像开启指令后，通过所述第一图像传感器采集第一图像数据流，并通过所述第二图像传感器采集第二图像数据流；其中，所述第一图像数据流包含至少一个图像数据帧，所述第二图像数据流包含至少一个图像数据帧；获取所述第一图像数据流的帧率以及所述第二图像数据流的帧率；根据所述第一图像数据流的帧率以及所述第二图像数据流的帧率将所述第一图像数据流中的图像数据帧以及所述第二图像数据流中的图像数据帧按照预定次序输出至视频编码器，以便所述视频编码器对接收到的图像数据帧进行编码生成录像视频，其中所述录像视频的帧率F＞所述第一图像数据流的帧率F1，并且所述录像视频的帧率F＞所述第二图像数据流的帧率F2。这样，对于第一图像传感器采集的第一图像数据流，以及第二图像传感器采集的第二图像数据流，能够根据第一图像数据流的帧率以及所述第二图像数据流的帧率将第一图像数据流中的图像数据帧以及第二图像数据流中的图像数据帧按照预定次序输出至视频编码器，视频编码器对接收到的图像数据帧进行编码生成录像视频，生成的录像视频的帧率F＞第一图像数据流的帧率F1，并且录像视频的帧率F＞第二图像数据流的帧率F2；因此相对于通过单一的图像传感器采集的输出帧率局限的问题，本申请采用双目相机采集图像数据流，并将采集的两份图像数据流中的图像数据帧按照一定次序输出至视频编码器，得到比任一单一图像传感器采集的图像数据流更高帧率的录像视频，从而满足录像慢动作的要求。

第二方面，一种终端设备，所述终端设备包括双模相机，双目相机包括第一图像传感器和第二图像传感器，所述终端设备包括：

处理单元，用于在接收到录像开启指令后，通过所述第一图像传感器采集第一图像数据流，并通过所述第二图像传感器采集第二图像数据流；其中，所述第一图像数据流包含至少一个图像数据帧，所述第二图像数据流包含至少一个图像数据帧；

所述处理单元，还用于获取所述第一图像数据流的帧率以及所述第二图像数据流的帧率；

发送单元，用于根据所述处理单元获取的所述第一图像数据流的帧率以及所述第二图像数据流的帧率将所述第一图像数据流中的图像数据帧以及所述第二图像数据流中的图像数据帧按照预定次序输出至视频编码器，以便所述视频编码器对接收到的图像数据帧进行编码生成录像视频，其中所述录像视频的帧率F＞所述第一图像数据流的帧率F1，并且所述录像视频的帧率F＞所述第二图像数据流的帧率F2。

第三方面，提供一种终端设备，包括通信接口、处理器、存储器、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述终端设备运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述终端设备，执行上述的基于双目相机的录像方法。

第四方面，提供一种计算机存储介质，包括指令，当所述指令在计算机上运行时，使得所述计算机执行第一方面所述的基于双目相机的录像方法。

可以理解地，上述提供的任一种终端设备或计算机存储介质均用于执行上文所提供的第一方面对应的方法，因此，其所能达到的有益效果可参考上文第一方面的方法以及下文具体实施方式中对应的方案的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的一种终端设备的结构示意图；

图2为本发明的实施例提供的一种基于双目相机的录像方法示意图；

图3为本发明的另一实施例提供的一种基于双目相机的录像方法示意图；

图4为本发明的又一实施例提供的一种基于双目相机的录像方法示意图；

图5为本发明的再一实施例提供的一种基于双目相机的录像方法示意图；

图6为本发明的另一实施例提供的终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前业内，手机等具备双目相机的终端产品在录像过程录像模式下，具有双目相机的设备仅通过主摄像头(图像传感器)实现录像功能，仅为主摄像头创建视频(preview)通道，并对主摄像头采集的图像数据流进行视频编码生成录像视频。而副摄像头(另一图像传感器)虽然处于上电状态但并不对副摄像头采集的图像数据流进行处理，通常副摄像头暂时关闭，通常副摄像头仅用于双目拍照时使用，通过主副摄像头模仿人的双眼实现3D照片的拍摄。然而，随着用户需求的开发，手机产品在录像过程中，对录像慢动作要求越来高，从开始的每秒最高录制60帧到目前部分产品每秒录制960帧，该功能也越来越得到用户的认可，但录像慢动作功能对相机的图像传感器(camera sensor，或者摄像头)要求很高，需要图像传感器一秒中内输出帧率高达90帧、180帧甚至960帧，而普通的图像传感器根本达不到这个要求，因此限制了录像视频的输出帧率的提升。

为解决上述问题，在如下实施例中提供一种终端设备，例如可以是手机、智能相机、摄像机或者平板电脑等设备。以手机100作为上述终端设备举例，手机100具体可以包括：处理器101、存储器102、触摸屏103、通信接口104、按键装置105、双目相机106等部件。这些部件可通过通信总线或信号线(图1中107)进行通信。本领域技术人员可以理解，图1中示出的硬件结构并不构成对手机的限定，手机还可以包括比图示更多或更少的部件，或者不同的部件布置。例如：还可以包括射频RF电路、蓝牙装置、传感器、无线保真Wi-Fi装置、定位装置、音频电路以及电源装置等等。

其中，处理器101是手机100的控制中心，利用各种接口和线路连接手机100的各个部分部件，通过运行或执行存储在存储器102内的应用程序，以及调用存储在存储器102内的数据，执行手机100的各种功能和处理数据。在一些实施例中，处理器101可包括一个或多个处理单元。在本申请实施例一些实施例中，上述处理器101可以通过处理通过按键装置106或触控屏103输入的指令，例如：录像开启指令等，实现人机交互过程；上述处理器101可以包括视频编码器，用于对双目相机采集的图像数据流(第一图像数据流以及第二图像数据流)进行编码生成录像视频。存储器102用于存储应用程序以及数据，处理器101通过运行存储在存储器102的应用程序以及数据，执行手机100的各种功能以及数据处理。存储器102主要包括存储程序区以及存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可以存储根据使用手机101时所创建的数据。此外，存储器102可以包括高速随机存取存储器(RAM)，还可以包括非易失存储器。存储器102可以存储各种操作系统，例如，iOS操作系统，Android操作系统等。上述存储器102可以是独立的，通过上述通信总线与处理器101相连接。触摸屏103具体可以包括触控板103-1和显示器103-2。其中，触控板103-1可采集手机101的用户在其上的触摸事件，并将采集到的触摸信息发送至其他器件(例如处理器101)。显示器(也称为显示屏)103-2可用于显示由用户输入的信息或提供给用户的信息以及手机100的各种菜单。在本申请中可以是录像模式选择界面等。当用户通过触控板触发显示器上的菜单选项时，可以触发开启录像模式的选择，以便在该模式下触发录像开启指令时通过双目相机106录像。通信接口104，用于为外部的输入/输出设备提供各种接口。例如通过通用串行总线USB接口与鼠标连接，通过用户识别模块卡卡槽上的金属触点与电信运营商提供的用户识别模块卡SIM卡进行连接。按键装置105，例如手机或者智能相机上的硬件按键，其可以是电源键、音量控制键或者快门键，在本申请中可以通过快门键触发录像开启指令。当然也可以通过触控板上的虚拟按键实现该功能。双目相机106，包括第一图像传感器和第二图像传感器，其中当两部图像传感器上电并开启时可以采集图像数据流。

基于上述的硬件结构，本发明的实施例提供一种基于双目相机的录像方法，双目相机包括第一图像传感器和第二图像传感器，参照图2所示，包括如下步骤：

201、在接收到录像开启指令后，通过第一图像传感器采集第一图像数据流，并通过第二图像传感器采集第二图像数据流。

其中，第一图像数据流包含至少一个图像数据帧，第二图像数据流包含至少一个图像数据帧。通常的，具有双目相机在设备通常具备两个图像传感器(也叫主摄像头和副摄像头)。现有技术中，录像模式下，具有双目相机的设备仅通过主摄像头(第一图像传感器)实现录像功能，仅为主摄像头创建视频(preview)通道，并对主摄像头采集的第一图像数据流进行视频编码生成录像视频。在本申请中，在录像模式下，同时对两个图像传感器上电，并在接收到录像开启指令后同时通过两个图像传感器采集图像数据流。

202、获取第一图像数据流的帧率以及第二图像数据流的帧率。

其中第一图像数据流的帧率F1以及第二图像数据流的帧率F2可以相同或者不同，本申请并不限定，示例性的，例如F1＝30帧/s，F2＝30帧/s；或者F1＝30帧/s，F2＝60帧/s；F1＝30帧/s，F2＝90帧/s等等。

203、根据第一图像数据流的帧率以及第二图像数据流的帧率将所述第一图像数据流中的图像数据帧以及所述第二图像数据流中的图像数据帧按照预定次序输出至视频编码器，以便所述视频编码器对接收到的图像数据帧进行编码生成录像视频，其中录像视频的帧率F＞所述第一图像数据流的帧率F1，并且所述录像视频的帧率F＞所述第二图像数据流的帧率F2。

示例性的，所述第一图像数据流的帧率F1＝所述第二图像数据流的帧率F2/n，其中n取正整数；则步骤103具体为：根据所述第一图像数据流的帧率以及所述第二图像数据流的帧率，将所述第一图像数据流中的图像数据帧输出至视频编码器后，依次将所述第二图像数据流中的n个图像数据帧输出至视频编码器；其中，所述第一图像数据流中的图像数据帧与所述第二图像数据流中的n个图像数据帧中的第一个图像数据帧的时间间隔a满足如下条件，1000/F1-a-(n-1)*(1000/F2)≥C；C为所述视频编码器编码一帧图像数据帧的编码时间。

在上述方案中，a＝(1000ms/F1)/(F2/F1+1)。当然为方便计算也可以对(1000ms/F1)/(F2/F1+1)取整作为a，例如INT((1000ms/F1)/(F2/F1+1))或者对(1000ms/F1)/(F2/F1+1)的结果四舍五入，或者对a取一定范围内的整数，例如，取INT((1000ms/F1)/(F2/F1+1))±D，D∈(1、2、3……)等等。

示例性的，参照图3所示以F1＝30帧/s，F2＝30帧/s；则步骤103的实现方式为：首先将第一图像数据流的一帧图像数据帧(frame)传递给视频编码器16ms(根据(1000ms/F1)/(F2/F1+1)≈16.67ms，为方便计算取整为16ms)后，第二图像数据流的一帧图像数据帧(frame)传递给视频编码器；由于F1＝F2＝30帧/s，因此第一图像数据流和第二图像数据流的帧周期均为33.33ms，因此在33.33-16＝17.33ms后，第一图像数据流的另一帧图像数据帧(frame)传递给视频编码器，如此循环。参照图4所示以F1＝30帧/s，F2＝60帧/s；则步骤103的实现方式为：首先将第一图像数据流的一帧图像数据帧(frame)传递给视频编码器11ms(根据(1000ms/F1)/(F2/F1+1)≈11.11ms，为方便计算取整为11ms，当然这里也可以取10、12等等，只要1000/F1-a-(n-1)*(1000/F2)≥C，这里示例的以C＝2ms为例，通常中高端平台的视频编码能力可以实现2ms编完一帧1080P数据)后，第二图像数据流的连续两帧图像数据帧(frame)传递给视频编码器；由于F1＝30帧/s、F2＝60帧/s，因此第一图像数据流帧周期均为33.33ms，第二图像数据流的帧周期为16.67ms，因此，在

33.33-11-16.67＝5.66ms后，第一图像数据流的另一帧图像数据帧(frame)传递给视频编码器，如此循环。参照图5所示以F1＝30帧/s，F2＝90帧/s；则步骤103的实现方式为：首先将第一图像数据流的一帧图像数据帧(frame)传递给视频编码器8ms(根据(1000ms/F1)/(F2/F1+1)≈8.33ms，为方便计算取整为8ms，当然这里也可以取9、10等等，只要

1000/F1-a-(n-1)*(1000/F2)≥C，这里示例的以C＝2ms为例，通常中高端平台的视频编码能力可以实现2ms编完一帧1080P数据)后，第二图像数据流的连续三帧图像数据帧(frame)传递给视频编码器；由于F1＝30帧/s、F2＝90帧/s，因此第一图像数据流帧周期均为33.33ms，第二图像数据流的帧周期为11.11ms，因此，在33.33-8-11.11-11.11＝3.11ms后，第一图像数据流的另一帧图像数据帧(frame)传递给视频编码器，如此循环。

通过上述图3-5对应的实施例实现第一图像传感器和第二图像传感器交替输出实时的图像数据帧到视频编码器编码。完成慢动作视频的录制。并且最终的录像视频的帧率F＝第一图像数据流的帧率F1+第二图像数据流的帧率F2。即如果第一图像传感器和第二图像传感器的帧率都是30帧/s，通过双目相机可以实现60帧/s的慢动作视频录制；如果第一图像传感器和第二图像传感器的帧率都是60帧/s，通过双目相机可以实现120帧/s的慢动作视频录制；如果第一图像数据流的帧率是60帧/s，第二图像数据流的帧率是90帧/s，可以实现150帧/s的慢动作视频录制，以此类推，实现了单摄像头无法实现的高帧率的慢动作视频录制。

这样，对于第一图像传感器采集的第一图像数据流，以及第二图像传感器采集的第二图像数据流，能够根据第一图像数据流的帧率以及所述第二图像数据流的帧率将第一图像数据流中的图像数据帧以及第二图像数据流中的图像数据帧按照预定次序输出至视频编码器，视频编码器对接收到的图像数据帧进行编码生成录像视频，生成的录像视频的帧率F＞第一图像数据流的帧率F1，并且录像视频的帧率F＞第二图像数据流的帧率F2；因此相对于通过单一的图像传感器采集的输出帧率局限的问题，本申请采用双目相机采集图像数据流，并将采集的两份图像数据流中的图像数据帧按照一定次序输出至视频编码器，得到比任一单一图像传感器采集的图像数据流更高帧率的录像视频，从而满足录像慢动作的要求。

参照图6所示提供一种终端设备，包括双目相机，所述双目相机包括第一图像传感器和第二图像传感器，终端设备包括：

处理单元61，用于在接收到录像开启指令后，通过所述第一图像传感器采集第一图像数据流，并通过所述第二图像传感器采集第二图像数据流；其中，所述第一图像数据流包含至少一个图像数据帧，所述第二图像数据流包含至少一个图像数据帧；

所述处理单元61，还用于获取所述第一图像数据流的帧率以及所述第二图像数据流的帧率；

发送单元62，用于根据所述处理单元61获取的所述第一图像数据流的帧率以及所述第二图像数据流的帧率将所述第一图像数据流中的图像数据帧以及所述第二图像数据流中的图像数据帧按照预定次序输出至视频编码器，以便所述视频编码器对接收到的图像数据帧进行编码生成录像视频，其中所述录像视频的帧率F＞所述第一图像数据流的帧率F1，并且所述录像视频的帧率F＞所述第二图像数据流的帧率F2。

可选的，所述第一图像数据流的帧率F1＝所述第二图像数据流的帧率F2/n；所述发送单元62，具体用于根据所述第一图像数据流的帧率以及所述第二图像数据流的帧率，将所述第一图像数据流中的图像数据帧输出至视频编码器后，依次将所述第二图像数据流中的n个图像数据帧输出至视频编码器；其中，所述第一图像数据流中的图像数据帧与所述第二图像数据流中的n个图像数据帧中的第一个图像数据帧的时间间隔a满足如下条件，1000/F1-a-(n-1)*(1000/F2)≥C；C为所述视频编码器编码一帧图像数据帧的编码时间。

可选的，a＝(1000ms/F1)/(F2/F1+1)。

可选的，所述录像视频的帧率F＝所述第一图像数据流的帧率F1+所述第二图像数据流的帧率F2。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。终端设备应用于上述图1的终端设备时，上述处理单元61可以是图1中的处理器101；发送单元62可以为图1中的通信接口104。

此外，还提供一种计算存储媒体(或介质)，包括在被执行时进行上述实施例中的方法的操作的指令。另外，还提供一种计算机程序产品，包括上述计算存储媒体(或介质)。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称:read-only memory，英文简称：ROM)、随机存取存储器(英文全称：random access memory，英文简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于双目相机的录像方法，其特征在于，所述双目相机包括第一图像传感器和第二图像传感器，所述方法包括：

在接收到录像开启指令后，通过所述第一图像传感器采集第一图像数据流，并通过所述第二图像传感器采集第二图像数据流；其中，所述第一图像数据流包含至少一个图像数据帧，所述第二图像数据流包含至少一个图像数据帧；

获取所述第一图像数据流的帧率以及所述第二图像数据流的帧率；

根据所述第一图像数据流的帧率以及所述第二图像数据流的帧率将所述第一图像数据流中的图像数据帧以及所述第二图像数据流中的图像数据帧按照预定次序输出至视频编码器，以便所述视频编码器对接收到的图像数据帧进行编码生成录像视频，其中所述录像视频的帧率F＞所述第一图像数据流的帧率F1，并且所述录像视频的帧率F＞所述第二图像数据流的帧率F2；

所述第一图像数据流的帧率F1＝所述第二图像数据流的帧率F2/n，其中n为大于1的正整数；

根据所述第一图像数据流的帧率以及所述第二图像数据流的帧率，将所述第一图像数据流中的图像数据帧输出至视频编码器后，依次将所述第二图像数据流中的n个图像数据帧输出至视频编码器；

所述根据所述第一图像数据流的帧率以及所述第二图像数据流的帧率将所述第一图像数据流中的图像数据帧以及所述第二图像数据流中的图像数据帧按照预定次序输出至视频编码器，包括：

所述第一图像数据流中的图像数据帧与所述第二图像数据流中的n个图像数据帧中的第一个图像数据帧的时间间隔a满足如下条件，1000/F1-a-(n-1)*(1000/F2)≥C；C为所述视频编码器编码一帧图像数据帧的编码时间；

a＝INT(1000ms/F1)/(F2/F1+1)；

若F1＝F2，则将所述第一图像数据流的一帧图像数据帧传递给所述视频编码器后，所述第二图像数据流的一帧图像数据帧传递给所述视频编码器；所述第一图像数据流和所述第二图像数据流的帧周期相同；在(帧周期-a)时长之后，所述第一图像数据流的另一帧图像数据帧传递给视频编码器；

若F2＝2F1，则将第一图像数据流的一帧图像数据帧传递给视频编码器，第二图像数据流的连续两帧图像数据帧传递给所述视频编码器；

若F2＝3F1，则将所述第一图像数据流的一帧图像数据帧传递给所述视频编码器后，所述第二图像数据流的连续三帧图像数据帧传递给视频编码器；在(第一图像的帧周期-第二图像的帧周期-a)时长之后，所述第一图像数据流的另一帧图像数据帧传递给视频编码器。

2.根据权利要求1所述的基于双目相机的录像方法，其特征在于，所述录像视频的帧率F＝所述第一图像数据流的帧率F1+所述第二图像数据流的帧率F2。

3.一种终端设备，其特征在于，所述终端设备包括双目相机，所述双目相机包括第一图像传感器和第二图像传感器，所述终端设备包括：

处理单元，用于在接收到录像开启指令后，通过所述第一图像传感器采集第一图像数据流，并通过所述第二图像传感器采集第二图像数据流；其中，所述第一图像数据流包含至少一个图像数据帧，所述第二图像数据流包含至少一个图像数据帧；

所述处理单元，还用于获取所述第一图像数据流的帧率以及所述第二图像数据流的帧率；

发送单元，用于根据所述处理单元获取的所述第一图像数据流的帧率以及所述第二图像数据流的帧率将所述第一图像数据流中的图像数据帧以及所述第二图像数据流中的图像数据帧按照预定次序输出至视频编码器，以便所述视频编码器对接收到的图像数据帧进行编码生成录像视频，其中所述录像视频的帧率F＞所述第一图像数据流的帧率F1，并且所述录像视频的帧率F＞所述第二图像数据流的帧率F2；

所述第一图像数据流的帧率F1＝所述第二图像数据流的帧率F2/n；

所述发送单元，具体用于根据所述第一图像数据流的帧率以及所述第二图像数据流的帧率，将所述第一图像数据流中的图像数据帧输出至视频编码器后，依次将所述第二图像数据流中的n个图像数据帧输出至视频编码器；

所述第一图像数据流中的图像数据帧与所述第二图像数据流中的n个图像数据帧中的第一个图像数据帧的时间间隔a满足如下条件，1000/F1-a-(n-1)*(1000/F2)≥C；C为所述视频编码器编码一帧图像数据帧的编码时间；

a＝(1000ms/F1)/(F2/F1+1)；

所述根据所述第一图像数据流的帧率以及所述第二图像数据流的帧率将所述第一图像数据流中的图像数据帧以及所述第二图像数据流中的图像数据帧按照预定次序输出至视频编码器，包括：

所述第一图像数据流中的图像数据帧与所述第二图像数据流中的n个图像数据帧中的第一个图像数据帧的时间间隔a满足如下条件，1000/F1-a-(n-1)*(1000/F2)≥C；C为所述视频编码器编码一帧图像数据帧的编码时间；

a＝INT(1000ms/F1)/(F2/F1+1)；

若F1＝F2，则将所述第一图像数据流的一帧图像数据帧传递给所述视频编码器后，所述第二图像数据流的一帧图像数据帧传递给所述视频编码器；所述第一图像数据流和所述第二图像数据流的帧周期相同；在(帧周期-a)时长之后，所述第一图像数据流的另一帧图像数据帧传递给视频编码器；

若F2＝2F1，则将第一图像数据流的一帧图像数据帧传递给视频编码器，第二图像数据流的连续两帧图像数据帧传递给所述视频编码器；

若F2＝3F1，则将所述第一图像数据流的一帧图像数据帧传递给所述视频编码器后，所述第二图像数据流的连续三帧图像数据帧传递给视频编码器；在(第一图像的帧周期-第二图像的帧周期-a)时长之后，所述第一图像数据流的另一帧图像数据帧传递给视频编码器。

4.根据权利要求3所述的终端设备，其特征在于，所述录像视频的帧率F＝所述第一图像数据流的帧率F1+所述第二图像数据流的帧率F2。

5.一种终端设备，其特征在于，包括通信接口、处理器、存储器、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述终端设备运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述终端设备执行如权利要求1-2任一项所述的基于双目相机的录像方法。

6.一种计算机存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-2任一项所述的基于双目相机的录像方法。

Images