CN108540732B - 合成视频的方法和装置 - Google Patents

Abstract

本公开是关于一种合成视频的方法和装置，属于电子技术领域。所述方法包括：确定进行音频采集的音频单元时长；基于音频单元时长，确定采集到的每个音频单元对应的时间戳；基于采集到的每个音频单元对应的时间戳和采集到的每个图像单元对应的时间戳，对音频单元和图像单元进行合成，得到合成视频数据。采用本公开，在基于音频单元的时间戳和图像单元的时间戳，将音频单元和图像单元合成时，不会出现音频和图像不同步的现象。

Description

合成视频的方法和装置

技术领域

本公开是关于电子技术领域，尤其是关于一种合成视频的方法和装置。

背景技术

在采集音频时，可以按照预设频率采集音频，且每次可以采集固定时长的音频数据。每个固定时长的音频数据可以作为一个音频单元。

在终端中，可以为每个音频单元标记时间戳，这样在将音频单元和图像单元进行合成时，可以将时间差小于预设的时间差阈值的音频单元和图像单元进行合成。

每当采集到一个音频单元时，终端中的音频采集线程就为该音频单元标记时间戳。

在实现本公开的过程中，发明人发现至少存在以下问题：

当音频采集线程较为忙碌或者其他线程占用系统资源执行突发任务时，音频采集线程执行任务的效率会降低，标记的音频单元的时间戳会与实际采集时间相差较大。这样，如果基于与实际采集时间相差较大的时间戳，将音频单元和图像单元进行合成，会出现音频和图像不同步的现象。

发明内容

为了克服相关技术中存在的问题，本公开提供了以下技术方案：

根据本公开实施例的第一方面，提供一种合成视频的方法，所述方法包括：

确定进行音频采集的音频单元时长；

基于所述音频单元时长，确定采集到的每个音频单元对应的时间戳；

基于采集到的每个音频单元对应的时间戳和采集到的每个图像单元对应的时间戳，对所述音频单元和所述图像单元进行合成，得到合成视频数据。

可选地，所述确定进行音频采集的音频单元时长，包括：

基于预设的进行音频采集的采集频率、采集通道数和采集位数，确定进行音频采集的音频单元时长。

可选地，所述基于所述音频单元时长，确定采集到的每个音频单元对应的时间戳，包括：

对于进行音频采集得到的第一个音频单元，将预设的初始时间，确定为所述第一个音频单元对应的时间戳；

对于进行音频采集得到的第一个音频单元之后的任一音频单元，基于所述音频单元时长和在所述任一音频单元的前一个音频单元对应的时间戳，确定所述任一音频单元对应的时间戳。

可选地，所述基于所述音频单元时长，确定采集到的每个音频单元对应的时间戳，包括：

对确定出的音频单元时长进行取整处理，基于取整处理后的音频单元时长，确定采集到的每个音频单元对应的时间戳。

可选地，所述基于取整处理后的音频单元时长，确定采集到的每个音频单元对应的时间戳，包括：

将在所述任一音频单元的前一个音频单元对应的时间戳与取整处理后的音频单元时长之和，确定为所述任一音频单元对应的待定时间戳；

将所述待定时间戳和预设的所述任一音频单元对应的参考时间戳进行比较，其中，所述参考时间戳为在所述任一音频单元开始采集后，处理器的音频采集线程记录的时间戳；

如果所述待定时间戳小于所述参考时间戳，则将所述待定时间戳与预设的补偿时间之和，确定为所述任一音频单元对应的时间戳；

如果所述待定时间戳大于或者等于所述参考时间戳，则将所述待定时间戳确定为所述任一音频单元对应的时间戳。

根据本公开实施例的第二方面，提供一种合成视频的装置，所述装置包括：

第一确定模块，用于确定进行音频采集的音频单元时长；

第二确定模块，用于基于所述音频单元时长，确定采集到的每个音频单元对应的时间戳；

合成模块，用于基于采集到的每个音频单元对应的时间戳和采集到的每个图像单元对应的时间戳，对所述音频单元和所述图像单元进行合成，得到合成视频数据。

可选地，所述第一确定模块用于：

基于预设的进行音频采集的采集频率、采集通道数和采集位数，确定进行音频采集的音频单元时长。

可选地，所述第二确定模块包括：

第一确定单元，用于对于进行音频采集得到的第一个音频单元，将预设的初始时间，确定为所述第一个音频单元对应的时间戳；

第二确定单元，用于对于进行音频采集得到的第一个音频单元之后的任一音频单元，基于所述音频单元时长和在所述任一音频单元的前一个音频单元对应的时间戳，确定所述任一音频单元对应的时间戳。

可选地，所述第二确定模块用于：

对确定出的音频单元时长进行取整处理，基于取整处理后的音频单元时长，确定采集到的每个音频单元对应的时间戳。

可选地，所述第二确定模块包括：

第三确定单元，用于将在所述任一音频单元的前一个音频单元对应的时间戳与取整处理后的音频单元时长之和，确定为所述任一音频单元对应的待定时间戳；

比较单元，用于将所述待定时间戳和预设的所述任一音频单元对应的参考时间戳进行比较，其中，所述参考时间戳为在所述任一音频单元开始采集后，处理器的音频采集线程记录的时间戳；

第四确定单元，用于当所述待定时间戳小于所述参考时间戳时，将所述待定时间戳与预设的补偿时间之和，确定为所述任一音频单元对应的时间戳；

第五确定单元，用于当所述待定时间戳大于或者等于所述参考时间戳时，将所述待定时间戳确定为所述任一音频单元对应的时间戳。

根据本公开实施例的第三方面，提供一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述合成视频的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述合成视频的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供的方法，确定进行音频采集的音频单元时长；基于音频单元时长，确定采集到的每个音频单元对应的时间戳；基于采集到的每个音频单元对应的时间戳和采集到的每个图像单元对应的时间戳，对音频单元和图像单元进行合成，得到合成视频数据。这样，基于音频单元时长确定每个音频单元标记对应的时间戳，时间戳的确定过程不受线程的执行任务的效率所影响，确定的时间戳与实际采集时间相差较小。在基于音频单元的时间戳和图像单元的时间戳，将音频单元和图像单元合成时，不会出现音频和图像不同步的现象。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。在附图中：

图1是根据一示例性实施例示出的一种合成视频的方法的流程图示意图；

图2是根据一示例性实施例示出的一种合成视频的方法的流程图示意图；

图3是根据一示例性实施例示出的一种合成视频的装置的结构示意图；

图4是根据一示例性实施例示出的一种终端的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开实施例提供了一种合成视频的方法，该方法可以由终端实现。其中，终端可以是手机、平板电脑、台式计算机、笔记本计算机等。

终端可以包括处理器、存储器等部件。处理器，可以为CPU(Central ProcessingUnit，中央处理单元)等，可以用于确定进行音频采集的音频单元时长，等处理。存储器，可以为RAM(Random Access Memory，随机存取存储器)，Flash(闪存)等，可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等，如音频单元等。

终端还可以包括收发器、输入部件、显示部件、音频输出部件等。收发器，可以用于与服务器进行数据传输，收发器可以包括蓝牙部件、WiFi(Wireless-Fidelity，无线高保真技术)部件、天线、匹配电路、调制解调器等。输入部件可以是触摸屏、键盘、鼠标等。音频输出部件可以是音箱、耳机等。

终端中可以安装有系统程序和应用程序。用户在使用终端的过程中，基于自己的不同需求，会使用各种各样的应用程序。终端中可以安装有具备视频播放功能的应用程序。

本公开一示例性实施例提供了一种合成视频的方法，如图1所示，该方法的处理流程可以包括如下的步骤：

步骤S110，确定进行音频采集的音频单元时长。

在实施中，本公开实施例提供的方法可以应用于直播场景等场景中。在直播场景中，首先，主播所持的终端可以采集主播在表演时的音频以及图像，然后将音频以及图像分别发送至服务器，服务器可以将音频以及图像发送至收看主播直播的各观众所持的终端。在观众所持的终端中，音频和图像可以被合成，得到视频，并播放视频。在上述过程中，音频和图像可以根据各自对应的时间戳进行合成，例如，将254ms至264ms之间的音频和图像进行合成。

在一次采集音频的过程中，采集频率、采集通道数和采集位数都是固定的，如果要采集固定数据量大小的音频数据，则采集时长固定。采集时长即可以认为是音频单元时长。下面介绍音频单元时长的确定方法。

可选地，步骤S110可以包括：基于预设的进行音频采集的采集频率、采集通道数、采集位数，确定进行音频采集的音频单元时长。

可以根据公式1，计算音频单元时长。

其中，T为音频单元时长，单位为毫秒。L为每次采集的音频单元的数据量，单位为字节。F为采集频率。C为采集通道数。B为采集位数，单位为比特。

可以获取终端中预先存储的L、F、C、B参数，然后基于L、F、C、B参数，确定T。当然，如果在终端中存储T的值，每次使用T时，可以直接获取T，这样，就不用再通过公式1计算T了。

步骤S120，基于音频单元时长，确定采集到的每个音频单元对应的时间戳。

在实施中，由于公式1中存在除法计算，通过公式1计算出的T很有可能不是整数，而时间戳一般是整数，因此，需要对确定出的音频单元时长进行取整处理，基于取整处理后的音频单元时长，确定采集到的每个音频单元对应的时间戳。具体地，可以对确定出的音频单元时长进行向下取整处理，基于向下取整处理后的音频单元时长，确定采集到的每个音频单元对应的时间戳。

例如，采集频率是44100Hz，采集通道数是2，采集位数是16比特，每次采集的音频单元的数据量是8192字节，则通过公式1可以计算出音频单元时长是46.43毫秒。对46.43毫秒进行向下取整处理，得到46毫秒。

在得到向下取整处理后的音频单元时长后，可以基于向下取整处理后的音频单元时长，确定采集到的每个音频单元对应的时间戳。然而，如果只是将第一个音频单元对应的时间戳确定为0，第二个音频单元对应的时间戳确定为46，第三个音频单元对应的时间戳确定为92，以此类推，直到确定所有音频单元的时间戳，如果只是这样操作会造成一个问题，就是每个音频单元对应的时间戳都比实际采集的时间即46.43靠前了0.43，如果音频单元的数量较少这么操作还没有什么问题，但是一旦音频单元数量较多，整个音频就靠前了N乘以0.43，这样音频和图像就不同步了。因此，在本公开实施例中，可以设置补偿时间，如1毫秒，这样让音频单元时长为46毫秒或者47毫秒，音频单元时长在46毫秒和47毫秒之间变动，即有的音频单元时长比实际采集的少，有的音频单元时长比实际采集的多，就可以避免上述问题。

可选地，基于取整处理后的音频单元时长，确定采集到的每个音频单元对应的时间戳的步骤可以包括：将在任一音频单元的前一个音频单元对应的时间戳与取整处理后的音频单元时长之和，确定为任一音频单元对应的待定时间戳；将待定时间戳和预设的任一音频单元对应的参考时间戳进行比较；如果待定时间戳小于参考时间戳，则将待定时间戳与预设的补偿时间之和，确定为任一音频单元对应的时间戳；如果待定时间戳大于或者等于参考时间戳，则将待定时间戳确定为任一音频单元对应的时间戳。

在实施中，具体确定哪一音频单元时长比实际采集的少，哪一音频单元时长比实际采集的多，可以先将基于小于实际采集时间的音频单元时长加上前一个音频单元对应的时间戳，确定得到的结果是不是大于或者等于参考时间戳，如果是则采用小于实际采集时间的音频单元时长，反之采用大于实际采集时间的音频单元时长。

其中，参考时间戳为在任一音频单元开始采集后，处理器的音频采集线程记录的时间戳。每当采集到一个音频单元时，终端的线程就为该音频单元标记时间戳。参考时间戳可以作为一个参考，用于确定当前的音频单元时长是采用小于实际采集时间的时长，还是采用大于实际采集时间的时长。

可选地，步骤S120可以包括：对于进行音频采集得到的第一个音频单元，将预设的初始时间，确定为第一个音频单元对应的时间戳；对于进行音频采集得到的第一个音频单元之后的任一音频单元，基于音频单元时长和在任一音频单元的前一个音频单元对应的时间戳，确定任一音频单元对应的时间戳。

在实施中，如图2所示，首先可以确定音频单元时长T，然后，在采集到第一个音频单元时，可以将预设的初始时间如0，确定为第一个音频单元对应的时间戳。接着，在采集到第一个音频单元之后的任一音频单元W，可以将任一音频单元W的前一个音频单元对应的时间戳LAST和音频单元时长T之和，赋值给B，即B＝LAST+T。将该B的值和对应的参考时间戳A进行比较，如果B大于或者等于A，则将B确定为任一音频单元W对应的时间戳；如果B小于A，则将B与预设的补偿时间“1”之和，赋值给B，即B＝B+1。最后，设置任一音频单元W对应的时间戳为B。

终端的线程为音频单元标记时间戳的结果可见表1。

表1

音频单元编号	1	2	3	4	5	6	7	8	9	10
											音频单元对应的时间戳	0	40	90	140	180	230	270	320	370	410
音频单元之间的时间差		40	50	50	40	50	40	50	50	40

通过本公开实施例提供的方法为音频单元标记时间戳的结果可见表2。

表2

音频单元编号	1	2	3	4	5	6	7	8	9	10
											音频单元对应的时间戳	0	46	92	139	185	231	277	323	370	416
音频单元之间的时间差		46	46	47	46	46	46	46	47	46

通过表1中的音频单元之间的时间差对应的数据可见，终端的线程为音频单元标记时间戳时，时间间隔不均匀。而采用本公开实施例提供的方法为音频单元标记时间戳时，时间间隔较为均匀，与实际采集时间更为贴合。

步骤S130，基于采集到的每个音频单元对应的时间戳和采集到的每个图像单元对应的时间戳，对音频单元和图像单元进行合成，得到合成视频数据。

在实施中，可以基于音频单元的时间戳和图像单元的时间戳，将音频单元和图像单元合成。具体可以将时间差小于预设的时间差阈值的音频单元和图像单元进行合成。

本公开实施例提供的方法，确定进行音频采集的音频单元时长；基于音频单元时长，确定采集到的每个音频单元对应的时间戳；基于采集到的每个音频单元对应的时间戳和采集到的每个图像单元对应的时间戳，对音频单元和图像单元进行合成，得到合成视频数据。这样，基于音频单元时长确定每个音频单元标记对应的时间戳，时间戳的确定过程不受线程的执行任务的效率所影响，确定的时间戳与实际采集时间相差较小。在基于音频单元的时间戳和图像单元的时间戳，将音频单元和图像单元合成时，不会出现音频和图像不同步的现象。

本公开又一示例性实施例提供了一种合成视频的装置，如图3所示，该装置包括：

第一确定模块310，用于确定进行音频采集的音频单元时长；

第二确定模块320，用于基于所述音频单元时长，确定采集到的每个音频单元对应的时间戳；

合成模块330，用于基于采集到的每个音频单元对应的时间戳和采集到的每个图像单元对应的时间戳，对所述音频单元和所述图像单元进行合成，得到合成视频数据。

可选地，所述第一确定模块310用于：

基于预设的进行音频采集的采集频率、采集通道数和采集位数，确定进行音频采集的音频单元时长。

可选地，所述第二确定模块320包括：

第一确定单元，用于对于进行音频采集得到的第一个音频单元，将预设的初始时间，确定为所述第一个音频单元对应的时间戳；

第二确定单元，用于对于进行音频采集得到的第一个音频单元之后的任一音频单元，基于所述音频单元时长和在所述任一音频单元的前一个音频单元对应的时间戳，确定所述任一音频单元对应的时间戳。

可选地，所述第二确定模块320用于：

对确定出的音频单元时长进行取整处理，基于取整处理后的音频单元时长，确定采集到的每个音频单元对应的时间戳。

可选地，所述第二确定模块320包括：

第三确定单元，用于将在所述任一音频单元的前一个音频单元对应的时间戳与取整处理后的音频单元时长之和，确定为所述任一音频单元对应的待定时间戳；

比较单元，用于将所述待定时间戳和预设的所述任一音频单元对应的参考时间戳进行比较，其中，所述参考时间戳为在所述任一音频单元开始采集后，处理器的音频采集线程记录的时间戳；

第四确定单元，用于当所述待定时间戳小于所述参考时间戳时，将所述待定时间戳与预设的补偿时间之和，确定为所述任一音频单元对应的时间戳；

第五确定单元，用于当所述待定时间戳大于或者等于所述参考时间戳时，将所述待定时间戳确定为所述任一音频单元对应的时间戳。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

采用本公开，基于音频单元时长确定每个音频单元标记对应的时间戳，时间戳的确定过程不受线程的执行任务的效率所影响，确定的时间戳与实际采集时间相差较小。在基于音频单元的时间戳和图像单元的时间戳，将音频单元和图像单元合成时，不会出现音频和图像不同步的现象。

需要说明的是：上述实施例提供的合成视频的装置在合成视频时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的合成视频的装置与合成视频的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图4示出了本发明一个示例性实施例提供的终端1800的结构示意图。该终端1800可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1800包括有：处理器1801和存储器1802。

处理器1801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1801可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1801所执行以实现本申请中方法实施例提供的合成视频的方法。

在一些实施例中，终端1800还可选包括有：外围设备接口1803和至少一个外围设备。处理器1801、存储器1802和外围设备接口1803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1803相连。具体地，外围设备包括：射频电路1804、触摸显示屏1805、摄像头1806、音频电路1807、定位组件1808和电源1809中的至少一种。

外围设备接口1803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1801和存储器1802。在一些实施例中，处理器1801、存储器1802和外围设备接口1803被集成在同一芯片或电路板上；在一些其他实施例中，处理器1801、存储器1802和外围设备接口1803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1805是触摸显示屏时，显示屏1805还具有采集在显示屏1805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1801进行处理。此时，显示屏1805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1805可以为一个，设置终端1800的前面板；在另一些实施例中，显示屏1805可以为至少两个，分别设置在终端1800的不同表面或呈折叠设计；在再一些实施例中，显示屏1805可以是柔性显示屏，设置在终端1800的弯曲表面上或折叠面上。甚至，显示屏1805还可以设置成非矩形的不规则图形，也即异形屏。显示屏1805可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1806用于采集图像或视频。可选地，摄像头组件1806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1801进行处理，或者输入至射频电路1804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1801或射频电路1804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1807还可以包括耳机插孔。

定位组件1808用于定位终端1800的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1808可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1809用于为终端1800中的各个组件进行供电。电源1809可以是交流电、直流电、一次性电池或可充电电池。当电源1809包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1800还包括有一个或多个传感器1810。该一个或多个传感器1810包括但不限于：加速度传感器1811、陀螺仪传感器1812、压力传感器1813、指纹传感器1814、光学传感器1815以及接近传感器1816。

加速度传感器1811可以检测以终端1800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1811可以用于检测重力加速度在三个坐标轴上的分量。处理器1801可以根据加速度传感器1811采集到的重力加速度信号，控制触摸显示屏1805以横向视图或纵向视图进行用户界面的显示。加速度传感器1811还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1812可以检测终端1800的机体方向及转动角度，陀螺仪传感器1812可以与加速度传感器1811协同采集用户对终端1800的3D动作。处理器1801根据陀螺仪传感器1812采集到的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1813可以设置在终端1800的侧边框和/或触摸显示屏1805的下层。当压力传感器1813设置在终端1800的侧边框时，可以检测用户对终端1800的握持信号，由处理器1801根据压力传感器1813采集到的握持信号进行左右手识别或快捷操作。当压力传感器1813设置在触摸显示屏1805的下层时，由处理器1801根据用户对触摸显示屏1805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1814用于采集用户的指纹，由处理器1801根据指纹传感器1814采集到的指纹识别用户的身份，或者，由指纹传感器1814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1814可以被设置终端1800的正面、背面或侧面。当终端1800上设置有物理按键或厂商Logo时，指纹传感器1814可以与物理按键或厂商Logo集成在一起。

光学传感器1815用于采集环境光强度。在一个实施例中，处理器1801可以根据光学传感器1815采集到的环境光强度，控制触摸显示屏1805的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1805的显示亮度；当环境光强度较低时，调低触摸显示屏1805的显示亮度。在另一个实施例中，处理器1801还可以根据光学传感器1815采集到的环境光强度，动态调整摄像头组件1806的拍摄参数。

接近传感器1816，也称距离传感器，通常设置在终端1800的前面板。接近传感器1816用于采集用户与终端1800的正面之间的距离。在一个实施例中，当接近传感器1816检测到用户与终端1800的正面之间的距离逐渐变小时，由处理器1801控制触摸显示屏1805从亮屏状态切换为息屏状态；当接近传感器1816检测到用户与终端1800的正面之间的距离逐渐变大时，由处理器1801控制触摸显示屏1805从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图4中示出的结构并不构成对终端1800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种合成视频的方法，其特征在于，所述方法包括：

确定进行音频采集的音频单元时长；

基于所述音频单元时长，确定采集到的每个音频单元对应的时间戳，其中，对确定出的音频单元时长进行取整处理，将在任一音频单元的前一个音频单元对应的时间戳与取整处理后的音频单元时长之和，确定为所述任一音频单元对应的待定时间戳；将所述待定时间戳和预设的所述任一音频单元对应的参考时间戳进行比较，其中，所述参考时间戳为在所述任一音频单元开始采集后，处理器的音频采集线程记录的时间戳；如果所述待定时间戳小于所述参考时间戳，则将所述待定时间戳与预设的补偿时间之和，确定为所述任一音频单元对应的时间戳；如果所述待定时间戳大于或者等于所述参考时间戳，则将所述待定时间戳确定为所述任一音频单元对应的时间戳；

基于采集到的每个音频单元对应的时间戳和采集到的每个图像单元对应的时间戳，对所述音频单元和所述图像单元进行合成，得到合成视频数据。

2.根据权利要求1所述的方法，其特征在于，所述确定进行音频采集的音频单元时长，包括：

基于预设的进行音频采集的采集频率、采集通道数和采集位数，确定进行音频采集的音频单元时长。

3.根据权利要求1所述的方法，其特征在于，所述基于所述音频单元时长，确定采集到的每个音频单元对应的时间戳，包括：

对于进行音频采集得到的第一个音频单元，将预设的初始时间，确定为所述第一个音频单元对应的时间戳；

对于进行音频采集得到的第一个音频单元之后的任一音频单元，基于所述音频单元时长和在所述任一音频单元的前一个音频单元对应的时间戳，确定所述任一音频单元对应的时间戳。

4.一种合成视频的装置，其特征在于，所述装置包括：

第一确定模块，用于确定进行音频采集的音频单元时长；

第二确定模块，用于基于所述音频单元时长，确定采集到的每个音频单元对应的时间戳，其中，对确定出的音频单元时长进行取整处理，将在任一音频单元的前一个音频单元对应的时间戳与取整处理后的音频单元时长之和，确定为所述任一音频单元对应的待定时间戳；将所述待定时间戳和预设的所述任一音频单元对应的参考时间戳进行比较，其中，所述参考时间戳为在所述任一音频单元开始采集后，处理器的音频采集线程记录的时间戳；如果所述待定时间戳小于所述参考时间戳，则将所述待定时间戳与预设的补偿时间之和，确定为所述任一音频单元对应的时间戳；如果所述待定时间戳大于或者等于所述参考时间戳，则将所述待定时间戳确定为所述任一音频单元对应的时间戳；

合成模块，用于基于采集到的每个音频单元对应的时间戳和采集到的每个图像单元对应的时间戳，对所述音频单元和所述图像单元进行合成，得到合成视频数据。

5.根据权利要求4所述的装置，其特征在于，所述第一确定模块用于：

基于预设的进行音频采集的采集频率、采集通道数和采集位数，确定进行音频采集的音频单元时长。

6.根据权利要求4所述的装置，其特征在于，所述第二确定模块包括：

第一确定单元，用于对于进行音频采集得到的第一个音频单元，将预设的初始时间，确定为所述第一个音频单元对应的时间戳；

第二确定单元，用于对于进行音频采集得到的第一个音频单元之后的任一音频单元，基于所述音频单元时长和在所述任一音频单元的前一个音频单元对应的时间戳，确定所述任一音频单元对应的时间戳。

7.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-3任一所述的合成视频的方法。

8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-3任一所述的合成视频的方法。

Images