CN114339350B - 数据处理方法、装置以及电子设备 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法、装置以及电子设备。电子设备包括视频采集器件，方法包括：当向音频采集设备发送音频采集指令以及向视频采集器件发送视频采集指令后，获取待处理音频数据中第一帧音频数据的时间戳；从待处理视频数据中确定目标帧；获取目标时间段；基于待处理视频数据和待处理音频数据中，至少一个数据进行对齐处理。从而通过上述方式使得采集的音频数据中的第一帧音频数据可以对应到视频数据中实际与该第一帧音频数据同步被采集的视频帧(目标帧)，进而使得编码后的视频数据和编码后的音频数据在播放的过程中，可以更为同步的进行播放。

Description

数据处理方法、装置以及电子设备

技术领域

本申请涉及音频采集领域，更具体地，涉及一种数据处理方法、装置以及电子设备。

背景技术

在一些场景中，需要对特定的对象进行录音。例如，在视频拍摄场景中，电子设备不仅需要进行画面采集，也需要对拍摄场景的声音进行采集。在一些情况下，为了得到更好的录音效果，电子设备可以借助于音频采集设备进行声音的采集。但是，在相关的借助音频采集设备的进行声音采集的方式中，还存在所采集的声音和所采集的画面不同步的问题。

发明内容

鉴于上述问题，本申请提出了一种数据处理方法、装置以及电子设备，以改善上述问题。

第一方面，本申请提供了一种数据处理方法，应用于电子设备，所述电子设备包括视频采集器件，所述方法包括：当向音频采集设备发送音频采集指令以及向所述视频采集器件发送视频采集指令后，获取待处理音频数据中第一帧音频数据的时间戳，所述待处理音频数据为通过所述音频采集设备采集的音频数据；从待处理视频数据中确定目标帧，所述目标帧的时间戳与所述第一帧音频数据的时间戳相同，所述待处理视频数据为通过所述视频采集器件采集的视频数据；获取目标时间段，所述目标时间段的开始时间为所述待处理视频数据的第一帧视频数据的时间戳所标识的时间，所述目标时间段的结束时间为所述目标帧的相邻前一帧视频数据的结束时间；基于所述待处理视频数据和所述待处理音频数据中，至少一个数据进行对齐处理。

第二方面，本申请提供了一种数据处理装置，运行于电子设备，所述电子设备包括视频采集器件，所述装置包括：时间戳获取单元，用于当向音频采集设备发送音频采集指令以及向所述视频采集器件发送视频采集指令后，获取待处理音频数据中第一帧音频数据的时间戳，所述待处理音频数据为通过所述音频采集设备采集的音频数据；目标帧确定单元，用于从待处理视频数据中确定目标帧，所述目标帧的时间戳与所述第一帧音频数据的时间戳相同，所述待处理视频数据为通过所述视频采集器件采集的视频数据；时间段确定单元，用于获取目标时间段，所述目标时间段的开始时间为所述待处理视频数据的第一帧视频数据的时间戳所标识的时间，所述目标时间段的结束时间为所述目标帧的相邻前一帧视频数据的结束时间；音视频对齐单元，用于基于所述待处理视频数据和所述待处理音频数据中，至少一个数据进行对齐处理。

第三方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请提供的一种数据处理方法、装置以及电子设备，当向音频采集设备发送音频采集指令以及向视频采集器件发送的视频采集指令后，会获取通过音频采集设备采集的第一帧音频数据的时间戳，并基于该第一帧音频数据的时间戳从通过视频采集器件采集的视频数据中确定目标帧，然后将通过所述视频采集器件采集的视频数据的第一帧视频数据的时间戳所标识的时间与目标帧的相邻前一帧视频数据的结束时间之间的时间段作为目标时间段，进而基于待处理视频数据和待处理音频数据中的至少一个数据进行对齐处理，以得到对齐后的视频数据和对齐后的音频数据。

从而通过上述方式使得在视频采集器件实际开始采集视频数据的时间，与音频采集设备实际开始采集音频数据的时间不相同，而造成所采集到的音频数据中的第一帧音频数据的时间戳与所采集到的视频数据中的第一帧视频数据的时间戳不相同的情况下，可以通获取目标时间段来对采集的音频数据和视频数据进行对齐处理，以便使得在对视频数据和音频数据进行编码的过程中，采集的音频数据中的第一帧音频数据可以对应到视频数据中实际与该第一帧音频数据同步被采集的视频帧(目标帧)，进而使得编码后的视频数据和编码后的音频数据在播放的过程中，可以更为同步的进行播放。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种电子设备所采集的视频数据和音频数据不同步的示意图；

图2示出了本申请中提出的一种数据处理方法的应用场景示意图；

图3示出了本申请一实施例提出的一种数据处理方法的流程图；

图4示出了本申请实施例中一种触发音频采集指令以及视频采集指令的示意图；

图5示出了本申请实施例中另一种触发音频采集指令以及视频采集指令的示意图；

图6示出了本申请实施例中获取音频采集数据的时间戳的示意图；

图7示出了本申请实施例中目标时间段的示意图；

图8示出了本申请另一实施例提出的一种数据处理方法的流程图；

图9示出了本申请实施例中一种对齐后的视频数据和对齐后的音频数据的示意图；

图10示出了本申请实施例中另一种对齐后的视频数据和对齐后的音频数据的示意图；

图11示出了本申请再一实施例提出的一种数据处理方法的流程图；

图12示出了本申请实施例中再一种对齐后的视频数据和对齐后的音频数据的示意图；

图13示出了本申请实施例提出的一种音频处理装置的结构框图；

图14是本申请实施例的用于保存或者携带实现根据本申请实施例的数据处理方法的程序代码的存储单元。

图15示出了本申请实时中的用于保存或者携带实现根据本申请实施例的数据处理方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在一些场景中，需要对特定的对象进行录音。例如，在视频拍摄场景中，电子设备不仅需要进行画面采集，也需要对拍摄场景的声音(例如，拍摄对象发出的声音)进行采集。在一些情况下，为了得到更好的录音效果，电子设备可以借助于音频采集设备进行声音的采集。

但是，发明人在研究中发现，在相关的借助音频采集设备的进行声音采集的方式中，还存在所采集的声音和所采集的画面不同步的问题。例如，在视频拍摄场景中，电子设备通过自身的视频采集器件进行视频数据采集，并通过音频设备采集进行音频数据采集的情况下，因为音频采集设备与电子设备之间的指令(例如，电子设备控制音频采集设备开始采集音频的指令)需要通过无线通道进行传输，而无线通道进行数据传输会存在延迟的可能，进而就会使得音频数据的实际开始进行采集的时间晚于视频数据的实际开始采集的时间，从而就会造成采集的声音和所采集的画面不同步。并且，在对采集的视频数据和音频数据进行编码的过程中，电子设备的编码模块会自动的将采集的视频数据中的第一帧视频数据，与采集的音频数据中的第一帧音频数据进行对齐，进而就会使得在对编码后的视频数据和编码后的音频数据进行播放的过程中，会出现声音和画面不同步的问题。

例如，如图1所示，通过视频采集器件所采集的视频数据包括视频数据A1(第一帧视频数据)、视频数据A2、视频数据A3、视频数据A4以及视频数据A5。通过音频采集设备所采集的音频数据包括音频数据B1以及音频数据B2。其中，因为前述介绍的原因，实际开始采集视频数据的时间会早于实际开始采集音频数据的时间，例如，视频采集器件在采集视频A3之后，音频采集设备可能才开始采集第一帧音频数据。进而就会造成图1中所示的音频数据的B1(第一帧音频数据)的时间戳和视频数据A4的时间戳相同，那么也就意味着，在完成视频数据A3的采集后，音频数据才开始进行采集。

在编码过程中，相关的编码模块会默认开始从第一帧视频数据和第一帧音频数据进行对齐，进而使得视频数据A1会和音频数据B1对齐，视频数据A2会和音频数据B2对齐，从而使得在播放过程中，视频数据A1会和音频数据B1(实际是和视频数据A4同步采集的)同步进行播放，视频数据A2会和音频数据B2(实际是和视频数据A5同步采集的)同步进行播放，进而出现了声音和画面不同步的问题。

因此，发明人提出了本申请中的一种数据处理方法、装置以及电子设备，当向音频采集设备发送音频采集指令以及向视频采集器件发送的视频采集指令后，会获取通过音频采集设备采集的第一帧音频数据的时间戳，并基于该第一帧音频数据的时间戳从通过视频采集器件采集的视频数据中确定目标帧，然后将通过所述视频采集器件采集的视频数据的第一帧视频数据的时间戳所标识的时间与目标帧的相邻前一帧视频数据的结束时间之间的时间段作为目标时间段，进而基于待处理视频数据和待处理音频数据中的至少一个数据进行对齐处理，以得到对齐后的视频数据和对齐后的音频数据。

从而通过上述方式使得在视频采集器件实际开始采集视频数据的时间，与音频采集设备实际开始采集音频数据的时间不相同，而造成所采集到的音频数据中的第一帧音频数据的时间戳与所采集到的视频数据中的第一帧视频数据的时间戳不相同的情况下，可以通获取目标时间段来对采集的音频数据和视频数据进行对齐处理，以便使得在对视频数据和音频数据进行编码的过程中，采集的音频数据中的第一帧音频数据可以对应到视频数据中实际与该第一帧音频数据同步被采集的视频帧(目标帧)，进而使得编码后的视频数据和编码后的音频数据在播放的过程中，可以更为同步的进行播放。

下面先对本申请实施例涉及的场景进行介绍。

如图2所示，在图2所示的场景中包括有电子设备100以及第一耳机200以及第二耳机(图中未示出)。其中，第一耳机200以及第二耳机可以为TWS(True Wireless Stereo)耳机。作为一种方式，电子设备100可以与第一耳机200基于蓝牙通信方式建立连接，对应的，第一耳机200和第二耳机可以基于蓝牙通信的方式建立通信连接。例如，电子设备100可以基于蓝牙串口传输协议与第一耳机200建立连接。

其中，第一耳机200和第二耳机共同作为音频采集设备，且第一耳机200和第二耳机可以处于图中所示的佩戴状态。在用户操作电子设备100开始进行视频录制后，电子设备可以触发其自身的视频采集器件进行视频数据的采集，并同时触发用户所佩戴的第一耳机200和第二耳机开始进行音频采集，第一耳机200和第二耳机可以将所采集的音频数据传输给电子设备100，从而电子设备100可以执行本申请实施例中提供的数据处理方法。

需要说明的是，在本申请实施例中，音频采集设备除了可以为图2中所示的第一耳机和第二耳机外，还可以为其他的具有音频采集功能的电子设备。

下面将结合附图具体描述本申请的各实施例。

请参阅图3，本申请实施例提供的一种数据处理方法，应用于电子设备，所述电子设备包括视频采集器件，所述方法包括：

S110：当向音频采集设备发送音频采集指令以及向所述视频采集器件发送视频采集指令后，获取待处理音频数据中第一帧音频数据的时间戳，所述待处理音频数据为通过所述音频采集设备采集的音频数据。

其中，在电子设备开始进行视频录制后，若电子设备是通过音频采集设备进行音频采集的情况下，电子设备除了会生成视频采集指令以触发视频采集器件开始进行视频数据采集外，还会生成音频采集指令以触发音频采集设备开始进行音频数据的采集。

在本申请实施例中，对于视频采集指令以及音频采集指令的生成方式可以有多种方式。作为一种方式，如图4所示，可以由电子设备的处理器负责生成视频采集指令以及音频采集指令，并将所生成的视频采集指令发送给视频采集器件，以及将音频采集指令传输给无线通信器件，以便无线通信器件将该音频采集指令传输给音频采集设备。作为另外一种方式，如图5所示，可以由处理器负责触发生成发送给视频采集器件的视频采集指令，视频采集器件在接收到视频采集指令后，再由视频采集器件生成音频采集指令，并通过无线通信器件将该音频采集指令发送给音频采集设备。

在视频采集器件接收到视频采集指令后则会开始进行视频数据的采集，对应的，在音频设备接收到音频采集指令后，也会开始进行音频数据的采集，并且音频采集设备会将所采集的音频数据返回给电子设备。其中，电子设备可以在接收到音频采集设备返回的音频数据后，给返回的音频数据配置时间戳。其中，给音频数据配置时间戳，可以理解为给音频数据中所包括的每帧音频数据配置对应的时间戳，并且，每个音频帧数据对应的时间戳表征了对应音频帧数据的开始时间。

可选的，音频采集设备在接收到音频采集指令后，可以向电子设备返回已经开始进行音频采集的通知消息，电子设备可以将接收到该通知消息的时间作为第一帧音频数据的时间戳，那么对应的，对于在后接收到的音频帧数据的时间戳则可以为在前接收到的音频帧数据的时间戳加上该在前接收到的音频帧数据的帧长。示例性的，如图6所示，在音频采集设备开始进行音频采集后，先后采集并传输给电子设备的音频数据包括音频数据B1、音频数据B2、音频数据B3以及音频数据B4。其中，音频数据B1为传输给电子设备的第一帧音频数据，那么若电子设备接收到音频数据返回的开始进行音频采集的通知消息的时间为T1，那么音频数据B1的时间戳则为T1，对应的，在帧长为t的情况下，在音频数据B1之后接收到的音频数据B2的时间戳则为T1+t，而在音频参数B2之后接收到的音频数据B3的时间戳则为T1+2t，在音频参数B3之后接收到的音频数据B4的时间戳则为T1+3t。

S120：从待处理视频数据中确定目标帧，所述目标帧的时间戳与所述第一帧音频数据的时间戳相同，所述待处理视频数据为通过所述视频采集器件采集的视频数据。

需要说明的是，在本申请实施例中，对待处理视频数据和待处理音频数据进行对齐的目的是使得原本是同步被采集视频数据和音频数据，后续可以被同步的进行播放。并且，因为待处理视频中的每帧视频数据的时间戳都是有顺序的，以及待处理音频数据中的每帧音频数据的时间戳也是有顺序的。那么在将第一帧音频数据与实际同步进行采集的视频数据帧进行对齐后，在第一帧音频数据之后所采集的每帧音频数据也是会与各自对应的实际同步采集的视频数据对齐的。

其中，从待处理视频中所确定的目标帧则可以理解为与第一帧音频数据同步被采集的视频帧数据。例如，基于如图1中所示的情况下，所确定的目标帧可以为视频数据A4。

S130：获取目标时间段，所述目标时间段的开始时间为所述待处理视频数据的第一帧视频数据的时间戳所标识的时间，所述目标时间段的结束时间为所述目标帧的相邻前一帧视频数据的结束时间。

示例性的，如图7所示，视频数据A1为第一帧视频数据，视频数据A3为目标帧(视频帧A4)的相邻前一帧视频数据。对应的，所确定的目标时间段则为图3中所示的时间位置。

S140：基于所述待处理视频数据和所述待处理音频数据中，至少一个数据进行对齐处理。

在本申请实施例中，在基于所述待处理视频数据和所述待处理音频数据中，至少一个数据进行对齐处理后，可以得到对齐后的视频数据和对齐后的音频数据，其中，对齐后的视频数据对应于所述目标时间段的数据的数据量，与所述对齐后的音频数据对应于所述目标时间段的数据的数据量相同。

如前述介绍内容可知，将第一帧音频数据与实际同步进行采集的视频数据帧进行对齐后，在第一帧音频数据之后所采集的每帧音频数据也是会与各自对应的实际同步采集的视频数据对齐的。那么在使得对齐后的视频数据对应于所述目标时间段的数据的数据量，与所述对齐后的音频数据对应于所述目标时间段的数据的数据量相同的情况下，整体的音频数据的数据量和整体的视频数据的数据量则是相同的。并且，在对齐后的视频数据对应于所述目标时间段的数据的数据量，与所述对齐后的音频数据对应于所述目标时间段的数据的数据量相同的情况下，在后续的编码过程中，第一帧音频数据是与实际同步采集的视频数据的是对齐的，因此，编码模块则不会是将第一帧音频数据与在实际同步采集的视频数据之前所采集的视频数据进行对齐，从而保证了在后续的播放过程中的实际同步采集的音频和视频，也是同步的被进行播放。

需要说明的是，对齐后的视频数据对应于所述目标时间段的数据的数据量，与所述对齐后的音频数据对应于所述目标时间段的数据的数据量相同可以理解为对齐后的视频数据对应于所述目标时间段的数据在播放过程中的播放时长，与对齐后的音频数据对应于所述目标时间段的数据在播放过程中的播放时长相同。

本实施例提供的一种数据处理方法，当向音频采集设备发送音频采集指令以及向视频采集器件发送的视频采集指令后，会获取通过音频采集设备采集的第一帧音频数据的时间戳，并基于该第一帧音频数据的时间戳从通过视频采集器件采集的视频数据中确定目标帧，然后将通过所述视频采集器件采集的视频数据的第一帧视频数据的时间戳所标识的时间与目标帧的相邻前一帧视频数据的结束时间之间的时间段作为目标时间段，进而基于待处理视频数据和待处理音频数据中的至少一个数据进行对齐处理，以得到对齐后的视频数据和对齐后的音频数据。

从而通过上述方式使得在视频采集器件实际开始采集视频数据的时间，与音频采集设备实际开始采集音频数据的时间不相同，而造成所采集到的音频数据中的第一帧音频数据的时间戳与所采集到的视频数据中的第一帧视频数据的时间戳不相同的情况下，可以通获取目标时间段来对采集的音频数据和视频数据进行对齐处理，以便使得在对视频数据和音频数据进行编码的过程中，采集的音频数据中的第一帧音频数据可以对应到视频数据中实际与该第一帧音频数据同步被采集的视频帧(目标帧)，进而使得编码后的视频数据和编码后的音频数据在播放的过程中，可以更为同步的进行播放。

请参阅图8，本申请实施例提供的一种数据处理方法，应用于电子设备，所述电子设备包括视频采集器件，所述方法包括：

S210：当向音频采集设备发送音频采集指令以及向所述视频采集器件发送视频采集指令后，获取待处理音频数据中第一帧音频数据的时间戳，所述待处理音频数据为通过所述音频采集设备采集的音频数据。

S220：从待处理视频数据中确定目标帧，所述目标帧的时间戳与所述第一帧音频数据的时间戳相同，所述待处理视频数据为通过所述视频采集器件采集的视频数据。

S230：获取目标时间段，所述目标时间段的开始时间为所述待处理视频数据的第一帧视频数据的时间戳所标识的时间，所述目标时间段的结束时间为所述目标帧的相邻前一帧视频数据的结束时间。

S240：对目标视频数据进行删除操作，以得到对齐后的视频数据和对齐后的音频数据，其中，所述目标视频数据为待处理视频数据中对应于所述目标时间段的视频数据，其中，对齐后的视频数据对应于所述目标时间段的数据的数据量，与所述对齐后的音频数据对应于所述目标时间段的数据的数据量相同。

示例性的，请再参阅图7，基于图7中所示的情况，目标视频数据包括视频数据A1、视频数据A2以及视频数据A3。若对图7中所示的目标视频数据进行删除后，则可以得到图9中所示的情况。其中，图9中示出了一种对齐后的视频数据和一种对齐后的音频数据，其中，对齐后的视频数据和对齐后的音频数据在目标时间段内均不存在数据。那么在后续的编码的过程中，则会直接将第一帧音频数据(音频数据B1)与实际同步进行采集的视频数据A4编码为同步进行播放。

作为一种方式，所述对目标视频数据进行删除操作，以得到对齐后的视频数据和对齐后的音频数据，包括：若所述目标时间段的长度大于指定时间长度，将所述目标视频数据中的第一视频数据删除，得到对齐后的视频数据，所述第一视频数据为从所述目标时间段的开始时间起且播放时长为所述指定时间长度的视频数据；获取参考补齐时长，所述参考补齐时长的开始时间为所述第一视频数据的结束时间，所述参考补齐时长的结束时间为所述目标时间段结束时间；在所述待处理音频数据的第一帧音频数据前补充与所述参考补齐时长对应的音频数据，得到对齐后的音频数据。

示例性的，请再次参阅图7，若图7中的视频数据A1的帧长与指定时间长度，那么则在删除过程中，则可以将待处理视频数据中的视频数据A1删除，进而得到对齐后的视频数据。例如，所得到的对齐后的视频数据包括视频数据A2、视频数据A3、视频数据A4以及视频数据A5。那么所得到的参考补齐时长实际为视频数据A2的开始时间到视频数据A3结束时间之间的长度，进而可以得到图10中所示的用于补齐待处理音频数据的音频数据C1，从而所得到的对齐后的音频数据包括音频数据C1、音频数据B1以及音频数据B2。

可选的，所述在所述待处理音频数据的第一帧音频数据前补充与所述参考补齐时长对应的音频数据，得到对齐后的音频数据，包括：基于音频采集的采样率、音频帧的帧长、音频位数以及音频声道计算得到用于补充的音频数据；将所述用于补充的音频数据补充到所述待处理音频数据的第一帧音频数据前，得到对齐后的音频数据。例如，可以基于数据量＝音频采集的采样率*音频帧的帧长*音频位数*音频声道的方式得到参考数据量，然后获取数据量与该参考数据量相同的音频数据作为用于补充的音频数据。其中，数据量与该参考数据量相同的音频数据的播放时长与参考补齐时长相同。

若所述目标时间段的长度小于所述指定时间长度，将所述目标视频数据进行删除，以得到对齐后的视频数据和对齐后的音频数据。

可选的，指定时间长度可以为500ms。

再者，作为一种方式，可以预先配置有用于生成用于对音频数据进行补充的音频补齐模板。该音频补齐模板可以用于确定对应生成的用于进行补充的音频数据的数据内容。可选的，该音频补齐模板可以有多种，且不同种类的音频补齐模板所生成的用于进行补充的音频数据的数据内容可以不同。那么在这种方式下，在得到对齐后的音频数据的过程中可先获取音频补齐模板，然后基于所述音频补齐模板获取与所述参考补齐时长对应的音频数据，进而将与所述参考补齐时长对应的音频数据补充在所述待处理音频数据的第一帧音频数据前，得到对齐后的音频数据。

本实施例提供的一种数据处理方法，从而通过上述方式使得在视频采集器件实际开始采集视频数据的时间，与音频采集设备实际开始采集音频数据的时间不相同，而造成所采集到的音频数据中的第一帧音频数据的时间戳与所采集到的视频数据中的第一帧视频数据的时间戳不相同的情况下，可以通获取目标时间段来对采集的音频数据和视频数据进行对齐处理，以便使得在对视频数据和音频数据进行编码的过程中，采集的音频数据中的第一帧音频数据可以对应到视频数据中实际与该第一帧音频数据同步被采集的视频帧(目标帧)，进而使得编码后的视频数据和编码后的音频数据在播放的过程中，可以更为同步的进行播放。并且，在本实施例中，可以通过对待处理视频数据中对应于所述目标时间段的视频数据进行删除的方式，使得可以得到对齐的视频数据以及对齐的音频数据，进而实现了可以较为简便的将待处理视频数据和待处理音频数据进行对齐。

请参阅图11，本申请实施例提供的一种数据处理方法，应用于电子设备，所述电子设备包括视频采集器件，所述方法包括：

S310：当向音频采集设备发送音频采集指令以及向所述视频采集器件发送视频采集指令后，获取待处理音频数据中第一帧音频数据的时间戳，所述待处理音频数据为通过所述音频采集设备采集的音频数据。

S320：从待处理视频数据中确定目标帧，所述目标帧的时间戳与所述第一帧音频数据的时间戳相同，所述待处理视频数据为通过所述视频采集器件采集的视频数据。

S330：获取目标时间段，所述目标时间段的开始时间为所述待处理视频数据的第一帧视频数据的时间戳所标识的时间，所述目标时间段的结束时间为所述目标帧的相邻前一帧视频数据的结束时间。

S340：获取播放时长与所述目标时间段的时长相同的音频补充数据。

S350：将所述音频补充数据补充到所述待处理音频数据的第一帧音频数据前，得到对齐后的视频数据和对齐后的音频数据，其中，对齐后的视频数据对应于所述目标时间段的数据的数据量，与所述对齐后的音频数据对应于所述目标时间段的数据的数据量相同。

示例性的，如图12所示，所得到的音频补充数据为音频数据D1。在这种方式中，对齐后的视频数据则与待处理视频数据所包括的内容是一致的，对齐后的音频数据中则会包括音频数据D1、音频数据B1以及音频数据B2。

作为一种方式，所述获取播放时长与所述目标时间段的时长相同的音频补充数据，包括：获取播放时长与所述目标时间段的时长相同的空白音频帧作为音频补充数据，其中，所述空白音频帧在被播放时的声音音量为0。其中，需要说明的是，若播放是的声音音量为0，那么对于实际进行播放的设备而言，则不会播放出声音。

本实施例提供的一种数据处理方法，从而通过上述方式使得在视频采集器件实际开始采集视频数据的时间，与音频采集设备实际开始采集音频数据的时间不相同，而造成所采集到的音频数据中的第一帧音频数据的时间戳与所采集到的视频数据中的第一帧视频数据的时间戳不相同的情况下，可以通获取目标时间段来对采集的音频数据和视频数据进行对齐处理，以便使得在对视频数据和音频数据进行编码的过程中，采集的音频数据中的第一帧音频数据可以对应到视频数据中实际与该第一帧音频数据同步被采集的视频帧(目标帧)，进而使得编码后的视频数据和编码后的音频数据在播放的过程中，可以更为同步的进行播放。并且，在本实施例中，可以通过对待处理音频数据进行音频数据补充的方式，得到对齐后的音频数据和对齐后的视频数据。

需要说明的是，在本申请实施例中，电子设备可以基于谷歌的MediaRecorder录制流程框架控制电子设备进行视频录制过程中的视频数据以及音频数据的采集。在通过视频采集器件开始进行视频数据采集时，电子设备会创建MediaRecorder对象，并且会通过AudioSource类创建AudioRecorder对象，AudioRecorder对象通过回调的dataCallback函数循环读取音频采集设备返回的音频数据。

dataCallback回调函数可以分为三个主要步骤，一是通过调用getTimestamp函数，从AudioFlinger获取采集的音频的时间戳和数据量。二是通过getInputFramesLost函数获取当次dataCallback循环过程中底层录制丢失的数据量，dataCallback回调函数会一直调用到hal(硬件抽象)层，并且，在单独的一次录音循环中，丢失的数据量忽略不计。三是通过queueInputBuffer_l函数，将读取到的音频写入buffer中，准备进行下一步的编码工作。这里在写入有效数据之前，会对上一步getInputFramesLost中获取的丢失数据量进行判断，若非空则会循环补零之后才会写入读取的有效数据到buffer中。

从而基于MediaRecorder录制流程框架，电子设备可以在AudioRecord中创建时间戳变量，进而可以在AudioRecord中调取上传的每一帧音频数据的时间戳，进行待处理音频数据和待处理视频数据的对齐，以得到对齐后的音频数据和对齐后的视频数据。

再者，需要说明的是，在本申请实施例中，作为一种方式，可以由无线耳机作为音频采集设备。并且，该无线耳机可以包括有如图1所示的第一耳机200和第二耳机，那么在这种情况下，第一耳机200和第二耳机可以同时进行音频采集。例如，第一耳机200用于采集左声道音频数据，第二耳机用于才右声道音频数据，那么在这种情况下，电子设备所得到的待处理音频数据则可以包括待处理的左声道音频数据以及待处理的右声道音频数据。并且，可选的，电子设备所得到的左声道音频数据以及待处理的右声道音频数据本身就是处于对齐状态的。因此，在待处理音频数据则可以包括待处理的左声道音频数据以及待处理的右声道音频数据的情况下，则电子设备可以基于待处理的左声道音频数据和待处理视频数据进行对齐处理，以及基于待处理的右声道音频数据和待处理视频数据进行对齐处理，从而得到对齐后的左声道音频数据、对齐后的右声道音频数据以及对齐后的视频数据。从而使得电子设备在视频录制过程中，所采集的音频数据不仅具有立体声的播放效果，并且也可以更好的与视频数据进行同步播放。

请参阅图13，本申请实施例提供的一种数据处理装置400，运行于电子设备，所述电子设备包括视频采集器件，所述装置400包括：

时间戳获取单元410，用于当向音频采集设备发送音频采集指令以及向所述视频采集器件发送视频采集指令后，获取待处理音频数据中第一帧音频数据的时间戳，所述待处理音频数据为通过所述音频采集设备采集的音频数据。

目标帧确定单元420，用于从待处理视频数据中确定目标帧，所述目标帧的时间戳与所述第一帧音频数据的时间戳相同，所述待处理视频数据为通过所述视频采集器件采集的视频数据。

时间段确定单元430，用于获取目标时间段，所述目标时间段的开始时间为所述待处理视频数据的第一帧视频数据的时间戳所标识的时间，所述目标时间段的结束时间为所述目标帧的相邻前一帧视频数据的结束时间。

音视频对齐单元440，用于基于所述待处理视频数据和所述待处理音频数据中，至少一个数据进行对齐处理，以得到对齐后的视频数据和对齐后的音频数据，其中，对齐后的视频数据对应于所述目标时间段的数据的数据量，与所述对齐后的音频数据对应于所述目标时间段的数据的数据量相同。

作为一种方式，音视频对齐单元440，具体用于对目标视频数据进行删除操作，以得到对齐后的视频数据和对齐后的音频数据，其中，所述目标视频数据为待处理视频数据中对应于所述目标时间段的视频数据。

可选的，音视频对齐单元440，具体用于若所述目标时间段的长度大于指定时间长度，将所述目标视频数据中的第一视频数据删除，得到对齐后的视频数据，所述第一视频数据为从所述目标时间段的开始时间起且播放时长为所述指定时间长度的视频数据；获取参考补齐时长，所述参考补齐时长的开始时间为所述第一视频数据的结束时间，所述参考补齐时长的结束时间为所述目标时间段结束时间；在所述待处理音频数据的第一帧音频数据前补充与所述参考补齐时长对应的音频数据，得到对齐后的音频数据。

可选的，音视频对齐单元440，具体用于基于音频采集的采样率、音频帧的帧长、音频位数以及音频声道计算得到用于补充的音频数据；将所述用于补充的音频数据补充到所述待处理音频数据的第一帧音频数据前，得到对齐后的音频数据。

可选的，音视频对齐单元440，具体用于若所述目标时间段的长度小于所述指定时间长度，将所述目标视频数据进行删除，以得到对齐后的视频数据和对齐后的音频数据。

作为一种方式，音视频对齐单元440，具体用于获取播放时长与所述目标时间段的时长相同的音频补充数据；将所述音频补充数据补充到所述待处理音频数据的第一帧音频数据前，得到对齐后的视频数据和对齐后的音频数据。可选的，音视频对齐单元440，具体用于获取播放时长与所述目标时间段的时长相同的空白音频帧作为音频补充数据，其中，所述空白音频帧在被播放时的声音音量为0。

本实施例提供的一种数据处理装置，通过上述方式使得在视频采集器件实际开始采集视频数据的时间，与音频采集设备实际开始采集音频数据的时间不相同，而造成所采集到的音频数据中的第一帧音频数据的时间戳与所采集到的视频数据中的第一帧视频数据的时间戳不相同的情况下，可以通获取目标时间段来对采集的音频数据和视频数据进行对齐处理，以便使得在对视频数据和音频数据进行编码的过程中，采集的音频数据中的第一帧音频数据可以对应到视频数据中实际与该第一帧音频数据同步被采集的视频帧(目标帧)，进而使得编码后的视频数据和编码后的音频数据在播放的过程中，可以更为同步的进行播放。

需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

请参阅图14，基于上述的数据处理方法、装置，本申请实施例还提供的另一种可以执行前述数据处理方法的电子设备1000。电子设备1000包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104、无线通信器件106、传感器模块108以及视频采集器件110。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。

其中，处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备1000的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。

存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。

所述无线通信器件106用于实现电子设备1000与其他设备之间的信息交互，例如，传输设备控制指令、操纵请求指令以及状态信息获取指令等。而当电子设备1000具体为不同的设备时，其对应的无线通信器件106可能会有不同。可选的，无线通信器件106可以基于蓝牙通信方式与其他设备之间进行信息交互。例如，该其他设备可以为TWS耳机，电子设备可以向TWS耳机发送音频采集指令，对应的，TWS耳机可以将采集的音频数据传输给无线通信器件106。

传感器模块108可以包括至少一种传感器。具体地，传感器模块108可包括但并不限于：光传感器、运动传感器、压力传感器、红外热传感器、距离传感器、加速度传感器、以及其他传感器。

其中，压力传感器可以检测由按压在电子设备1000产生的压力的传感器。即，压力传感器检测由用户和电子设备之间的接触或按压产生的压力，例如由用户的耳朵与移动终端之间的接触或按压产生的压力。因此，压力传感器可以用来确定在用户与电子设备1000之间是否发生了接触或者按压，以及压力的大小。

其中，加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备1000姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。另外，电子设备1000还可配置陀螺仪、气压计、湿度计、温度计等其他传感器，在此不再赘述。

视频采集器件110，用于进行音频信号采集。可选的，视频采集器件110包括有多个音频采集器件。该音频采集器件可以为麦克风。

作为一种方式，电子设备1000的网络模块为射频模块，该射频模块用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。所述射频模块可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。例如，该射频模块可以通过发送或者接收的电磁波与设备进行信息交互，进而接收设备所发送的音频信号。

再者，电子设备1000还可以包括有视频采集器件以进行图像采集。例如，可以通过该视频采集器件拍摄视频、静态图片或者动态图片。

请参考图15，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质900中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质900包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码910的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码910可以例如以适当形式进行压缩。

综上所述，本申请提供的一种数据处理方法、装置以及电子设备，当向音频采集设备发送音频采集指令以及向视频采集器件发送的视频采集指令后，会获取通过音频采集设备采集的第一帧音频数据的时间戳，并基于该第一帧音频数据的时间戳从通过视频采集器件采集的视频数据中确定目标帧，然后将通过所述视频采集器件采集的视频数据的第一帧视频数据的时间戳所标识的时间与目标帧的相邻前一帧视频数据的结束时间之间的时间段作为目标时间段，进而基于待处理视频数据和待处理音频数据中的至少一个数据进行对齐处理，以得到对齐后的视频数据和对齐后的音频数据。

从而通过上述方式使得在视频采集器件实际开始采集视频数据的时间，与音频采集设备实际开始采集音频数据的时间不相同，而造成所采集到的音频数据中的第一帧音频数据的时间戳与所采集到的视频数据中的第一帧视频数据的时间戳不相同的情况下，可以通获取目标时间段来对采集的音频数据和视频数据进行对齐处理，以便使得在对视频数据和音频数据进行编码的过程中，采集的音频数据中的第一帧音频数据可以对应到视频数据中实际与该第一帧音频数据同步被采集的视频帧(目标帧)，进而使得编码后的视频数据和编码后的音频数据在播放的过程中，可以更为同步的进行播放。再者，在对齐后的音频数据和对齐后的视频数据中，对于目标时间段内的数量量都是相同的，从而使得在对齐后的视频数据的播放过程中，播放设备不会因为目标时间段内仅有视频数据而没有音频数据而跳过对目标时间段内的视频数据的播放而造成跳帧的问题。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种数据处理方法，其特征在于，应用于电子设备，所述电子设备包括视频采集器件，所述方法包括：

当向音频采集设备发送音频采集指令以及向所述视频采集器件发送视频采集指令后，获取待处理音频数据中第一帧音频数据的时间戳，所述待处理音频数据为通过所述音频采集设备采集的音频数据，所述音频采集指令为通过无线通道传输给所述音频采集设备；

从待处理视频数据中确定目标帧，所述目标帧的时间戳与所述第一帧音频数据的时间戳相同，所述待处理视频数据为通过所述视频采集器件采集的视频数据；

获取目标时间段，所述目标时间段的开始时间为所述待处理视频数据的第一帧视频数据的时间戳所标识的时间，所述目标时间段的结束时间为所述目标帧的相邻前一帧视频数据的结束时间；

对目标视频数据进行删除操作，以得到对齐后的视频数据和对齐后的音频数据，其中，所述目标视频数据为待处理视频数据中对应于所述目标时间段的视频数据。

2.根据权利要求1所述的方法，其特征在于，所述对目标视频数据进行删除操作，以得到对齐后的视频数据和对齐后的音频数据，包括：

若所述目标时间段的长度大于指定时间长度，将所述目标视频数据中的第一视频数据删除，得到对齐后的视频数据，所述第一视频数据为从所述目标时间段的开始时间起且播放时长为所述指定时间长度的视频数据；

获取参考补齐时长，所述参考补齐时长的开始时间为所述第一视频数据的结束时间，所述参考补齐时长的结束时间为所述目标时间段结束时间；

在所述待处理音频数据的第一帧音频数据前补充与所述参考补齐时长对应的音频数据，得到对齐后的音频数据。

3.根据权利要求2所述的方法，其特征在于，所述在所述待处理音频数据的第一帧音频数据前补充与所述参考补齐时长对应的音频数据，得到对齐后的音频数据，包括：

基于音频采集的采样率、音频帧的帧长、音频位数以及音频声道计算得到用于补充的音频数据；

将所述用于补充的音频数据补充到所述待处理音频数据的第一帧音频数据前，得到对齐后的音频数据。

4.根据权利要求3所述的方法，其特征在于，所述基于音频采集的采样率、音频帧的帧长、音频位数以及音频声道计算得到用于补充的音频数据，包括：

获取所述音频采集的采样率、音频帧的帧长、音频位数以及音频声道乘积作为参考数据量；

获取数据量与所述参考数据量相同的音频数据作为用于补充的音频数据。

5.根据权利要求2所述的方法，其特征在于，所述在所述待处理音频数据的第一帧音频数据前补充与所述参考补齐时长对应的音频数据，得到对齐后的音频数据，包括：

获取音频补齐模板；

基于所述音频补齐模板获取与所述参考补齐时长对应的音频数据；

将与所述参考补齐时长对应的音频数据补充在所述待处理音频数据的第一帧音频数据前，得到对齐后的音频数据。

6.根据权利要求1所述的方法，其特征在于，所述对目标视频数据进行删除操作，以得到对齐后的视频数据和对齐后的音频数据，包括：

若所述目标时间段的长度小于指定时间长度，将所述目标视频数据进行删除，以得到对齐后的视频数据和对齐后的音频数据。

7.一种数据处理装置，其特征在于，运行于电子设备，所述电子设备包括视频采集器件，所述装置包括：

时间戳获取单元，用于当向音频采集设备发送音频采集指令以及向所述视频采集器件发送视频采集指令后，获取待处理音频数据中第一帧音频数据的时间戳，所述待处理音频数据为通过所述音频采集设备采集的音频数据，所述音频采集指令为通过无线通道传输给所述音频采集设备；

目标帧确定单元，用于从待处理视频数据中确定目标帧，所述目标帧的时间戳与所述第一帧音频数据的时间戳相同，所述待处理视频数据为通过所述视频采集器件采集的视频数据；

时间段确定单元，用于获取目标时间段，所述目标时间段的开始时间为所述待处理视频数据的第一帧视频数据的时间戳所标识的时间，所述目标时间段的结束时间为所述目标帧的相邻前一帧视频数据的结束时间；

音视频对齐单元，用于对目标视频数据进行删除操作，以得到对齐后的视频数据和对齐后的音频数据，其中，所述目标视频数据为待处理视频数据中对应于所述目标时间段的视频数据。

8.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-6任一所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行权利要求1-6任一所述的方法。