CN114071134A

CN114071134A - 声画同步的检测方法、生成方法、电子设备及存储介质

Info

Publication number: CN114071134A
Application number: CN202210036534.4A
Authority: CN
Inventors: 李亮
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2022-01-13
Filing date: 2022-01-13
Publication date: 2022-02-18

Abstract

本申请提供一种声画同步的检测方法、生成方法、电子设备及存储介质，属于电子设备技术领域，应用于包括第一电子设备和第二电子设备的系统，方法包括：第一电子设备获取第一音视频文件，音视频文件包括音频和视频；第一电子设备分别在所述音频上添加多个音频标签，得到待测音频，以及在视频上添加多个视频标签，得到待测视频，并根据待测音频和待测视频生成第二音视频文件，音频标签和视频标签基于特定帧建立关联；第一电子设备将第二音视频文件发送给第二电子设备；第二电子设备根据至少一个音频标签和视频标签，确定待测音频和所述待测视频的时间差，以确定待测音频和待测音频是否同步。该方法能够大大提高声画同步检测的效率和准确性。

Description

声画同步的检测方法、生成方法、电子设备及存储介质

技术领域

本发明涉及电子技术领域，尤其涉及声画同步的检测方法、生成方法、电子设备及存储介质。

背景技术

随着互联网技术的发展，电子设备的功能越来越多，例如现有的投屏、协同功能，设备A上的音视频可以投屏到设备B上，实现在设备A和设备B上同时播放同一个音视频，用户可以通过这些功能将小屏设备上的音视频投放到大屏设备上进行播放，从而得到更高的音视频体验。然而，由于在在设备间投放音视频的过程中，接收设备是通过不同的设备获取的图像数据和音频数据是分两个不同的链路进行的传输，若中间出现卡顿等情况，在接收设备B上播放音视频时就会出现声音和视频不同步的情况，使用户的体验降低。现有的声画同步检测的方法检测的准确性较低，从而影响检测效率，且影响用户对声画同步高要求的体验。

发明内容

有鉴于此，本发明提供一种声画同步的检测方法、生成方法、电子设备及存储介质，用以解决在声画同步检测不准确，效率低的问题。

本申请的一些实施方式提供了一种声画同步的检测方法、生成方法、电子设备及存储介质。以下从多个方面介绍本申请，以下多个方面的实施方式和有益效果可互相参考。

第一方面，本发明提供一种声画同步的检测方法，方法包括：第一电子设备获取第一音视频文件，音视频文件包括音频和视频；第一电子设备分别在音频上添加多个音频标签，得到待测音频，以及在视频上添加多个视频标签，得到待测视频，并根据待测音频和待测视频生成第二音视频文件，音频标签和视频标签基于特定帧建立关联，用于音画同步检测；第一电子设备将第二音视频文件发送给第二电子设备；第二电子设备根据至少一个音频标签和视频标签，确定待测音频和待测视频的时间差，以确定待测音频和待测音频是否同步。

根据本申请实施例的方法，通过分别在音频和视频上设置音频标签和视频标签，且音频标签和视频标签基于特定帧建立关联，可以快速精准的检测声画延时。且即使音频和视频时间差大于一个音画同步周期，也可准确识别音画同步的时间差，检测的效率和准确性大大的提高。

在上述第一方面的一种可能的实现中，第一电子设备在音频上添加多个音频标签，包括：第一电子设备以第一预设时长为一个音频播放周期，在每一个周期内音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，其中，标识音频的频率与周期数成预设比例关系，第一预设时长大于第二预设时长。通过固定时长的周期，便于音频标签与视频标签建立对应关联，且第一预设时长大于第二预设时长可以避免音频标签被设置在下一个周期的音频内，影响计算的准确性。

在上述第一方面的一种可能的实现中，音频标签为正弦波音频，正弦波的频率和周期数成正比例关系。该正弦波音频便于与原音频区分和检测出来。

在上述第一方面的一种可能的实现中，第一电子设备，在一个周期内的音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，包括：第一电子设备根据预设采样率获得在第二预设时长内的等差数列元素；第一电子设备使用等差数列元素作为音频采样点生成正弦波数据，并将对应的正弦波数据保存到对应周期数的音频内。

在上述第一方面的一种可能的实现中，第一预设时长为一秒。

在上述第一方面的一种可能的实现中，第一电子设备在视频上添加多个视频标签，包括：第一电子设备将视频中的图像帧按照播放的先后顺序，在每一图像帧上生成至少包括有帧号的视频标签，其中，在一个周期内的音频对应预设数量的图像帧，以使音频标签和视频标签基于特定帧建立关联。

在上述第一方面的一种可能的实现中，视频标签还包括标识轮廓，以及标识方向。便于对视频标签的快速识别。

在上述第一方面的一种可能的实现中，第二电子设备根据至少一个音频标签和视频标签，确定音频和视频的时间差，包括：第二电子设备基于待测音频中的标识音频确定出至少一个标识音频对应的音频被播放的时间点t1；第二电子设备根据音频标签和视频标签基于特定帧建立的关联，确定出至少一个标识音频对应的待测视频中的至少一个帧号，基于帧号确定出与标识音频对应的图像帧被播放的时间点t2；第二电子设备基于时间点t1和时间点t2确定待测音频和待测视频的时间差。采用标识音频与帧号的关联关系可以快速的确定出于音频标签关联的图像帧，进而计算出时间差。

在上述第一方面的一种可能的实现中，第二电子设备基于待测音频中的标识音频确定出当前标识音频对应的音频被播放的时间点t1，包括：第二电子设备基于待测音频中的声音进行傅里叶变换，获取当前标识音频对应的频率出现的时间点，将该时间点作为被播放的时间点t1。

在上述第一方面的一种可能的实现中，第二电子设备，基于帧号确定出与标识音频对应的图像帧被播放的时间点t2，包括：第二电子设备对每一帧的图片进行灰度处理，转化成二值化的图像；第二电子设备获取二值化的图像中的轮廓，筛选出视频标签的二维码图像；第二电子设备对二维码图像进行解码，获取与标识音频对应的帧号，基于帧号确定出对应的帧图像被播放的时间点t2。

第二方面，本申请提供一种声画同步的检测方法，应用于包括第一电子设备、第二电子设备和第三电子设备的系统，方法包括：第一电子设备获取第一音视频文件，音视频文件包括音频和视频；第一电子设备分别在音频上添加多个音频标签，得到待测音频，以及在视频上添加多个视频标签，得到待测视频，并根据待测音频和待测视频生成第二音视频文件，音频标签和视频标签基于特定帧建立关联，用于音画同步检测；第一电子设备将第二音视频文件发送给第二电子设备，以使第二电子设备播放第二音视频文件；第三电子设备从第二电子设备上实时获取第二音视频文件，并根据第二音视频文件中的至少一个音频标签和视频标签，确定待测音频和待测视频的时间差，以确定待测音频和待测视频是否同步。

在上述第二方面的一种可能的实现中，第一电子设备在音频上添加多个音频标签，包括：第一电子设备以第一预设时长为一个音频播放周期，在每一个周期内音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，其中，标识音频的频率与周期数成预设比例关系，第一预设时长大于第二预设时长。通过固定时长的周期，便于音频标签与视频标签建立对应关联，且第一预设时长大于第二预设时长可以避免音频标签被设置在下一个周期的音频内，影响计算的准确性。

在上述第二方面的一种可能的实现中，音频标签为正弦波音频，正弦波的频率和周期数成正比例关系。

在上述第二方面的一种可能的实现中，第一电子设备，在一个周期内的音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，包括：第一电子设备根据预设采样率获得在第二预设时长内的等差数列元素；第一电子设备使用等差数列元素作为音频采样点生成正弦波数据，并将对应的正弦波数据保存到对应周期数的音频内。

在上述第二方面的一种可能的实现中，第一预设时长为一秒。

在上述第二方面的一种可能的实现中，第一电子设备在视频上添加多个视频标签，包括：第一电子设备将视频中的图像帧按照播放的先后顺序，在每一图像帧上生成至少包括有帧号的视频标签，其中，在一个周期内的音频对应预设数量的图像帧，以使音频标签和视频标签基于特定帧建立关联。

在上述第二方面的一种可能的实现中，视频标签还包括标识轮廓，以及标识方向的。便于对视频标签的快速识别。

在上述第二方面的一种可能的实现中，第三电子设备根据第二音视频文件中的至少一个音频标签和视频标签，确定音频和视频的时间差，包括：第三电子设备基于待测音频中的标识音频确定出至少一个标识音频对应的音频被播放的时间点t1；第三电子设备基于音频标签和视频标签基于特定帧建立关联，确定出至少一个标识音频对应的待测视频中的至少一个帧号，基于帧号确定出与标识音频对应的图像帧被播放的时间点t2；第三电子设备基于时间点t1和时间点t2确定待测音频和待测视频的时间差。采用标识音频与帧号的关联关系可以快速的确定出于音频标签关联的图像帧，进而计算出时间差。

在上述第二方面的一种可能的实现中，第三电子设备基于待测视频中的标识音频确定出当前标识音频对应的音频被播放的时间点t1，包括：第三电子设备基于待测音频中的声音进行傅里叶变换，获取当前标识音频对应的频率出现的时间点，将该时间点作为被播放的时间点t1。

在上述第二方面的一种可能的实现中，第三电子设备，基于帧号确定出与标识音频对应的图像帧被播放的时间点t2，包括：第三电子设备对每一帧的图片进行灰度处理，转化成二值化的图像；第三电子设备获取二值化的图像中的轮廓，筛选出视频标签的二维码图像；第三电子设备对二维码图像进行解码，获取与标识音频对应的帧号，基于帧号确定出对应的帧图像被播放的时间点t2。

在上述第二方面的一种可能的实现中，第三电子设备通过录制的方式从第二电子设备上实时获取由第二电子设备播放的待测音频和待测视频。

第三方面，本申请提供一种用于声画同步文件的生成方法，应用于电子设备，方法包括：电子设备获取第一音视频文件，音视频文件包括音频和视频；电子设备分别在音频上添加多个音频标签，得到待测音频，以及在视频上添加多个视频标签，得到待测视频，并根据待测音频和待测视频生成第二音视频文件，音频标签和视频标签基于特定帧建立关联，用于音画同步检测。

根据本申请实施例的方法，可以实现在音频和视频上设置音频标签和视频标签，且音频标签和视频标签基于特定帧建立关联，便于快速精准的检测声画延时。且即使音频和视频时间差大于一个音画同步周期，也可准确识别音画同步的时间差，检测的效率和准确性大大的提高。

在上述第三方面的一种可能的实现中，电子设备在音频上添加多个音频标签，包括：

电子设备以第一预设时长为一个音频播放周期，在每一个周期内音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，其中，标识音频的频率与周期数成预设比例关系，第一预设时长大于第二预设时长。

在上述第三方面的一种可能的实现中，音频标签为正弦波音频，正弦波的频率和周期数成正比例关系。

在上述第三方面的一种可能的实现中，电子设备，在一个周期内的音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，包括：电子设备根据预设采样率获得在第二预设时长内的等差数列元素；电子设备使用等差数列元素作为音频采样点生成正弦波数据，并将对应的正弦波数据保存到对应周期数的音频内。

在上述第三方面的一种可能的实现中，第一预设时长为一秒。

在上述第三方面的一种可能的实现中，电子设备在视频上添加多个视频标签，包括：

电子设备将视频中的图像帧按照播放的先后顺序，在每一图像帧上生成至少包括有帧号的视频标签，其中，在一个周期内的音频对应预设数量的图像帧，以使音频标签和视频标签基于特定帧建立关联。

第四方面，本发明提供一种电子装置，包括：

获取模块，用于获取第一音视频文件，音视频文件包括音频和视频；

生成模块，用于分别在音频上添加多个音频标签，得到待测音频，以及在视频上添加多个视频标签，得到待测视频；

合成模块，用于根据待测音频和待测视频生成第二音视频文件，音频标签和视频标签基于特定帧建立关联，用于音画同步检测。

根据本申请实施例的电子装置，可以实现在音频和视频上设置音频标签和视频标签，且音频标签和视频标签基于特定帧建立关联，便于快速精准的检测声画延时。且即使音频和视频时间差大于一个音画同步周期，也可准确识别音画同步的时间差，检测的效率和准确性大大的提高。

在上述第四方面的一种可能的实现中，生成模块用于以第一预设时长为一个音频播放周期，在每一个周期内音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，其中，标识音频的频率与周期数成预设比例关系，第一预设时长大于第二预设时长。

在上述第四方面的一种可能的实现中，音频标签为正弦波音频，正弦波的频率和周期数成正比例关系。

在上述第四方面的一种可能的实现中，生成模块进一步用于：根据预设采样率获得在第二预设时长内的等差数列元素；使用等差数列元素作为音频采样点生成正弦波数据，并将对应的正弦波数据保存到对应周期数的音频内。

在上述第四方面的一种可能的实现中，第一预设时长为一秒。

在上述第四方面的一种可能的实现中，生成模块进一步用于将视频中的图像帧按照播放的先后顺序，在每一图像帧上生成至少包括有帧号的视频标签，其中，在一个周期内的音频对应预设数量的图像帧，以使音频标签和视频标签基于特定帧建立关联。

第五方面，本申请还提供一种电子设备，该装置包括：

摄像头，用于获取第二音视频文件中的待测音频，其中，待测音频包括音频标签；

拾音器，用于获取第二音视频文件中的待测视频，其中，待测视频包括视频标签；

处理器，用于根据第二音视频文件中的至少一个音频标签和视频标签，确定待测音频和待测视频的时间差，以确定待测音频和待测音频是否同步。

根据本申请实施例的电子设备，通过分别在音频和视频上设置音频标签和视频标签，且音频标签和视频标签基于特定帧建立关联，可以快速精准的检测声画延时。且即使音频和视频时间差大于一个音画同步周期，也可准确识别音画同步的时间差，检测的效率和准确性大大的提高。

在上述第五方面的一种可能的实现中，处理器用于：基于待测音频中的标识音频确定出至少一个标识音频对应的音频被播放的时间点t1；

处理器用于：基于音频标签和视频标签基于特定帧建立关联，确定出至少一个标识音频对应的待测视频中的至少一个帧号，基于帧号确定出与标识音频对应的图像帧被播放的时间点t2；

处理器用于：基于时间点t1和时间点t2确定待测音频和待测视频的时间差。

在上述第五方面的一种可能的实现中，第三电子设备基于待测音频中的声音进行傅里叶变换，获取当前标识音频对应的频率出现的时间点，将该时间点作为被播放的时间点t1。

在上述第五方面的一种可能的实现中，处理器进一步用于：对每一帧的图片进行灰度处理，转化成二值化的图像；获取二值化的图像中的轮廓，筛选出视频标签的二维码图像；对二维码图像进行解码，获取与标识音频对应的帧号，基于帧号确定出对应的帧图像被播放的时间点t2。

在上述第五方面的一种可能的实现中，电子设备通过摄像头从另一电子设备上实时录制的方式，以获取待测音频，通过拾音器录制的方式获取待测视频。

第六方面，本申请还提供一种电子设备，包括：

存储器，用于存储由设备的一个或多个处理器执行的指令；

处理器，用于执行指令，使得电子设备执行上述第二方面实施例中的第一电子设备执行的方法，或第二电子设备执行的方法，或第三电子设备执行的方法。

第七方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被电子设备运行时，使得电子设备执行上述第一方面实施例中的第一电子设备执行的方法，或第二电子设备执行的方法，或第三电子设备执行的方法。

第八方面，本申请的公开了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面实施例中第一电子设备执行的方法，或第二电子设备执行的方法，或第三电子设备执行的方法。

附图说明

图1为本申请一个实施例的声画同步检测系统的场景图；

图2a为一种专业工具测试音视频源的示意图；

图2b为一种方案中的音视频检测方法的示意图；

图2c为本申请一个实施例的不同于图1的另一声画同步检测系统的场景图；

图3a为本申请一个实施例的第一电子设备的硬件结构示意图；

图3b为本申请一个实施例的第二电子设备的硬件结构示意图；

图4为本申请一个实施例的声画同步的检测方法的交互流程图；

图5a为本申请一个实施例的音频标签的频率随秒数变化的示意图；

图5b为本申请一个实施例的含有音频标签的声音文件及对应的频率示意图；

图6a为本申请一个实施例的二维码的结构示意图；

图6b为本申请一个实施例的帧号与音频的频率对应的关系表；

图6c为本申请一个实施例的音频频率与帧号的对应关系示意图；

图7为本申请一个实施例的电视界面和手机界面的示意图；

图8a为本申请一个实施例的傅里叶变换后的音频标签随时间变化图；

图8b为本申请一个实施例的1000HZ音频标签出现的时间点的示意图；

图9为本申请一个实施例的视频标签的结构图；

图10为本申请一个实施例的音频标签与视频标签对应的时间点的关系图；

图11为本申请一个实施例的电子装置的结构示意图；

图12为本申请一个实施例的电子设备的结构示意图；

图13为本申请一些实施例的一种片上系统的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

参考图1，图1示例性示出了本申请实施例的声画同步检测系统的场景图。该场景图中包括第一电子设备和第二电子设备，如图1所示，分别以手机101（作为第一电子设备）和智能电视102（作为第二电子设备）为例，其中，手机101和电视102通过网络连接。手机101可以通过投屏、协同等功能，将设备101上播放的音视频实时投放到大屏102中，使手机101和电视102上同时播放该音视频。如图1所示，用户可以将小屏手机上的音视频投放到大屏电视102上，用户可以通过大屏观看手机上播放的音视频，提高用户的视觉体验。

下面为了便于对本申请技术方案的理解，结合图1的场景图，对本申请所要解决的技术问题进行分析。

如图1所示，当手机101向电视102投放音视频时，其中，音视频中的音频通过链路1投放到设备102上，视频通过链路2投放到设备102上。电视102将接收到的音频和视频按照接收的时间点将视频和音频进行合并，并进行播放。然而当链路1和链路2任何一方出现网络延时等情况，均会导致电视102接收到音频和视频在播放时，出现不同步的情况，这样将会影响用户的体验。

为了解决这个问题，一种方案是通过人工或工具等方式进行确定时延，然后这些方法检测时延的结果并不精准，依然会导致视频或音频不同步的问题。

举例说明，参考图2a，图2a示出了专业工具测试音视频源的示意图。如图2a中的（1）为一个周期的音频，将一个周期的音频的起始时间作为音频播放的时间点，如图2a中（2）所示，当中间的指针10指到中间位置时，记录图像帧的时间。在将靠近音频播放的时间点出现的图像帧的时间点进行计算，得到音频与视频的时延。当图像帧出现的时间晚于音频的一个周期时，容易导致计算的结果不准确。

举例说明，参考图2b所示，图2b示出了一种方案的音视频检测方法的示意图。如图2b中的（1）所示，第一个周期的音频播放的时间点为T2，第二个周期音频播放时间点为T1。如图2b中的（2）所示，第一帧图像帧播放的时间点为T3，第二帧图像帧播放的时间点T4。当图像帧时延的时间未超过音频的一个周期时，目前的方案通过T2-T3,T1-T4就可以得到对应周期内的音频与视频的时延。但是，当音频与视频的时延差距较大时（大于一个音频的周期时），依然按照与音频时间点最近的图像帧对应的时间点计算时延，结果会不准确。举例说明，如图2b所示，当第二帧图像帧播放的时间点T4与第一个周期音频时间点T2对应时，但是，由于时间点T1离当前第二帧图像帧播放时间点T4更近，则通过已有的技术方案将把T1-T4的差值作为声画同步时延。此时，计算出来的声画时延非常不准确，设备或检测人员也不能准确的调整音频和视频同步。

为了解决上述技术问题，本申请实施例提出了一种声画同步的检测方法。在下面的实施例中结合实际场景将详细的描述本申请的技术方案。

结合图1所示的场景图，对本申请的声画同步的检测方法进行概述。如图1所示，当手机获取音视频文件（第一音视频文件），音视频文件包括音频和视频。手机101可以以第一预设时长为一个音频播放周期，例如1s为一个周期，在每秒音频的起始端开始到10ms内生成与秒数对应的音频标签，得到待测音频。其中，音频标签可以是一段经过处理的具有标识作用的标识音频，该标识音频的频率与秒数成预设比例关系。手机101将视频中的图像帧按照播放的先后顺序，在每一图像帧上生成视频标签，例如该视频标签可以至少包括有帧号的视频标签，得到待测视频。其中，在一个音频播放周期内对应的图像帧数量是固定的。例如，一秒内播放60帧图像，那么在音频播放的起始端时间点对应1号图像帧。在音频的第二个周期，即第2秒开始时，对应的图像帧的帧号可以是第61号。接着手机将待测音频和待测视频合并得到待测音视频文件（第二音视频文件）。手机101将待测音视频文件发送给电视102，以使电视102与手机101在同一段时间内可以播放待测音频和待测视频。电视102播放经过编号的音视频后，基于待测视频中的音频标签确定出音频标签对应的音频被播放的时间点t1，基于待测视频中的帧号确定出与音频标签对应的图像帧被播放的时间点t2。再根据时间点t1和时间点t2的计算出时间差。将该时间差作为时延。

此外，在一些实施例中，电视102还可以进一步判断，当时间差在预设时间内则判断待测音频和待测视频同步，当时间差大于预设时间则判断待测音频和待测视频不同步。该计算方法采用音频标签与视频标签之间特定帧关联关系，可以有效避免因延时超过一个音频的周期时，而导致时延结构不准确的问题。

在本申请一个实施例中，还可以通过第三个电子设备计算第二电子设备播放的待检测音视频是否延时。

参考图2c，图2c示出了不同于图1的另一声画同步检测系统的场景图。如图2c所示，该场景中可以包括手机201，电视202和高清摄像检测设备203。其中，手机201可以将当前播放的音视频通过投屏的方式传输给电视202。该投屏过程如图1所示的场景，此处不再描述。与图1不同的是电视202可以不具有检测时延的功能，而是通过设备203进行检测。当电视202上播放由手机201投放的音视频时，设备203可以在预设距离内拍摄电视上的视频，并获取电视发出的音频。在根据音频中的标识音频以及标识音频应该对应的帧号，分别找到时间点t1和时间点t2，计算出t1和t2时间差，进而判断是否时延。该判断过程与上述实施例中的电视102的判断过程相同，具体可以参考上述实施例。

在上述的实施例中，是以手机101作为对音视频文件编码的设备进行的说明。在一些实施例中，手机也可以直接从其他的设备中获取已经编码的音视频文件，即该音视频文件可以在另一个设备编码，即将音视频文件中的音频中加入标识音频，在图像帧上加入包括有帧号的视频标签。当手机101播放并投屏到电视102上时，由图1中的电视102获取已经编码的音视频文件并计算延时，或者由图2c中的设备203获取该编码的音视频文件并计算时延，进而实现对音频和视频的同步。

在上面的实施例中，是以手机和电视通过投屏的方式传输待测音视频文件进行的说明，在一些实施例中也可以是多屏协同的场景，或者是电视对传输的文件压缩后导致不同步的场景，此处并不作为唯一限定。

在上述实施例中以手机作为第一电子设备，电视作为第二电子设备进行的说明。在本申请的一些实施例中，第一电子设备还可以是平板电脑、笔记本电脑，或者可穿戴的电子设备，如手表等。第二电子设备也可以手机、平板电脑、笔记本电脑、超级移动个人计算机、电视等。

下面结合第一电子设备和第二电子设备的具体结构对本申请实施例的声画同步的检测方法进行描述。

参考图3a，图3a示出了本申请实施例的第一电子设备的结构示意图，第一电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，USB)接头130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在本申请的一个实施例中，处理器110在执行指令时，能够分别在获取的音频上添加多个音频标签，在获取的视频上添加多个视频标签，并根据添加了音频标签的所述音频和添加了所述视频标签的所述视频生成第二音视频文件，并将所述音频标签和所述视频标签基于特定帧建立关联，从而便于声画同步的判断。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机、电视等收听音频的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。音频模块170可以获取音视频文件中的音频文件，并进行播放。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。

无线通信模块160可以与其他电子设备实现网络连接，例如无线局域网络连接等，以实现电子设备100将音视频文件传输至另一个电子设备上，从而实现投屏或多屏协同等功能。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

在一些实施例中，显示屏194可以显示音视频文件中的图像帧，这些图像帧上可以设有视频标签等。外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，音视频文件等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能，录音功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(添加有音频标签和视频标签的音视频文件)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flashstorage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以生成特定的音频标签，并将该音频标签加到正在播放或待播放的音频文件中。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音视频中的声音。

参考图3b，图3b示出了本申请实施例的第二电子设备的硬件结构示意图，第二电子设备200可以是桌上电脑、平板电脑、电视等。

下面对第二电子设备200进行具体说明。应该理解的是，图3b所示第二电子设备200仅是一个范例，并且第二电子设备200可以具有比图3b中所示的更多或更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

在本申请的一个实施例中，第二电子设备的硬件结构可以与图3a所示的结构相同，也可以不同。

如图3b所示，第二电子设备200可以包括：处理器210，存储器220，无线通信模块230，音频模块240，传感器模块250，显示器260和电源模块。其中，音频模块240包括扬声器241和受话器242。传感器模块250包括压力传感器251和触摸传感器252。

处理器210可用于读取和执行计算机可读指令。在一些实施例中，处理器210可以包括控制器、运算器和寄存器。其中，控制器主要负责指令译码，并为指令对应的操作发出控制信号。运算器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。具体实现中，处理器210的硬件架构可以是专用集成电路(ASIC)架构、MIPS架构、ARM架构或者NP架构等等。

在一些实施例中，处理器210可以用于解析无线通信模块230接收到的音频信号或视频信号，如当第二电子设备为图1所示的电视102时，第二电子设备可以获得由手机101发送的添加有音频标签和视频标签的音视频文件。处理器210可以从音视频文件中获得音频文件中的音频标签，获得视频文件中的视频标签，该音频标签和视频标签基于时间建立关联，具体的音频标签可以是基于时间周期设定与时间周期成正比的正弦波音频，视频标签是根据时间先后顺排列的帧号，且在音频标签对应的时间周期内设定有特定数量的帧号。从而使得音频标签和视频标签之间建立了特定的关联。处理器210可以基于这种关联确定音频标签播放的时间点t1,以及确定该音频标签对应的视频标签被播放的时间点t2。处理器210基于时间点t1和时间点t2计算出时间差，并基于时间差判断音频与视频是否同步播放。

存储器220与处理器210耦合，用于存储各种软件程序和/或多组指令。在一些实施例中，存储器220可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器220可以存储操作系统，例如uCOS，VxWorks、RTLinux等嵌入式操作系统。

在一些实施例中，存储器220可以存储带有音频标签和视频标签的音视频文件。

无线通信模块230可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，调频(frequency modulation，FM)，近距离无线通信技术(near fieldcommunication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块230可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块230接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。

在一些实施例中，电子设备200可以通过无线通信模块230与其他电子设备实现网络连接，例如，实现与电子设备100的局域网络的连接，以便于实现投屏，多屏协同等功能。

电子设备200可以通过音频模块240，扬声器241，麦克风242，以及应用处理器等实现音频功能。例如播放带有音频标签的音频文件等。

电源模块270可用于控制电源向电子设备200的供电。

显示器260包括显示屏，用于显示图像，在一些实施例中，显示器260可以显示加有视频标签的视频图像，以便于其他检测设备可以获取到视频标签。

本申请的一个实施例中，当确认音频和视频是否同步的过程通过第三电子设备完成时，如图2c所示的场景，设备203从电视202上获取加油视频标签的视频文件，通过录制功能获取电视202发出的加有音频标签的音频文件。其中，该第三电子设备的硬件结构至少可以包括处理器，与处理器连接的高清摄像头和录音器等部件等，通过高清摄像头获取设备例如电视203上的加有视频标签的图像，通过录音器获得电视203播放的加有音频标签的音频文件，并有处理器识别音频标签和视频标签对应的时间点t1和时间点t2，从而基于时间点t1和时间点t2判断出在电视203上播放的音频和视频是否同步。在一些实施例中，第三电子设备的其他硬件结构可以与第一电子设备、第二电子设备的硬件结构相同，也可以只是其中的一部分。其他的结构个功能具体可以参考上述图3a和3b所示的结构图，此处不在详细说明。

下面结合具体的实施例对本申请实施例的声画同步的检测方法进行描述。在下面实施例中，以声画同步的检测方法应用于由手机（第一电子设备）、电视（第二电子设备）以及高清检测设备构成的系统为例进行说明。

参考图4，图4示出了本申请实施例的声画同步的检测方法的交互流程图。如图4所示，包括手机、电视和检测设备构成的系统，由该系统执行本申请的声画同步的检测方法。该方法包括S401-S408。

S401，手机获取音视频文件。其中，该音视频文件包括音频和视频。

在本申请的一个实施例中，该音视频文件可以是手机内部原有的文件，也可以是从云端服务器或其他设备上获取的音视频文件。

S402，手机在音频上添加多个音频标签。

在本申请的一个实施例中，音频标签是一段经过编码的音频文件。例如，持续10ms的正弦波音频。

在本申请的一个实施例中，手机以预设时长作为一个音频播放周期，例如周期为1s，手机在每一个1s内的音频的起始端添加小于1s的音频标签。又如，在每个1s的音频的前10ms内添加一个正弦波音频。其中该正弦波音频的频率和秒数成特定比例关系，例如频率/秒数=500。

参考图5a，图5a示出了本申请实施例的音频标签的频率随秒数变化的示意图，如图5a所示，在音频文件上添加正弦波音频，其中，随着秒数的增加正弦波音频的频率增大。如图5a所示，在音频的第2秒时，添加的正弦波音频有两个完整的正弦波，在第3秒时，添加的正弦波音频有3个完整的正弦波，在第4秒时，添加的正弦波音频有4个完整的音频，依次类推，可以将整个音频文件添加与秒数成正比的正弦波音频。从而便于在获取到一个正弦波音频时，根据正弦波的频率既可以得知该音频对应的时间点。

举例说明生成音频标签的实现过程。

对于帧率为60的视频，每帧持续时间为1000ms/60=16.7ms，在每秒的第一帧添加小于16.7ms的视频，手机可以生成持续10ms的正弦波（音频），中间990ms内添加频率为0的声音（即无声音），依次循环，生成特定长度的音频文件。若设置采样率为44100，步骤1，通过t=np.linspace(0,0.01,int(0.01×44100)) 在10ms内生成10ms×44100，即441个等差数列元素。步骤2，使用生成的等差数列作为音频的采样点，使用该采样点生成正弦波（音频），频率（freq）随时间变化（例如随秒数频率逐渐增大）： data=np.sin(2×np.pi×freq×t)。步骤3，生成正弦波数据后，将该数据保存成wav声音文件，如图5b所示wav声音文件以及对应的正弦波数据，即音频标签。

S403，手机在视频上添加多个视频标签。其中，视频标签可以是便于识别图像帧播放顺序的标记。

在本申请的一个实施例中，手机在视频中的每一帧图像帧上添加视频标签，该视频标签可以是一个二维码标记。二维码标记中至少含有帧号，即表明图像帧播放顺序的帧号。

参考图6a，图6a示出了本申请实施例的二维码的结构示意图。如图6a所示，第一帧图像帧上标记的含有帧号1的二维码，第二帧的图像帧上标记含有帧号2的二维码，依次类推，第N帧图像帧上标记含有帧号为N的二维码，实现对整个视频中的每一帧图像帧做好标记。其中，图像帧的帧率是固定的，即在固定时间内播放固定帧数的图像帧。例如，对于帧率为60的视频，即在1秒时间内对应60帧图像帧。结合S402，在音视频文件中的音频文件的第1秒添加的正弦波音频与帧号为1的图像帧对应。对于第2秒添加的正弦波音频应当与帧号为61的图像帧对应，依次类推，将整个音频标签与视频标签进行对应。

参考图6b所示，图6b示出了帧号与音频的频率对应的关系表。如图6b所示，结合S402和S403中的例子，假设音频标签的音频频率与秒数的比例关系为：音频频率=500t，其中t为秒数。当t为1秒时，对应的正弦波音频的音频频率为500HZ，对应的帧号为1。当t为2秒时，对应的正弦波音频的音频频率为1000HZ，对应的帧号为61。当t为3秒时，对应的正弦波音频的音频频率为1500HZ，对应的帧号为121，以此类推，将每一音频频率与特定的帧号对应起来。因此，当添加有音频标签和视频标签的待测音视频文件被播放时，检测设备可以通过识别音频标签，以及与该音频标签对应的图像帧的帧号，确定出音频标签和其对应的图像帧的编号被播放时的时间点，两个时间点的差值即为时延。而不会出现因视频与音频的时延超过一个播放周期时而导致不准确的问题。

在本申请的实施例中，为了计算时延的准确性，可以通过多个音频标签和多个视频标签，分别求出对应的时延，再求出平均时延，以提高整体音频和视频时延的精准性。

S404，手机生成待测音视频文件。

手机对添加有音频标签的音频和添加有视频标签的视频进行合并，即将生成的声音导入到视频，此时视频有了声音，即得到了待测音视频文件。当播放该待测音视频文件时，在每一秒开始的音频上会有10ms时长的对应频率的声音。且每个图像帧上对应有帧号。该比例关系，如图6b所示的对应关系，即声音频率与时间成正比，帧号与时间成正比，此时，对应帧号和声音频率有了对应关系。

参考图6c，图6c示出了本申请实施例的音频频率与帧号的对应关系示意图。其中，图6c中的(1)示出了与时间成正比的正弦波音频，分别示出了时间点为1秒时的正弦波音频，时间点为2秒时的正弦波音频，和时间点为3秒时的正弦波音频。图6c中的(2)示出了与时间成正比的帧号，每一个正弦波音频会对应一个帧号，如图6c所示，时间点为1秒时对应的图像帧号为1，时间点为2秒时对应的图像帧号为61，时间点为3秒时对应的图像帧号为121。根据每个时间点的音频对应的固定帧号的图像，从而便于检测设备根据正弦波音频与帧号的对应关系确定音频与视频在播放时产生的时延。

S405，手机将待测音视频文件发送给电视。

在本申请的实施例中，当手机播放该待测音视频文件时，手机与电视可以通过无线网络连接，手机将当前播放的待测音视频文件实时传输给电视，此时，电视上会显示手机上的画面，并且播放合成的视频中的声音。在本申请的实施例中，手机可以通过投屏或多屏协同功能向电视发送待测音视频文件，或者通过多屏协同功能实现向电视发送待测音视频文件。

S406，电视播放待测音视频文件。

以手机通过投屏功能传输待测音视频文件为例，当手机通过投屏的方式向电视发送待测音视频文件时，电视上可以与手机一起播放待测音视频文件。由于在手机向电视传输音视频文件是通过如图1所示的两条链路进行的传输，当任一条链路出现网络时延等情况，都会导致在电视播放的待测音视频文件中的音频和视频不同步的问题。因此在图像帧上添加了视频标签，在播放待测音视频时可以通过屏幕录制或者是其他的方式实时获得屏幕上的视频标签，以及通过音频获得音频标签。

参考图7，图7示出了本申请实施例的电视界面和手机界面的示意图。如图7所示，在电视的界面上显示有图像，图像上设有二维码标识710（视频标签）。手机的界面上与电视界面相同，均在播放同一图像和二维码标识。检测设备可以通过录制电视界面上的图像和二维码标识710获得，该帧图像对应的播放时间。

S407，检测设备获取待测音视频文件。

在本申请的实施例中，检测设备可以通过高清摄像头对电视上播放的视频进行视频录制，同时通过录音器等部件对电视播放的声音进行录制。以获得带有视频标签的视频和带有音频标签的音频。

S408，检测设备根据至少一个音频标签和视频标签，确定音频和视频的时间差。

其中，检测设备获得音频标签和视频标签，需要确定音频标签对应的音频频率，根据音频频率与时间的关系确定出当前音频标签在音频文件中的秒数。根据秒数可以确定出当前音频文件对应的帧号，如图6b中的对应关系。检测设备根据视频标签确定出帧号，找到与音频标签对应的图像帧，分别确定音频标签与对应的图像帧被播放的时间点,基于两个时间点确定时间差。

在本申请的一个实施例中，检测设备采用傅里叶变换对音频中的音频标签进行解析，获取到不同频率的声音出现的时间点。

参考图8a，图8a示出了本申请实施例的傅里叶变换后的音频标签随时间变化图。如图8a所示，经过傅里叶变换获得声音中的不同频率的音频与时间成正比。因此通过傅里叶变换可以获得不同音频的频率，进而确定出不同音频的频率出现的时间点，如t1、t3、t5等。此外，可以通过傅里叶变换获得音频标签判断音频与视频源相比的时延。如图8b所示，直线对应的是频率为1000HZ音频标签出现的时间点，即1.005s,与标准时间点1秒相比，延迟5ms。

在本申请的一个实施例中，检测设备对视频标签进行检测，从视频标签中提取帧号等信息。

在本申请的一个实施例中，视频标签的结构可以如图9所示，图9示出了本申请实施例的视频标签的结构图。如图9所示，该视频标签可以是二维码标记。该二维码标记中可以包括标记轮廓、标记方向和标记帧号。当检测设备从图像帧上识别该二维码标记时，可以对每一帧的图片先进行灰度处理，转化成二值化的图像，然后获取图像中的轮廓，筛选出二维码图像，对二维码图像进行解码，获取对应的帧号，再获取出特定帧（每一秒起始第一帧）对应的时间点，如t2、t4、t6等。

参考图10，图10示出了本申请实施例的音频标签与视频标签对应的时间点的关系图。如图10所示，不同音频标签对应的音频频率出现的时间点为t1、t3、t5。与音频频率对应的帧号出现的时间点为t2、t4、t6。检测设备计算声画同步时延，即t2-t1，t4-t3，t6-t5，得到对应的时间差，得到时延。此外，检测设备还可以进一步计算声画同步的平均时延，从而得到更加精准的时延。

在上述实施例中，是以检测设备执行S407和S408进行的说明，在一些实施例中，结合图1所示的场景，S407和S408可以由电视来执行。具体过程可参考上述S407和S408两个步骤的描述，此处不再赘述。

在本申请的另一些实施例中，上述步骤S401-S404也可以由另一个电子设备执行，如在另一台电脑或手机上等。举例说明，可以在电脑上完成在音视频文件添加音频标签和视频标签的过程和合成待测音视频的过程，由电脑将待测音视频发送给图4所示的手机。再由手机执行S405。

根据本申请实施例的声画同步的检测方法，可以通过自动化工具快速识别帧号，以及帧号对应的时间点，并且可获取不同频率音频的时间点，检测速度快。且即使音频和视频时间差大于一个音画同步周期，也可准确识别音画同步的时间差，检测的效率和准确性大大的提高。

参考图11，本申请还提供一种电子装置1100，该装置包括：

获取模块1110，用于获取第一音视频文件，所述音视频文件包括音频和视频；

生成模块1120，用于分别在所述音频上添加多个音频标签，得到待测音频，以及在所述视频上添加多个视频标签，得到待测视频；

合成模块1130，用于根据所述待测音频和所述待测视频生成第二音视频文件，所述音频标签和所述视频标签基于特定帧建立关联，用于音画同步确认。

根据本申请的一个实施例，生成模块1120用于以第一预设时长为一个音频播放周期，在每一个周期内所述音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，其中，所述标识音频的频率与周期数成预设比例关系，所述第一预设时长大于所述第二预设时长。

根据本申请的一个实施例，所述音频标签为正弦波音频，所述正弦波的频率和周期数成正比例关系。

根据本申请的一个实施例，生成模块1120进一步用于：

根据预设采样率获得在所述第二预设时长内的等差数列元素；

使用所述等差数列元素作为音频采样点生成所述正弦波数据，并将对应的正弦波数据保存到对应周期数的音频内。

根据本申请的一个实施例，所述第一预设时长为一秒。

根据本申请的一个实施例，生成模块1120进一步用于将所述视频中的图像帧按照播放的先后顺序，在每一所述图像帧上生成至少包括有帧号的视频标签，其中，在一个周期内的所述音频对应预设数量的图像帧，以使所述音频标签和所述视频标签基于特定帧建立关联。

参考图12，本申请还提供一种电子设备，该装置包括：

摄像头1210，用于获取所述第二音视频文件中的待测音频，其中，所述待测音频包括音频标签，该音频标签的生成过程可参考图4所解释的手机的生成过程；

拾音器1220，用于获取所述第二音视频文件中的待测视频，其中，所述待测视频包括视频标签，该视频标签的生成过程可参考图4所解释的手机的生成过程；

处理器1230，用于根据所述第二音视频文件中的至少一个音频标签和视频标签，确定所述待测音频和所述待测视频的时间差，以确定所述待测音频和所述待测音频是否同步。

根据本申请的一个实施例，处理器1230用于：基于所述待测视频中的标识音频确定出至少一个标识音频对应的音频被播放的时间点t1；

处理器1230用于：基于所述音频标签和所述视频标签基于特定帧建立关联，确定出至少一个所述标识音频对应的所述待测视频中的至少一个帧号，基于所述帧号确定出与所述标识音频对应的图像帧被播放的时间点t2；

处理器1230用于：基于所述时间点t1和时间点t2确定所述待测音频和所述待测视频的时间差。

所述第三电子设备基于所述待测音视频中的声音进行傅里叶变换，获取当前标识音频对应的频率出现的时间点，将该时间点作为被播放的时间点t1。

根据本申请的一个实施例，处理器进一步用于：

对每一帧的图片进行灰度处理，转化成二值化的图像；

获取所述二值化的图像中的轮廓，筛选出视频标签的二维码图像；

对二维码图像进行解码，获取与所述标识音频对应的帧号，基于所述帧号确定出对应的帧图像被播放的时间点t2。

根据本申请的一个实施例，电子设备通过摄像头1210从另一电子设备上实时录制的方式，以获取所述待测音频，通过拾音器1220录制的方式获取所述待测视频。

本申请还提供一种电子设备，包括：

存储器，用于存储由设备的一个或多个处理器执行的指令，以及

处理器，用于执行上述实施例中结合图4所解释的手机、电视或检测设备所执行的方法。

本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器运行时，使得处理器执行上述实施例中图4所解释的手机、电视或检测设备所执行的方法。

本申请还提供一种包含指令的计算机程序产品，当该计算机程序产品在电子设备上运行时，使得处理器执行上述实施例中图4所解释的手机、电视或检测设备所执行的方法。

现在参考图13，所示为根据本申请的一实施例的SoC（System on Chip，片上系统）1300的框图。在图13中，相似的部件具有同样的附图标记。另外，虚线框是更先进的SoC的可选特征。在图13中，SoC1300包括：互连单元1350，其被耦合至应用处理器1310；系统代理单元1380；总线控制器单元1390 ；集成存储器控制器单元1340；一组或一个或多个协处理器1320，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器（Static Random Access Memory，SRAM)单元1330；直接存储器存取（DMA)单元1360。在一个实施例中，协处理器1320包括专用处理器，诸如例如网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器等。

静态随机存取存储器（SRAM)单元 1330中可以包括用于存储数据和/或指令的一个或多个计算机可读介质。计算机可读存储介质中可以存储有指令，具体而言，存储有该指令的暂时和永久副本。该指令可以包括：由处理器中的至少一个单元执行时使Soc1300执行根据上述实施例中的设备通信连接建立方法，具体可参照上述实施例4所解释的手机、电视或检测设备所执行的方法，此处不再赘述。

本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统（包括易失性和非易失性存储器和/或存储元件）、至少一个输入设备以及至少一个输出设备。

可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器（Digital Signal Processor，DSP)、微控制器、专用集成电路（Application Specific Integrated Circuit ，ASIC)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读（例如，计算机可读）存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器（例如，计算机）可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、光盘只读存储器（Compact Disc Read Only Memory，CD-ROMs）、磁光盘、只读存储器（Read OnlyMemory，ROM）、随机存取存储器（RAM）、可擦除可编程只读存储器（Erasable ProgrammableRead Only Memory ，EPROM）、电可擦除可编程只读存储器（Electrically ErasableProgrammable Read Only Memory ，EEPROM）、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息（例如，载波、红外信号数字信号等）的有形的机器可读存储器。因此，机器可读介质包括适合于以机器（例如，计算机）可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明书附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。

需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。

需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims

1.一种声画同步的检测方法，应用于包括第一电子设备和第二电子设备的系统，其特征在于，所述方法包括：

所述第一电子设备获取第一音视频文件，所述音视频文件包括音频和视频；

所述第一电子设备分别在所述音频上添加多个音频标签，得到待测音频，以及在所述视频上添加多个视频标签，得到待测视频，并根据所述待测音频和所述待测视频生成第二音视频文件，所述音频标签和所述视频标签基于特定帧建立关联，用于音画同步检测；

所述第一电子设备将所述第二音视频文件发送给所述第二电子设备；

所述第二电子设备根据至少一个音频标签和视频标签，确定所述待测音频和所述待测视频的时间差，以确定所述待测音频和所述待测音频是否同步。

2.根据权利要求1所述的方法，其特征在于，所述第一电子设备在所述音频上添加多个音频标签，包括：

所述第一电子设备以第一预设时长为一个音频播放周期，在每一个周期内所述音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，其中，所述标识音频的频率与周期数成预设比例关系，所述第一预设时长大于所述第二预设时长。

3.根据权利要求2所述的方法，其特征在于，所述音频标签为正弦波音频，所述正弦波的频率和周期数成正比例关系。

4.根据权利要求3所述的方法，其特征在于，所述第一电子设备，在一个周期内的所述音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，包括：

所述第一电子设备根据预设采样率获得在所述第二预设时长内的等差数列元素；

所述第一电子设备使用所述等差数列元素作为音频采样点生成所述正弦波数据，并将对应的正弦波数据保存到对应周期数的音频内。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述第一预设时长为一秒。

6.根据权利要求1所述的方法，其特征在于，所述第一电子设备在所述视频上添加多个视频标签，包括：

所述第一电子设备将所述视频中的图像帧按照播放的先后顺序，在每一所述图像帧上生成至少包括有帧号的视频标签，其中，在一个周期内的所述音频对应预设数量的图像帧，以使所述音频标签和所述视频标签基于特定帧建立关联。

7.根据权利要求1所述的方法，其特征在于，所述视频标签还包括标识轮廓，以及标识方向。

8.根据权利要求1所述的方法，其特征在于，所述第二电子设备根据至少一个音频标签和视频标签，确定音频和视频的时间差，包括：

所述第二电子设备基于所述待测音频中的标识音频确定出至少一个标识音频对应的音频被播放的时间点t1；

所述第二电子设备根据所述音频标签和所述视频标签基于特定帧建立的关联，确定出至少一个所述标识音频对应的所述待测视频中的至少一个帧号，基于所述帧号确定出与所述标识音频对应的图像帧被播放的时间点t2；

所述第二电子设备基于所述时间点t1和时间点t2确定所述待测音频和所述待测视频的时间差。

9.根据权利要求8所述的方法，其特征在于，所述第二电子设备基于所述待测音频中的标识音频确定出当前标识音频对应的音频被播放的时间点t1，包括：

所述第二电子设备基于所述第二音视频文件中的声音进行傅里叶变换，获取当前标识音频对应的频率出现的时间点，将该时间点作为被播放的时间点t1。

10.根据权利要求8所述的方法，其特征在于，所述第二电子设备，基于所述帧号确定出与所述标识音频对应的图像帧被播放的时间点t2，包括：

所述第二电子设备对每一帧的图片进行灰度处理，转化成二值化的图像；

所述第二电子设备获取所述二值化的图像中的轮廓，筛选出视频标签的二维码图像；

所述第二电子设备对二维码图像进行解码，获取与所述标识音频对应的帧号，基于所述帧号确定出对应的帧图像被播放的时间点t2。

11.一种声画同步的检测方法，应用于包括第一电子设备、第二电子设备和第三电子设备的系统，其特征在于，所述方法包括：

所述第一电子设备将所述第二音视频文件发送给所述第二电子设备，以使所述第二电子设备播放第二音视频文件；

所述第三电子设备从所述第二电子设备上实时获取所述第二音视频文件，并根据所述第二音视频文件中的至少一个音频标签和视频标签，确定所述待测音频和所述待测视频的时间差，以确定所述待测音频和所述待测视频是否同步。

12.根据权利要求11所述的方法，其特征在于，所述第一电子设备在所述音频上添加多个音频标签，包括：

13.根据权利要求12所述的方法，其特征在于，所述音频标签为正弦波音频，所述正弦波的频率和周期数成正比例关系。

14.根据权利要求13所述的方法，其特征在于，所述第一电子设备，在一个周期内的所述音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，包括：

15.根据权利要求12-14任一项所述的方法，其特征在于，所述第一预设时长为一秒。

16.根据权利要求11所述的方法，其特征在于，所述第一电子设备在所述视频上添加多个视频标签，包括：

17.根据权利要求11所述的方法，其特征在于，所述视频标签还包括标识轮廓，以及标识方向的。

18.根据权利要求11所述的方法，其特征在于，所述第三电子设备根据所述第二音视频文件中的至少一个音频标签和视频标签，确定音频和视频的时间差，包括：

所述第三电子设备基于所述待测音频中的标识音频确定出至少一个标识音频对应的音频被播放的时间点t1；

所述第三电子设备基于所述音频标签和所述视频标签基于特定帧建立关联，确定出至少一个所述标识音频对应的所述待测视频中的至少一个帧号，基于所述帧号确定出与所述标识音频对应的图像帧被播放的时间点t2；

所述第三电子设备基于所述时间点t1和时间点t2确定所述待测音频和所述待测视频的时间差。

19.根据权利要求18所述的方法，其特征在于，所述第三电子设备基于所述待测音频中的标识音频确定出当前标识音频对应的音频被播放的时间点t1，包括：

所述第三电子设备基于所述第二音视频文件中的声音进行傅里叶变换，获取当前标识音频对应的频率出现的时间点，将该时间点作为被播放的时间点t1。

20.根据权利要求18所述的方法，其特征在于，所述第三电子设备，基于所述帧号确定出与所述标识音频对应的图像帧被播放的时间点t2，包括：

所述第三电子设备对每一帧的图片进行灰度处理，转化成二值化的图像；

所述第三电子设备获取所述二值化的图像中的轮廓，筛选出视频标签的二维码图像；

所述第三电子设备对二维码图像进行解码，获取与所述标识音频对应的帧号，基于所述帧号确定出对应的帧图像被播放的时间点t2。

21.根据权利要求11所述的方法，其特征在于，所述第三电子设备通过录制的方式从所述第二电子设备上实时获取由所述第二电子设备播放的所述待测音频和所述待测视频。

22.一种用于声画同步文件的生成方法，应用于电子设备，其特征在于，所述方法包括：

所述电子设备获取第一音视频文件，所述音视频文件包括音频和视频；

所述电子设备分别在所述音频上添加多个音频标签，得到待测音频，以及在所述视频上添加多个视频标签，得到待测视频，并根据所述待测音频和所述待测视频生成第二音视频文件，所述音频标签和所述视频标签基于特定帧建立关联，用于音画同步检测。

23.根据权利要求22所述的方法，其特征在于，所述电子设备在所述音频上添加多个音频标签，包括：

所述电子设备以第一预设时长为一个音频播放周期，在每一个周期内所述音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，其中，所述标识音频的频率与周期数成预设比例关系，所述第一预设时长大于所述第二预设时长。

24.根据权利要求23所述的方法，其特征在于，所述音频标签为正弦波音频，所述正弦波的频率和周期数成正比例关系。

25.根据权利要求24所述的方法，其特征在于，所述电子设备，在一个周期内的所述音频的起始端开始到第二预设时长内生成与周期数对应的标识音频，包括：

所述电子设备根据预设采样率获得在所述第二预设时长内的等差数列元素；

所述电子设备使用所述等差数列元素作为音频采样点生成所述正弦波数据，并将对应的正弦波数据保存到对应周期数的音频内。

26.根据权利要求23-25任一项所述的方法，其特征在于，所述第一预设时长为一秒。

27.根据权利要求22所述的方法，其特征在于，所述电子设备在所述视频上添加多个视频标签，包括：

所述电子设备将所述视频中的图像帧按照播放的先后顺序，在每一所述图像帧上生成至少包括有帧号的视频标签，其中，在一个周期内的所述音频对应预设数量的图像帧，以使所述音频标签和所述视频标签基于特定帧建立关联。

28.一种电子设备，其特征在于，包括：

处理器，用于执行所述指令，以使得所述电子设备执行权利要求11-21任一项所述的第一电子设备执行的方法或所述第二电子设备执行的方法或所述第三电子设备执行的方法。

29.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被电子设备运行时，使得所述电子设备执行权利要求11-21任一项所述的第一电子设备执行的方法或所述第二电子设备执行的方法或所述第三电子设备执行的方法。

30.一种包含指令的计算机程序产品，其特征在于，当该计算机程序产品在电子设备上运行时，使得电子设备执行权利要求11-21任一项所述的第一电子设备执行的方法或所述第二电子设备执行的方法或所述第三电子设备执行的方法。