CN112423074A - 音视频同步处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开一种音视频同步处理方法、装置、电子设备以及存储介质，通过获取待处理音视频数据，继而响应定时器事件，获取视频数据中的目标视频，并获取音频数据中的目标音频，再获取与目标视频对应的第一电平参数，以及获取与目标音频对应的第二电平参数，再基于第一电平参数与第二电平参数获取音频数据与视频数据之间的缓存时延，然后基于该缓存时延对待处理音视频数据的播放进度进行调整，以使音频数据与视频数据同步播放。本方法实现了基于音频数据与视频数据之间的缓存时延，对待处理音视频数据的播放进度进行调整，进而使得音频数据与视频数据可以同步播放，提升用户的观看体验。

Description

音视频同步处理方法、装置、电子设备及存储介质

技术领域

本申请涉及音视频处理技术领域，更具体地，涉及一种音视频同步处理方法、装置、电子设备以及存储介质。

背景技术

随着网络技术的发展，用户通过网络进行在线交互活动频繁，例如进行在线视频会议或在线视频聊天，需要采集会话用户的图像数据和声音数据，即音视频数据传输给其他用户，并在其他用户处播放该采集的音视频数据，用户对所播放的音视频数据的传输质量需求也越来越高。在相关提高音视频数据的传输质量的方式中，可以在发送端将音频数据与视频数据进行时间戳打包，通过网络传到接收端后对音视频数据的时间戳进行匹配，进而使得该音视频数据能够同步播放。然而，上述方式无法避免音视频终端在播放音视频信息时，因硬件缓存导致的时延，进而导致的音视频数据播放不同步的问题。

发明内容

鉴于上述问题，本申请提出了一种音视频同步处理方法、装置、电子设备及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种音视频同步处理方法，可应用于电子设备，该方法包括：获取待处理音视频数据，所述待处理音视频数据包括音频数据以及视频数据；响应定时器事件，获取所述视频数据中的目标视频，并获取所述音频数据中的目标音频；获取与所述目标视频对应的第一电平参数，以及获取与所述目标音频对应的第二电平参数；基于所述第一电平参数与所述第二电平参数获取所述音频数据与所述视频数据之间的缓存时延；基于所述缓存时延对所述待处理音视频数据的播放进度进行调整，以使所述音频数据与所述视频数据同步播放。

第二方面，本申请实施例提供了一种音视频同步处理装置，可运行于电子设备，该装置包括：第一数据获取模块，用于获取待处理音视频数据，所述待处理音视频数据包括音频数据以及视频数据；第二数据获取模块，用于响应定时器事件，获取所述视频数据中的目标视频，并获取所述音频数据中的目标音频；参数获取模块，用于获取与所述目标视频对应的第一电平参数，以及获取与所述目标音频对应的第二电平参数；时延获取模块，用于基于所述第一电平参数与所述第二电平参数获取所述音频数据与所述视频数据之间的缓存时延；处理模块，用于基于所述缓存时延对所述待处理音视频数据的播放进度进行调整，以使所述音频数据与所述视频数据同步播放。

第三方面，本申请实施例提供了一种电子设备，包括存储器以及一个或多个处理器；一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有程序代码，其中，在程序代码被处理器运行时执行上述第一方面所述的方法。

本申请实施例提供的一种音视频同步处理方法、装置、电子设备以及存储介质，通过获取待处理音视频数据，待处理音视频数据包括音频数据以及视频数据，继而响应定时器事件，获取视频数据中的目标视频，并获取音频数据中的目标音频，再获取与目标视频对应的第一电平参数，以及获取与目标音频对应的第二电平参数，再基于第一电平参数与第二电平参数获取音频数据与视频数据之间的缓存时延，然后基于该缓存时延对待处理音视频数据的播放进度进行调整，以使音频数据与视频数据同步播放。从而通过上述方式实现了在响应定时器事件，获取到了目标视频以及目标音频的情况下，可以基于获取到的与目标视频对应的第一电平参数，以及与目标音频对应的第二电平参数，获取音频数据与视频数据之间的缓存时延，然后采用该缓存时延对待处理音视频数据的播放进度进行调整，进而使得音频数据与视频数据可以同步播放，提升用户的观看体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请实施例提供的调用音视频接口API播放音视频数据时容易产生因设备系统软硬件缓存导致的缓存时延的问题的流程示例图。

图2示出了本申请一实施例提供的一种音视频同步处理方法的方法流程图。

图3示出了本申请实施例提供的获取与目标视频对应的第一电平参数，以及获取与目标音频对应的第二电平参数的获取过程的原理示意图。

图4示出了本申请实施例提供的通过噪音帧音频与白色画面帧视频各自对应的电平幅度值求取缓存时延的示例图。

图5示出了本申请另一实施例提供的一种音视频同步处理方法的方法流程图。

图6示出了本申请实施例提供的一种音视频同步处理装置的结构框图。

图7示出了本申请实施例提供的一种电子设备的结构框图。

图8示出了本申请实施例的用于保存或者携带实现根据本申请实施例的音视频同步处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

音视频的网络传输，是将音视频信息进行打包，通过网络传送至另外一个终端设备的过程。传统的音视频采集传输方式是在发送端对音视频进行合流，然后采用单一通道传输合流后的数据，并在接收端将合流后的数据分离播放，例如，可以通过调用音频/视频的接口，播放分离后的音视频数据。

发明人经过长期研究发现，如图1所示，在通过音频播放线程调用音频接口API(Application Programming Interface，应用程序接口)播放音频数据时，若音频数据量太大时，需要一边缓存一边播放，即如图1所示的通过音频系统软件或者硬件对音频数据进行缓存。相应的，通过视频播放线程调用视频接口API播放视频数据时，需要通过视频系统软件或者硬件对视频数据进行缓存。然而，由于音频系统软件/硬件缓存和视频系统软件/硬件缓存的不同，可能会导致最终用户体验的音视频不同步，并且不同的音频/视频接口、不同的平台(Android/IOS/MAC/WIN)、不同的厂家设备音频延迟和视频延迟不同，在这种方式下，即便在音频接口API和视频接口API层做同步对齐，或者是利用经验来预估一个值，均难以实现音视频的同步播放，从而影响用户观看体验。

针对上述的问题，发明人经过长期的研究发现，可以通过获取待处理音视频数据，待处理音视频数据包括音频数据以及视频数据，继而响应定时器事件，获取视频数据中的目标视频，并获取音频数据中的目标音频，再获取与目标视频对应的第一电平参数，以及获取与目标音频对应的第二电平参数，再基于第一电平参数与第二电平参数获取音频数据与视频数据之间的缓存时延，然后基于该缓存时延对待处理音视频数据的播放进度进行调整，以使音频数据与视频数据同步播放。从而通过上述方式实现了在响应定时器事件，获取到了目标视频以及目标音频的情况下，可以基于获取到的与目标视频对应的第一电平参数，以及与目标音频对应的第二电平参数，获取音频数据与视频数据之间的缓存时延，然后采用该缓存时延对待处理音视频数据的播放进度进行调整，进而使得音频数据与视频数据可以同步播放，提升用户的观看体验。因此，提出了本申请实施例提供的一种音视频同步处理方法、装置、电子设备以及存储介质。

下面将结合附图具体描述本申请的各实施例。

请参阅图2，示出了本申请一实施例提供的一种音视频同步处理方法的流程图，本实施例提供一种音视频同步处理方法，可应用于电子设备，该电子设备为音视频数据的观看端设备，该观看端设备可以适用于各种系统(例如win/mac/ios/Android等系统)，该方法包括：

步骤S110：获取待处理音视频数据，所述待处理音视频数据包括音频数据以及视频数据。

本实施例中，待处理音视频数据为被观看端设备解码后待播放的音视频数据，待处理音视频数据包括音频数据以及视频数据。可选的，在接收到开播端设备发送的音视频流文件时，可以对音视频流文件中的音频数据包以及视频数据包分别进行解码，其中，对接收的音频数据包进行解码可以得到音频数据，对接收的视频数据包进行解码可以得到视频数据，通过将解码后得到的音频数据以及视频数据作为待处理音视频数据，从而可以在播放前检测音视频数据是否同步，如果不同步，可以对音视频数据做同步处理，以实现音视频数据的同步播放。

可选的，可以通过音频设备系统软件/硬件缓存对解码后的音频数据进行存储(缓存)，通过视频设备系统软件/硬件缓存对解码后的视频数据进行存储(缓存)，以便于可以一边缓存一边播放音视频数据，从而可以防止数据丢失，以及避免播放时的数据卡顿等问题。

步骤S120：响应定时器事件，获取所述视频数据中的目标视频，并获取所述音频数据中的目标音频。

可选的，由于音视频缓存软件或者硬件性能的差异，缓存状态下的音视频数据之间可能存在缓存时延，为了避免因缓存时延导致的音视频数据播放不同步的问题，可以配置定时器事件，该定时器事件可以用于触发观看端设备检测播放前的音视频数据之间是否存在缓存时延。可选的，缓存时延可以理解为音频硬件播放和视频硬件渲染之间的时间(时长)差异，缓存时延的单位可以为毫秒(ms)。定时器事件可以配置为自动触发，触发的周期时长可以不作限定，例如，可以每30秒触发一次，每1分钟触发一次，每5分钟触发一次等。

作为一种方式，当检测到定时器事件被触发时，可以响应定时器事件，开始获取视频数据中的目标视频，以及获取音频数据中的目标音频。其中，本实施例中的目标视频可以包括白色画面视频帧，或者是其他颜色画面视频帧，其他颜色可以为除黑色以外的任意一种颜色，具体颜色可以不作限定。目标音频可以包括噪音帧音频，该噪音可以是环境噪音，也可以是通话过程中的语音噪音，或者是其他噪音，噪音的具体类别可以不作限定。

步骤S130：获取与所述目标视频对应的第一电平参数，以及获取与所述目标音频对应的第二电平参数。

可选的，本实施例中的电子设备可以与光电转换设备连接，光电转换设备用于将视频数据中的光信号转换为电信号，输出高电平。作为一种方式，当获取到目标视频时，可以控制光电转换设备将与目标视频对应的光信号转换为高电平，进而可以将该高电平所对应的值作为与目标视频对应的第一电平参数。

可选的，本实施例中的电子设备可以配置为与耳机麦克风连接，在这种方式下，可以将光电转换设备输出的高电平输入耳机麦克风的左声道，将位于耳机麦克风的左声道的高电平作为与目标视频对应的第一电平参数。可选的，在其他实施方式中，也可以将光电转换设备输出的高电平输入耳机麦克风的右声道，进而将位于耳机麦克风的右声道的高电平作为与目标视频对应的第一电平参数。

作为一种实施方式，当获取到目标音频时，可以控制耳机麦克风将与目标音频对应的声信号转换为高电平，再将耳机麦克风输出的高电平作为与目标音频对应的第二电平参数。在一种具体的实施方式中，可以将耳机麦克风输出的高电平输入耳机麦克风的右声道，进而可以将耳机麦克风的右声道的高电平作为与目标音频对应的第二电平参数。在其他可能的实施方式中，也可以将耳机麦克风输出的高电平输入耳机麦克风的左声道，进而可以将耳机麦克风的左声道的高电平作为与目标音频对应的第二电平参数。可选的，本实施例中的第一电平参数与第二电平参数均可以表征电平(即高低电平)的幅度值。

需要说明的是，为了便于区分，目标音频与目标视频可以位于耳机麦克风的不同声道，例如，若将光电转换设备输出的高电平输入耳机麦克风的左声道，则将耳机麦克风输出的高电平输入耳机麦克风的右声道；而若将光电转换设备输出的高电平输入耳机麦克风的右声道，则将耳机麦克风输出的高电平输入耳机麦克风的左声道。

例如，在一个具体的应用场景中，请参阅图3，示出了本实施例提供的获取与目标视频对应的第一电平参数，以及获取与目标音频对应的第二电平参数的获取过程的原理示意图。如图3所示，假设配置了定时器事件为每两秒触发一次获取与目标视频对应的第一电平参数，以及获取与目标音频对应的第二电平参数，那么在定时器事件被触发时，可以同时触发音频播放线程开始调用音频API接口播放音频数据，以及触发视频播放线程开始调用视频API接口播放视频数据。

其中，音频播放线程将n(n的具体数值可以不作限定)帧噪音数据以及静音数据发送给音频API接口，以使得音频API接口可以开始播放噪音数据或者静音数据(可以是交替播放静音数据和噪音数据，即周期性播放噪音和静音)。可选的，可以将观看端设备的喇叭所播放的噪音帧以及静音帧分别输入到耳机麦克风，耳机麦克风会分别输出高频正弦电平以及低电平。视频播放线程将n帧纯白色画面以及纯黑色画面发送给视频API接口，以使得视频API接口可以开始播放纯白色画面以及黑色画面。可选的，光电转换设备可以配置为面对着观看端设备的屏幕，在视频API接口播放视频画面时，若播放的是白色画面将触发光电转换设备输出高电平，该高电平可以输入耳机麦克风的左声道，而若播放的是黑色画面将触发光电转换设备输出低电平，该低电平可以输入耳机麦克风的右声道，当周期性播放黑白画面时，将触发光电转换设备输出连续的周期性的波形图。

在一种实现方式中，当定时器每次触发时，可以在观看端设备的屏幕界面调用视频API接口绘制白色画面的同时调用音频API播放噪音帧，而在非定时器触发期间，在观看端设备的屏幕界面调用视频API接口绘制黑色画面的同时调用音频API播放静音帧，从而可以分别生成两组周期性的波形图(如图4所示，左声道波形图为与视频画面对应的波形图，右声道波形图为与音频帧对应的波形图)。

可选的，由于白色画面的亮度较高，作为一种实施方式，可以设定高电平阈值，在定时器线程调用视频API在终端屏幕周期性的绘制黑色画面、以及白色画面时，可以将获取到的视频数据中的光信号转换为电信号，进而将该电信号的幅度值与高电平阈值进行比较，若该电信号的幅度值大于或者等于高电平阈值，那么可以判定获取到的视频数据为目标视频。而若该电信号的幅度值小于高电平阈值，为了保证缓存时延计算的准确性，可以重新获取视频数据，直至视频数据所对应电信号的幅度值大于或等于高电平阈值。类似的，可以设定与目标音频对应的高电平阈值，在获取到的音频数据中的声信号的幅度值高于该高电平阈值时，可以判定获取到的音频数据为目标音频。

步骤S140：基于所述第一电平参数与所述第二电平参数获取所述音频数据与所述视频数据之间的缓存时延。

作为一种方式，可以获取第一电平参数与第二电平参数之间的差值，再将该差值作为待处理音视频数据中的音频数据与视频数据之间的缓存时延。例如，在一个具体的应用场景中，如上述示例中的图4所示，左声道波形图所对应的峰值横坐标为第一电平参数，右声道波形图所对应的峰值横坐标为第二电平参数，可选的，可以将左声道波形图的峰值横坐标与右声道波形图的横坐标的差值作为音频数据与视频数据之间的缓存时延。可选的，缓存时延可以为正数，也可以为负数，在缓存时延为负数时，可以取绝对值作为最终的缓存时延。

步骤S150：基于所述缓存时延对所述待处理音视频数据的播放进度进行调整，以使所述音频数据与所述视频数据同步播放。

通过计算音视频设备系统的软件/硬件缓存导致的时延差异，再基于该时延差异对待处理音视频数据的播放进度进行调整，可以使得在播放前对音频数据或者视频数据的播放进度进行有效调整，从而可以确保音频数据与视频数据的同步播放。

本实施例提供的音视频同步处理方法，通过获取待处理音视频数据，待处理音视频数据包括音频数据以及视频数据，继而响应定时器事件，获取视频数据中的目标视频，并获取音频数据中的目标音频，再获取与目标视频对应的第一电平参数，以及获取与目标音频对应的第二电平参数，再基于第一电平参数与第二电平参数获取音频数据与视频数据之间的缓存时延，然后基于该缓存时延对待处理音视频数据的播放进度进行调整，以使音频数据与视频数据同步播放。从而通过上述方式实现了在响应定时器事件，获取到了目标视频以及目标音频的情况下，可以基于获取到的与目标视频对应的第一电平参数，以及与目标音频对应的第二电平参数，获取音频数据与视频数据之间的缓存时延，然后采用该缓存时延对待处理音视频数据的播放进度进行调整，进而使得音频数据与视频数据可以同步播放，提升用户的观看体验。

请参阅图5，示出了本申请另一实施例提供的一种音视频同步处理方法的流程图，本实施例提供一种音视频同步处理方法，可应用于电子设备，该方法包括：

步骤S210：获取待处理音视频数据，所述待处理音视频数据包括音频数据以及视频数据。

步骤S220：响应定时器事件，获取所述视频数据中的目标视频，并获取所述音频数据中的目标音频。

步骤S230：获取与所述目标视频对应的第一电平参数，以及获取与所述目标音频对应的第二电平参数。

步骤S240：基于所述第一电平参数与所述第二电平参数获取所述音频数据与所述视频数据之间的缓存时延。

步骤S250：基于所述缓存时延调整所述音频数据和/或所述视频数据的起始播放节点；或基于所述缓存时延调整所述音频数据和/或所述视频数据的播放速率，以使所述音频数据与所述视频数据同步播放。

在一种实现方式中，可以基于缓存时延调整音频数据和/或视频数据的起始播放节点，以使得音频数据与视频数据可以同步播放。例如，当得到的缓存时延表征音频数据比视频数据先播放出来时，可以延后音频数据播放的起始节点(例如，原本是第12秒要播放音频数据，可以延后至第18秒再播放)，以便于可以等到视频数据播放出来时，再开始播放音频数据。可选的，若得到的缓存时延表征音频数据比视频数据后播放出来时，可以提前音频数据播放的起始节点(例如，原本是第30秒要播放音频数据，可以提前至第15秒播放)，以便于可以实现音频数据与视频数据的同步播放。

可选的，在一些可能的实施方式中，在对音视频数据的起始播放节点进行调整时，也可以是同时调整音频数据与视频数据的起始播放界面。例如，若缓存时延表征音频数据比视频数据先播放出来时，可以在适当(例如，延后的时间长度可以为缓存时延的一半时长)延后音频数据播放的时间节点的同时提前(例如，提前的时间长度可以为缓存时延的一半时长)视频数据播放的起始节点，从而可以快速的实现音视频数据的同步播放。

在另一种实现方式中，可以基于缓存时延调整音频数据和/或视频数据的播放速率。例如，若缓存时延表征音频数据比视频数据先播放出来时，可以降低音频数据的播放速率，具体降低的幅度可以根据实际需要进行调整。而若缓存时延表征音频数据比视频数据后播放出来时，可以加快音频数据的播放速率。可选的，在一些可能的实施方式中，可以同时调整音频数据以及视频数据的播放速率，例如，若缓存时延表征音频数据比视频数据先播放出来时，可以在降低音频数据的播放速率的同时增加视频数据的播放速率，而若缓存时延表征音频数据比视频数据后播放出来时，可以在增加音频数据的播放速率的同时降低视频数据的播放速率，其中，具体降低或增加的幅度可以不作限定。

可选的，在一些可能的实施方式中，可以同时调整音频数据或视频数据的起始播放节点以及播放速率，调整的具体原理与上述两种调整方式的原理类似，在此不一一例举。

本实施例提供的音视频同步处理方法，实现了在响应定时器事件，获取到了目标视频以及目标音频的情况下，可以基于获取到的与目标视频对应的第一电平参数，以及与目标音频对应的第二电平参数，获取音频数据与视频数据之间的缓存时延，然后采用该缓存时延对待处理音视频数据的播放进度进行调整，进而使得音频数据与视频数据可以同步播放，提升用户的观看体验。

请参阅图6，为本申请实施例提供的一种音视频同步处理装置的结构框图，本实施例提供一种音视频同步处理装置300，可以运行于电子设备，所述装置300包括：第一数据获取模块310、第二数据获取模块320、参数获取模块330、时延获取模块340以及处理模块350：

第一数据获取模块310，用于获取待处理音视频数据，所述待处理音视频数据包括音频数据以及视频数据。

第二数据获取模块320，用于响应定时器事件，获取所述视频数据中的目标视频，并获取所述音频数据中的目标音频。

参数获取模块330，用于获取与所述目标视频对应的第一电平参数，以及获取与所述目标音频对应的第二电平参数。

可选的，本实施例中的电子设备可以与光电转换设备连接，在这种方式下，参数获取模块330可以用于当获取到目标视频时，控制所述光电转换设备将与所述目标视频对应的光信号转换为高电平；将所述高电平作为与所述目标视频对应的第一电平参数。

可选的，本实施例中的电子设备可以与耳机的麦克风连接，在这种方式下，参数获取模块330具体可以用于将与所述目标视频对应的光信号转换为高电平，输入所述耳机麦克风的左声道；然后将所述左声道的高电平作为与所述目标视频对应的第一电平参数。

作为一种方式，参数获取模块330可以用于当获取到目标音频时，控制所述耳机麦克风将与所述目标音频对应的声信号转换为高电平；将所述高电平作为与所述目标音频对应的第二电平参数。

在一种实施方式中，参数获取模块330可以用于将与所述目标音频对应的声信号转换为高电平，输入所述耳机麦克风的右声道；然后将所述右声道的高电平作为与所述目标音频对应的第二电平参数。

需要说明的是，在实际的方案中，也可以将与所述目标视频对应的光信号转换为高电平，输入所述耳机麦克风的右声道；然后将所述右声道的高电平作为与所述目标视频对应的第一电平参数；而将与所述目标音频对应的声信号转换为高电平，输入所述耳机麦克风的左声道；然后将所述左声道的高电平作为与所述目标音频对应的第二电平参数。

时延获取模块340，用于基于所述第一电平参数与所述第二电平参数获取所述音频数据与所述视频数据之间的缓存时延。

可选的，时延获取模块340可以用于获取所述第一电平参数与所述第二电平参数之间的差值；将所述差值作为所述音频数据与所述视频数据之间的缓存时延。

处理模块350，用于基于所述缓存时延对所述待处理音视频数据的播放进度进行调整，以使所述音频数据与所述视频数据同步播放。

可选的，处理模块350可以用于基于所述缓存时延调整所述音频数据和/或所述视频数据的起始播放节点；或基于所述缓存时延调整所述音频数据和/或所述视频数据的播放速率。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图7，基于上述的音视频同步处理方法及装置，本申请实施例还提供了一种可以执行前述音视频同步处理方法的电子设备100。电子设备100包括存储器102以及相互耦合的一个或多个(图中仅示出一个)处理器104，存储器102以及处理器104之间通信线路连接。存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行存储器102中存储的程序。

其中，处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器104可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。

存储器102可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图8，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质400中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质400可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质400包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质400具有执行上述方法中的任何方法步骤的程序代码410的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码410可以例如以适当形式进行压缩。

综上所述，本申请实施例提供的一种音视频同步处理方法、装置、电子设备以及存储介质，通过获取待处理音视频数据，待处理音视频数据包括音频数据以及视频数据，继而响应定时器事件，获取视频数据中的目标视频，并获取音频数据中的目标音频，再获取与目标视频对应的第一电平参数，以及获取与目标音频对应的第二电平参数，再基于第一电平参数与第二电平参数获取音频数据与视频数据之间的缓存时延，然后基于该缓存时延对待处理音视频数据的播放进度进行调整，以使音频数据与视频数据同步播放。从而通过上述方式实现了在响应定时器事件，获取到了目标视频以及目标音频的情况下，可以基于获取到的与目标视频对应的第一电平参数，以及与目标音频对应的第二电平参数，获取音频数据与视频数据之间的缓存时延，然后采用该缓存时延对待处理音视频数据的播放进度进行调整，进而使得音频数据与视频数据可以同步播放，提升用户的观看体验。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种音视频同步处理方法，其特征在于，应用于电子设备，所述方法包括：

获取待处理音视频数据，所述待处理音视频数据包括音频数据以及视频数据；

响应定时器事件，获取所述视频数据中的目标视频，并获取所述音频数据中的目标音频；

获取与所述目标视频对应的第一电平参数，以及获取与所述目标音频对应的第二电平参数；

基于所述第一电平参数与所述第二电平参数获取所述音频数据与所述视频数据之间的缓存时延；

基于所述缓存时延对所述待处理音视频数据的播放进度进行调整，以使所述音频数据与所述视频数据同步播放。

2.根据权利要求1所述的方法，其特征在于，所述电子设备与光电转换设备连接，所述获取与所述目标视频对应的第一电平参数，包括：

当获取到目标视频时，控制所述光电转换设备将与所述目标视频对应的光信号转换为高电平；

将所述高电平作为与所述目标视频对应的第一电平参数。

3.根据权利要求2所述的方法，其特征在于，所述电子设备与耳机麦克风连接，所述将所述高电平作为与所述目标视频对应的第一电平参数，包括：

将所述高电平输入所述耳机麦克风的左声道；

将所述左声道的高电平作为与所述目标视频对应的第一电平参数。

4.根据权利要求3所述的方法，其特征在于，所述获取与所述目标音频对应的第二电平参数，包括：

当获取到目标音频时，控制所述耳机麦克风将与所述目标音频对应的声信号转换为高电平；

将所述高电平作为与所述目标音频对应的第二电平参数。

5.根据权利要求4所述的方法，其特征在于，所述将所述高电平作为与所述目标音频对应的第二电平参数，包括：

将所述高电平输入所述耳机麦克风的右声道；

将所述右声道的高电平作为与所述目标音频对应的第二电平参数。

6.根据权利要求1所述的方法，其特征在于，所述基于所述第一电平参数与所述第二电平参数获取所述音频数据与所述视频数据之间的缓存时延，包括：

获取所述第一电平参数与所述第二电平参数之间的差值；

将所述差值作为所述音频数据与所述视频数据之间的缓存时延。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述缓存时延对所述待处理音视频数据的播放进度进行调整，包括：

基于所述缓存时延调整所述音频数据和/或所述视频数据的起始播放节点；或

基于所述缓存时延调整所述音频数据和/或所述视频数据的播放速率。

8.一种音视频同步处理装置，其特征在于，运行于电子设备，所述装置包括：

第一数据获取模块，用于获取待处理音视频数据，所述待处理音视频数据包括音频数据以及视频数据；

第二数据获取模块，用于响应定时器事件，获取所述视频数据中的目标视频，并获取所述音频数据中的目标音频；

参数获取模块，用于获取与所述目标视频对应的第一电平参数，以及获取与所述目标音频对应的第二电平参数；

时延获取模块，用于基于所述第一电平参数与所述第二电平参数获取所述音频数据与所述视频数据之间的缓存时延；

处理模块，用于基于所述缓存时延对所述待处理音视频数据的播放进度进行调整，以使所述音频数据与所述视频数据同步播放。

9.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；

一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-7任一所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。

Images