CN111356009B - 音频数据的处理方法、装置、存储介质以及终端 - Google Patents

Abstract

本申请实施例公开了一种音频数据的处理方法、装置、存储介质以及终端。其中，方法包括：接收第一媒体文件的播放指令；其中，所述播放指令用于播放所述第一媒体文件；响应于所述播放指令，通过显示单元播放所述第一媒体文件的视频数据，以及关闭所述第一媒体文件的声音输出；获取来自第二终端的混合音频数据，以及通过音频单元播放所述混合音频数据；其中，所述混合音频数据包括所述第二终端采集的第二音频数据以及所述第一媒体文件的第一音频数据。本申请通过关闭第一终端的第一媒体文件的第一音频数据，接收来自第二终端采集的混合音频数据，避免了互联网通讯速率低以及通讯不稳定造成的学生在第一终端播放的第一媒体文件的第一音频数据和获取到的第二终端的混合音频数据的干扰。

Description

音频数据的处理方法、装置、存储介质以及终端

技术领域

本发明涉及计算机技术领域，尤其涉及一种音频数据的处理方法、装置、存储介质以及终端。

背景技术

随着互联网的发展，在线教育受到越来越多人的欢迎，在线教育科研不限时间和地点灵活的学习，便于学习者充分提升自身的技能。相对于传统的使用固定教室更移动便捷化，在画面、音频更具视觉化和更具吸引力。在相关技术中，教师可以在教学过程中在教师终端和学生终端上播放相同的视频，然后针对播放的视频进行讲解，但是发明人发现：由于互联网通讯速率低，且通讯不稳定，学生通过学生终端观看视频时会发生混音的现象，影响教学的正常进行。

发明内容

本申请实施例提供了一种音频数据的处理方法、装置、计算机存储介质以及终端，旨在解决在线教学过程中由于互联网通讯速率低以及通讯不稳定，教师终端和学生终端播放相同的视频时，教师针对播放的视频进行讲解，导致学生通过学生终端观看视频时会发生混音的技术问题。所述技术方案如下：

第一方面，本申请实施例提供了一种音频数据的处理方法，运行在第一终端，所述方法包括：

接收第一媒体文件的播放指令；其中，所述播放指令用于播放所述第一媒体文件；

响应于所述播放指令，通过显示单元播放所述第一媒体文件的视频数据，以及关闭所述第一媒体文件的声音输出；

获取来自第二终端的混合音频数据，以及通过音频单元播放所述混合音频数据；其中，所述混合音频数据包括所述第二终端采集的第二音频数据以及所述第一媒体文件的第一音频数据。

第二方面，本申请实施例提供了一种音频数据的处理装置，所述装置包括：

播放指令接收模块，用于接收第一媒体文件的播放指令；其中，所述播放指令用于播放所述第一媒体文件；

视频播放模块，用于响应于所述播放指令，通过显示单元播放所述第一媒体文件的视频数据，以及关闭所述第一媒体文件的声音输出；

混合音频播放模块，用于获取来自第二终端的混合音频数据，以及通过音频单元播放所述混合音频数据；其中，所述混合音频数据包括所述第二终端采集的第二音频数据以及所述第一媒体文件的第一音频数据。

第三方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供了一种终端，可包括：存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述存储器加载并执行上述的方法步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

本申请实施例的方案在执行时，第一终端接收第一媒体文件的播放指令，响应于该播放指令，通过显示单元播放第一媒体文件的视频数据，同时关闭第一媒体文件的声音输出，获取来自第二终端的混合音频数据，以及通过音频单元播放混合音频数据，该混合音频数据包括第二终端采集的第二音频数据和第一媒体文件的第一音频数据。此时，第一终端观看的是第一媒体文件的视频数据，接收到的音频数据是第二终端采集的第二音频数据以及第一媒体文件的第一音频数据，避免了学生在第一终端播放的第一媒体文件的第一音频数据和获取到的第二终端的混合音频数据的干扰，解决了在线教学过程中，互联网通讯速率低以及通讯不稳定造成学生通过第一终端观看视频时会发生混音的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种网络架构图；

图2是本申请实施例提供的一种音频数据的处理方法流程示意图；

图3是本申请实施例提供的一种音频数据的处理方法流程示意图；

图4是本申请实施例提供的一种第二终端设备的用户界面的示意图；

图5是本申请实施例提供的一种第二终端设备的用户界面的示意图；

图6是本申请实施例提供的一种音频数据的处理装置结构示意图；

图7是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使得本申请实施例的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

图1示出了可以应用于本申请的音频数据的处理方法或音频数据的处理装置的示例性系统架构100。

如图1所示，系统架构100可以包括第一终端设备100、第一网络101、服务器102、第二网络103和第二终端设备104。第一网络101用于在第一终端设备101和服务器102之间提供通信链路的介质，第二网络103用于在第二终端设备104和服务器102之间提供通信链路的介质。第一网络101和第二网络103可以包括各种类型的有线通信链路或无线通信链路，例如：有线通信链路包括光纤、双绞线或同轴电缆的，无线通信链路包括蓝牙通信链路、无线保真(WIreless-FIdelity，Wi-Fi)通信链路或微波通信链路等。

第一终端设备100通过第一网络101、服务器102、第二网络103和第二终端设备104之间进行通信，第一终端设备100向服务器102发送消息，服务器102将消息转发给第二终端设备104，第二终端设备104将消息发送给服务器102，服务器102将消息转发给第二终端设备100，由此实现第一终端设备100和第二终端设备104之间的通信，第一终端设备100和第二终端设备104之间交互的消息类型包括控制数据和业务数据。

其中，在本申请中，第一终端设备100为学生上课的终端，第二终端设备104为教师上课的终端，即第一终端设备100为本申请的第一终端，第二终端设备104为本申请的第二终端；或第一终端设备100为教师上课的终端，第二终端设备104为学生上课的终端，即第一终端设备100为本申请的第二终端，第二终端设备104为本申请的第一终端。例如：业务数据为视频流，第一终端设备100通过摄像头采集教师上课过程中的第一视频流，第二终端设备104通过摄像头采集学生上课过程中的第二视频流，第一终端设备100将第一视频流发送给服务器102，服务器102将第一视频流转发给第二终端设备104，第二终端设备104在界面上显示第一视频流和第二视频流；第二终端设备104将第二视频流发送给服务器102，服务器102将第二视频流转发给第一终端设备100，第一终端设备100显示第一视频流和第二视频流。

其中，本申请的上课方式可以是一对一或一对多在线直播课，即一个教师对应一个学生或一个教师对应多个学生。相应的，在一对一的教学方式中，一个用于教师上课的终端和一个用于学生上课的终端之间进行通信；在一对多的教学方式中，一个用于教师上课的终端和多个用于学生上课的终端之间进行通信。本申请的上课方式也可以是录播课，如单独上课、多人一起上课(如：小班课、大班课等)，相应的对于单独上课方式，是一个学生上课的终端与服务器和/或平台之间进行通信，而对于多人一起上课的方式，则是多个学生上课的终端与服务器和/或平台之间进行通信。此外，本申请也可以是直播课、录播课的结合，例如：部分时段是录播课、部分时段是直播课，等等。

第一终端设备100和第二终端设备104上可以安装有各种通信客户端应用，例如：视频录制应用、视频显示应用、语音交互应用、搜索类应用、及时通信工具、邮箱客户端、社交平台软件等。

第一终端设备100和第二终端设备104可以是硬件，也可以是软件。当终端设备101～103为硬件时，可以是具有显示屏的各种第一终端设备，包括但不限于智能手机、平板电脑、膝上型便携式计算机和台式计算机等等。当第一终端设备100和第二终端设备104为软件时，可以是安装上上述所列举的第一终端设备中。其可以实现呈多个软件或软件模块(例如：用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不作具体限定。

当第一终端设备100和第二终端设备104为硬件时，其上还可以安装有显示设备和摄像头，显示设备显示可以是各种能实现显示功能的设备，摄像头用于采集视频流；例如：显示设备可以是阴极射线管显示器(cathoderay tubedisplay，简称CR)、发光二极管显示器(light-emittingdiodedisplay，简称LED)、电子墨水屏、液晶显示屏(liquidcrystaldisplay，简称LCD)、等离子显示面板(plasmadisplaypanel，简称PDP)等。用户可以利用第一终端设备100和第二终端设备104上的显示设备，来查看显示的文字、图片、视频等信息。

需要说明的是，本申请实施例提供的音频数据的处理方法一般由第二终端设备104执行，相应的，音频数据的处理装置一般设置于第二终端设备104，即本申请实施例的第一终端设备可以是第一终端设备101。

服务器102可以是提供各种服务的服务器，服务器102可以是硬件，也可以是软件。当服务器102为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器102为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。

应理解，图1中的终端设备、网络和服务器的数目仅是示意性的。根据实现需要，可以是任意数量的终端设备、网络和服务器。

其中，服务器上存储有直播课中生成的课件，后续有其他第二终端设备请求该课件时，直接向该可将分发给请求的第二终端设备。

下面将结合附图2-附图5，对本申请实施例提供的一种音频数据的处理方法进行详细介绍。其中，本申请实施例中的音频数据的处理装置可以是图2-图5所示的终端设备。其中，本申请中的第一终端为学生终端，第二终端为教师终端。

请参见图2，为本申请实施例提供的一种音频数据的处理方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤：

S201，接收第一媒体文件的播放指令。

一般的，学生终端接收针对第一媒体文件的播放指令，该播放指令用于播放第一媒体文件，在一种可能的实施方式中，该播放指令可以是由服务器发送的，教师终端检测到教师点击第一媒体文件的点击操作时，教师终端基于该点击操作生成播放指令，教师终端将播放指令通过服务器发送给学生终端，学生终端接收来自服务器的播放指令，播放指令中可携带第一媒体文件的地址、名称和大小等信息。在另一种可能的实施方式中，播放指令也可以是学生终端在预设时刻到达时自动生成的，例如：学生终端设置有定时器，定时器中存储有设置的预设时刻。

其中，第一媒体文件的格式包括但不限于视频文件、音频文件或其他具有音频输出的媒体文件等。第一媒体文件可以存储在学生终端和教师终端的本地，也可以存储在远程的流媒体服务器上，本申请实施例不作限制。

举例来说：课程开始时间为19:00，教师终端和学生终端登录到服务器，以及教师终端和学生终端在19:00时已进入到虚拟教室中，虚拟教室表示教师和学生进入教学的虚拟场所，教师和学生可以通过各自的终端在虚拟教室中互动。19:05时教师在教学终端的教学窗口的播放控件上点击播放影片《Zootopia》，教师终端向流媒体服务器请求播放影片《Zootopia》，教师终端检测到该点击操作时，通过服务器向学生终端发送播放影片《Zootopia》的播放指令，学生终端接收来自服务器的指令，基于该播放指令向流媒体服务器播放该影片《Zootopia》，这样实现教师终端和学生终端在相同时刻播放影片《Zootopia》。

又举例来说：课程开始时间为19:00，教师终端和学生终端在课程开始时间之前进入到虚拟教室中，预先设置的预设时刻为19:05，学生终端的定时器检测当前时刻，在当前时刻为19:05时，学生终端通过显示单元显示播放第一媒体文件的提醒消息，定时器生成播放指令，学生终端接收到定时器发送的播放影片《Zootopia》的播放指令。

S202，响应于播放指令，通过显示单元播放第一媒体文件的视频数据，以及关闭第一媒体文件的声音输出。

一般的，学生终端响应于第一媒体文件的播放指令，获取第一媒体文件的音频数据和视频数据，将视频数据发送给学生终端的显示单元，学生终端通过显示单元播放第一媒体文件的视频数据，同时关闭第一媒体文件的音频数据的输出。其中，关闭第一媒体文件的声音输出是指不向学生终端的音频单元发送第一媒体文件的音频数据，也可以指向学生终端的音频单元发送第一媒体文件的音频数据但是在音频单元中关闭第一媒体文件的音频数据的输出，本申请实施例不作限制。

举例来说：在19:05时学生终端接收到播放影片《Zootopia》的播放指令，响应于该播放指令，学生终端可以从本地媒体文件库获取影片《Zootopia》的视频数据和音频数据。

又举例来说：学生终端也可以从流媒体服务器中获取影片《Zootopia》的视频数据和音频数据。学生终端将获取到的视频数据发送给显示单元，比如在显示屏上播放视频，学生终端不将获取到的音频数据发送给音频单元，即音频单元关闭影片《Zootopia》音频数据的输出，学生终端也可以将获取到的影片的音频数据发送给音频单元，但是在音频单元设置静音播放影片的音频数据，即关闭影片《Zootopia》音频数据的输出。

S203，获取来自第二终端的混合音频数据，以及通过音频单元播放混合音频数据。

一般的，教师终端采集混合音频数据，该混合音频数据包括教师的教学语音数据以及教师终端通过音频单元播放第一媒体文件的过程中生成的音频数据，教师终端将采集到的混合语音数据发送至服务器，服务器再将混合语音数据发送给学生终端，学生终端接收到混合语音数据，将混合语音数据发送至音频单元，通过音频单元播放混合音频数据。

本申请实施例的方案在执行时，第一终端接收第一媒体文件的播放指令，响应于该播放指令，通过显示单元播放第一媒体文件的视频数据，同时关闭第一媒体文件的声音输出，获取来自第二终端的混合音频数据，以及通过音频单元播放混合音频数据，该混合音频数据包括第二终端采集的第二音频数据和第一媒体文件的第一音频数据。此时，第一终端观看的是第一媒体文件的视频数据，接收到的音频数据是第二终端采集的第二音频数据以及第一媒体文件的第一音频数据，避免了学生在第一终端播放的第一媒体文件的第一音频数据和获取到的第二终端的混合音频数据的干扰，解决了在线教学过程中，互联网通讯速率低以及通讯不稳定造成学生通过第一终端观看视频时会发生混音的问题。

请参见图3，为本申请实施例提供的一种音频数据的处理方法的流程示意图。如图3所示，本申请实施例的所述方法可以包括以下步骤：

S301，接收第一媒体文件的播放指令。

其中，S301的具体过程可参照图2中S201的描述，此处不再赘述。

S302，响应于播放指令，获取第一媒体文件的音视频封装数据。

一般的，学生终端响应于第一媒体文件的播放指令，获取第一媒体文件的音视频封装数据，在一种可能的实施方式中，该音视频封装数据可以从学生终端本地媒体文件库中获取，学生终端预先将第一媒体文件的音视频封装数据存储到本地媒体文件库。在另一种可能的实施方式中，学生终端获取该音视频封装数据可以从互联网中的流媒体服务器中获取，即学生终端响应于播放指令，通过网络在线获取互联网中流媒体服务器的音视频封装数据。其中，音视频封装数据是指按照一定的封装格式将已经压缩编码的视频数据和音频数据存储在一起的数据。

举例来说：在19:00时教师终端和学生终端已经登录到服务器，并且进入到虚拟教室，19:05学生终端接收到服务器发送的播放影片《Zootopia》的播放指令，播放指令中携带影片《Zootopia》的信息，如图4所示，响应于播放指令，学生终端的显示屏上的课件显示区域40显示待播放影片的缩略图，教师视频显示区域41显示教师的视频画面，学生视频显示区域42显示学生本人的视频画面，播放控件43用于指示学生终端播放第一媒体文件的音视频数据。学生终端根据播放指令携带的信息从本地媒体文件库中查询对应的文件，获取影片《Zootopia》的音视频封装数据。

又举例来说：响应于播放指令，学生终端也可以从互联网的流媒体服务器中获取影片《Zootopia》的音视频封装数据，互联网的流媒体服务器中的影片《Zootopia》的音视频封装数据是将音视频协议数据进行解协议处理得到的，解协议处理是指将影片的音视频协议数据中的信令数据去掉，只保留影片的音视频封装数据。如图4所示，响应于播放指令，学生终端在课件显示区域40显示待播放影片的缩略图，该缩略图是学生终端根据播放指令中携带的网址信息从流媒体服务器中获取影片《Zootopia》的音视频封装数据得到的。

再举例来说：学生终端预先设置在预设时刻2019.09.20日的19:05:00时播放影片《Zootopia》，学生终端的定时器检测当前时刻，在检测到该预设时刻到达时，定时器生成播放指令，响应于该播放指令，学生终端从本地媒体文件库或者从流媒体服务器中获取影片《Zootopia》的音视频封装数据。

S303，将第一媒体文件的音视频封装数据进行解封装处理得到音频压缩数据和视频压缩数据。

一般的，学生终端将获取到的第一媒体文件的音视频封装数据进行解封装处理得到音频压缩数据和视频压缩数据。其中，音频压缩数据是指将原始的数字音频信号流(PulseCodeModulation，简称PCM编码)经过适当的数字信号处理技术，在不损失有用信息量，或所引入损失可忽略的条件下，降低或压缩其码率得到的数据。视频压缩数据是指按照视频编码标准将原始的视频数据进行编码并压缩得到的数据。

举例来说：学生终端在本地媒体文件库中获取到影片《Zootopia》的音视频封装数据，如图4所示，学生终端的显示屏上的课件显示区域40显示待播放的影片的缩略图，学生点击课件显示区域40上的播放控件43时，学生终端检测到学生点击播放控件43的点击操作，将音视频封装数据进行解封装处理，解封装是指将数据链路层的帧格式数据解封成原始的数据报格式，常用的封装格式有传输流(transportstream，简称TS)、多媒体容器文件(matroskavideo，简称MKV)、网络流媒体可变比特率(realmediavariablebitrate，简称RMVB)、流媒体格式(flashvideo，简称FLV)、音频视频交错格式(audiovideoInterleaved，简称AVI)等等，封装是指将已经压缩编码的视频数据和音频数据按照一定的格式存储在一起，那么解封装就是封装的逆过程，就是将这些已经按照封装格式存储在一起的音视频封装数据进行解封装处理，将音视频封装数据分离成音频压缩数据和视频压缩数据。例如，FLV格式的数据，经过解封装处理后，输出视频编码技术H.264编码的视频码流和高级音频编码(advancedaudiocoding，简称AAC)编码的音频码流。

又举例来说：学生终端从互联网的流媒体服务器中获取到影片《Zootopia》的音视频封装数据，如图4所示，学生终端的显示屏上的课件显示区域40显示待播放的影片的缩略图，学生点击课件显示区域40上的播放按件43时，学生终端检测到学生点击播放按件43的点击操作，将音视频封装数据进行解封装处理得到音频压缩数据和视频压缩数据。

S304，将视频压缩数据进行视频解码得到第一媒体文件的视频数据。

一般的，学生终端将解封装处理之后得到的视频压缩数据进行解码处理得到第一媒体文件的视频数据。其中，视频数据是指视频信号数字化后的原始数据。

举例来说：学生终端将影片《Zootopia》视频压缩数据进行视频解码得到影片的视频数据。视频的压缩编码标准包括H.265，H.264，MPEG2等等。通过解码，将编码压缩的视频压缩数据输出成为非压缩的颜色数据，例如YUV420P格式数据，三原色色彩(red，green，blue，简称RGB)数据等等。

S305，接收来自第二终端的测试数据。

其中，测试数据是指教师终端检测到老师点击播放第一媒体文件的点击操作时，发送给服务器的测试数据，测试数据中携带发送时间戳，发送时间戳是指教师终端记录的教师终端播放第一媒体文件的时间数据。学生终端通过检测测试数据中数据包里的包头信息，确定该测试数据是教师终端通过服务器发送过来的时间数据。

S306，解析测试数据中携带的发送时间戳。

一般的，学生终端在接收到服务器发送的来自教师终端的测试数据，解析测试数据中携带的发送时间戳，确定教师终端播放第一媒体文件的时间。

举例来说：学生终端解析测试数据中的发送时间戳，确定教师在教师终端上播放影片的时间为19:05:10。

S307，根据当前时刻和发送时间戳确定第一终端和第二终端之间的传输时延。

一般的，学生终端在解析了测试数据中携带的发送时间戳之后，学生终端根据当前时刻和发送时间戳确定教师终端和学生终端之间的传输时延。其中，传输时延是指教师终端播放第一媒体文件的时间和学生终端的当前时刻的时间差。

举例来说：学生终端解析了服务器发送的来自教师终端的测试数据中的发送时间戳，确定教师终端播放影片的时间是在19:05:10，而学生终端的当前时刻是在19:05:20，从而确定教师终端播放影片的时间和学生终端当前时刻的时间差为10秒，即确定教师终端和学生终端之间的传输时延为10秒。

S308，根据传输时延延迟播放第一媒体文件的视频数据，关闭第一媒体文件的第一音频数据的输出。

一般的，学生终端根据确定的传输时延延迟播放第一媒体文件的视频数据。

举例来说：学生终端基于S307确定的传输时延为10秒，如图5所示，课件显示区域50为媒体文件显示区域，教师视频显示区域51显示教师视频的画面，学生视频显示区域52显示学生视频的画面，在课程开始时间19:00，学生终端显示屏的课件显示区域50显示欢迎界面，那么学生终端基于接收到的播放指令和传输时延，通过显示单元如显示屏，在时刻19:05:20在课件显示区域50播放影片《Zootopia》的视频，即课件显示区域显示单元延迟10秒显示影片《Zootopia》的视频数据。同时，学生终端通过音频单元关闭输出影片《Zootopia》的音频数据，关闭输出影片《Zootopia》的音频数据可以是静音播放影片《Zootopia》的音频数据，也可以不将影片的音频封装数据进行解码。

S309，获取来自第二终端的混合音频数据。

一般的，学生终端获取来自教师终端的混合音频数据。其中，混合音频数据是指教师终端采集的老师的语音数据以及播放第一媒体文件时的第一媒体文件的音频数据。

举例来说：学生终端通过网络和服务器与老师进行实时通话，实时获取来自教师终端的混合音频数据，混合音频数据包括老师讲话的语音数据，还包括教师终端采集到的播放影片《Zootopia》时影片的音频数据。

S310，通过音频单元播放混合音频数据。

一般的，学生终端将获取到的教师终端的混合音频数据发送给音频单元，并给音频单元发送播放混合音频数据的指令。

举例来说：在19:00学生终端和教师终端分别进入在线教学的虚拟教室中，学生终端和教师终端通过网络和服务器建立通信连接，如图4所示，学生终端的显示屏上的教师视频显示区域41和学生视频显示区域42分别显示教师和学生的画面，表示教师和学生在一个虚拟教室进行面对面教学，学生终端获取到教师终端的混合音频数据，混合语音数据包括教师的教学语音数据以及播放影片的过程中产生的影片的音频数据，学生终端将混合音频数据发送至音频单元，通过音频单元播放混合音频数据。

本申请实施例的方案在执行时，第一终端接收第一媒体文件的播放指令，响应于该播放指令，通过显示单元播放第一媒体文件的视频数据，同时关闭第一媒体文件的声音输出，获取来自第二终端的混合音频数据，以及通过音频单元播放混合音频数据，该混合音频数据包括第二终端采集的第二音频数据和第一媒体文件的第一音频数据。此时，第一终端观看的是第一媒体文件的视频数据，接收到的音频数据是第二终端采集的第二音频数据以及第一媒体文件的第一音频数据，避免了学生在第一终端播放的第一媒体文件的第一音频数据和获取到的第二终端的混合音频数据的干扰，解决了在线教学过程中，互联网通讯速率低以及通讯不稳定造成学生通过第一终端观看视频时会发生混音的问题。

请参见图6，为本申请实施例提供的一种音频数据的处理装置的结构示意图。该音频数据的处理装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置包括：

接收模块610，用于接收第一媒体文件的播放指令；其中，所述播放指令用于播放所述第一媒体文件；

第一播放模块620，与播放指令接收模块610连接，用于响应于所述播放指令，通过显示单元播放所述第一媒体文件的视频数据，以及关闭所述第一媒体文件的声音输出；

第二播放模块630，与播放指令接收模块610和视频播放模块620连接，用于获取来自第二终端的混合音频数据，以及通过音频单元播放所述混合音频数据；其中，所述混合音频数据包括所述教师终端采集的老师语音数据以及所述第一媒体文件的第一音频数据。

可选地，第一播放模块620包括：

获取单元，用于响应于所述播放指令，获取所述第一媒体文件的音视频封装数据；

解封装单元，用于将所述第一媒体文件的音视频封装数据进行解封装处理得到音频压缩数据和视频压缩数据；

解码单元，用于将所述视频压缩数据进行视频解码得到所述第一媒体文件的视频数据，以及通过显示单元播放所述第一媒体文件的视频数据；其中，不执行所述音频压缩数据的解码。

可选地，第一播放模块620还包括：

传输时延获取单元，用于获取所述第一终端和第二终端之间的传输时延；

延迟播放单元，用于根据所述传输时延延迟播放所述第一媒体文件的视频数据。

可选地，接收模块610包括：

定时器单元，用于在预设时刻达到时，接收来自定时器的第一媒体文件的播放指令；以及

指令接收单元，用于接收来自服务器的第一媒体文件的播放指令。

本申请实施例的方案在执行时，学生终端接收第一媒体文件的播放指令，响应于该播放指令，通过显示单元播放第一媒体文件的视频数据，同时关闭第一媒体文件的声音输出，获取来自教师终端的混合音频数据，以及通过音频单元播放混合音频数据，该混合音频数据包括教师终端采集的老师的语音数据和第一媒体文件的音频数据。此时，学生终端观看的是第一媒体文件的视频数据，接收到的音频数据是教师终端采集的老师语音数据以及第一媒体文件的音频数据，避免了学生在学生终端播放的第一媒体文件的音频数据和获取到的教师终端的混合音频数据的干扰，解决了在线教学过程中，互联网通讯速率低以及通讯不稳定造成学生通过学生终端观看视频时会发生混音的问题。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述的方法步骤，具体执行过程可以参见图2和图3所示实施例的具体说明，在此不进行赘述。

本申请还提供了一种终端，包括处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

参见图7，其示出了本申请实施例所涉及的一种电子设备的结构示意图，该电子设备可以用于实施上述实施例中音频数据的处理方法。具体来讲：

存储器720可用于存储软件程序以及模块，处理器790通过运行存储在存储器720的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器720还可以包括存储器控制器，以提供处理器790和输入单元730对存储器720的访问。

输入单元730可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元730可包括触敏表面731(例如：触摸屏、触摸板或触摸框)。触敏表面731，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面731上或在触敏表面731附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面731可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器790，并能接收处理器790发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面731。

显示单元740可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元740可包括显示面板741，可选的，可以采用LCD(LiquidCrystalDisplay，液晶显示器)、OLED(OrganicLight-EmittingDiode,有机发光二极管)等形式来配置显示面板741。进一步的，触敏表面731可覆盖显示面板741，当触敏表面731检测到在其上或附近的触摸操作后，传送给处理器790以确定触摸事件的类型，随后处理器790根据触摸事件的类型在显示面板741上提供相应的视觉输出。虽然在图7中，触敏表面731与显示面板741是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面731与显示面板741集成而实现输入和输出功能。

处理器790是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器720内的软件程序和/或模块，以及调用存储在存储器720内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器790可包括一个或多个处理核心；其中，处理器790可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器790中。

具体在本实施例中，终端设备的显示单元是触摸屏显示器，终端设备还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含实现上述音频数据的处理方法的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上介绍仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种音频数据的处理方法，运行在第一终端，其特征在于，所述方法包括：

接收第一媒体文件的播放指令；其中，所述播放指令用于播放所述第一媒体文件；

其中，所述接收第一媒体文件的播放指令，包括：

在定时器上设置的预设时刻达到时，接收来自所述定时器的第一媒体文件的播放指令；或，

接收来自服务器的第一媒体文件的播放指令，所述播放指令由第二终端生成并由所述第二终端传输至所述服务器；

响应于所述播放指令，通过显示单元播放所述第一媒体文件的视频数据，以及关闭所述第一媒体文件的声音输出；

获取来自第二终端的混合音频数据，以及通过音频单元播放所述混合音频数据；其中，所述混合音频数据包括所述第二终端采集的第二音频数据以及所述第一媒体文件的第一音频数据。

2.根据权利要求1所述的方法，其特征在于，所述响应于所述播放指令，通过显示单元播放所述第一媒体文件的视频数据，以及关闭所述第一媒体文件的声音输出，包括：

响应于所述播放指令，获取所述第一媒体文件的音视频封装数据；

将所述第一媒体文件的音视频封装数据进行解封装处理得到音频压缩数据和视频压缩数据；

将所述视频压缩数据进行视频解码得到所述第一媒体文件的视频数据，以及通过显示单元播放所述第一媒体文件的视频数据；其中，不执行所述音频压缩数据的解码。

3.根据权利要求2所述的方法，其特征在于，所述获取所述第一媒体文件的音视频封装数据，包括：

在本地媒体文件库中获取所述第一媒体文件的所述音视频封装数据；和/或

在互联网中的流媒体服务器中获取所述第一媒体文件的所述音视频封装数据。

4.根据权利要求1所述的方法，其特征在于，所述响应于所述播放指令，通过显示单元播放所述第一媒体文件的视频数据，以及关闭所述第一媒体文件的声音输出，包括：

获取所述第一终端和所述第二终端之间的传输时延；

根据所述传输时延延迟播放所述第一媒体文件的视频数据。

5.根据权利要求4所述的方法，其特征在于，所述获取所述第一终端和所述第二终端之间的传输时延，包括：

接收来自所述第二终端的测试数据；其中，所述测试数据携带发送时间戳；

解析所述测试数据中携带的发送时间戳；

根据当前时刻和所述发送时间戳确定所述第一终端和所述第二终端之间的传输时延。

6.一种音视频同步装置，其特征在于，所述装置包括：

播放指令接收模块，用于接收第一媒体文件的播放指令；其中，所述播放指令用于播放所述第一媒体文件；

其中，所述播放指令接收模块用于在定时器上设置的预设时刻达到时，接收来自所述定时器的第一媒体文件的播放指令；或，

用于接收来自服务器的第一媒体文件的播放指令，所述播放指令由第二终端生成并由所述第二终端传输至所述服务器

媒体文件播放模块，用于响应于所述播放指令，通过显示单元播放所述第一媒体文件的视频数据，以及关闭所述第一媒体文件的声音输出；

混合音频播放模块，用于获取来自教师终端的混合音频数据，以及通过音频单元播放所述混合音频数据；其中，所述混合音频数据包括所述教师终端采集的老师语音数据以及所述第一媒体文件的音频数据。

7.根据权利要求6所述的装置，其特征在于，所述媒体文件播放模块，包括：

音视频封装数据获取单元，用于响应于所述播放指令，获取所述第一媒体文件的音视频封装数据；

解封装处理单元，用于将所述第一媒体文件的音视频封装数据进行解封装处理得到音频压缩数据和视频压缩数据；

解码处理单元，用于将所述视频压缩数据进行视频解码得到所述第一媒体文件的视频数据，以及通过显示单元播放所述第一媒体文件的视频数据；其中，不执行所述音频压缩数据的解码。

8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～5任意一项的方法步骤。

9.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～5任意一项的方法步骤。

Images