CN114339429A - 音视频播放控制方法、电子设备和存储介质 - Google Patents

Abstract

本申请实施例提供的一种音视频播放控制方法、电子设备和存储介质，所述方法包括分别根据音频数据和视频数据输出音频和视频；响应于用户输入的音频进度调整指令，对音频播放进度进行调整；和/或，响应于用户输入的视频进度调整指令，对视频播放进度进行调整。采用本申请实施例提供的技术方案，可以在不影响音频播放的同时，单独进行视频的播放控制，或者，在不影响视频播放的同时，单独进行音频的播放控制，实现视频和音频的异步播放。

Description

音视频播放控制方法、电子设备和存储介质

技术领域

本申请涉及多媒体技术领域，具体地涉及一种音视频播放控制方法、电子设备和存储介质。

背景技术

进度条即计算机在处理任务时，实时的，以图片形式显示处理任务的速度，完成度，剩余未完成任务量的大小，和可能需要处理时间，一般以长方形条状显示。例如，音频进度条可以用来显示音频播放的完成时长，以及剩余未播放的音频时长；视频进度条可以用来显示视频播放的完成时长，以及剩余未播放的视频时长。另外，用户可以通过拖动音频或视频进度条，实现音频或视频任务的快进或快退。

通常情况下，音视频节目(同时包含音频和视频的节目)通常需要保持音频和视频同步，例如电视、电影节目等。相应的，音频和视频采用同一进度条进行控制。当用户拖动进度条时，音频任务和视频任务同步快进或快退。

但是，当用户在欣赏音视频节目时，可能需要在不中断当前音频的情况下，单独快进视频，浏览后续节目概要；或者，在不中断当前视频的情况下，通过快退音频，重复收听一下前一时刻播放的音频。现有技术中的技术方案无法满足用户的上述需求，影响用户体验。

发明内容

有鉴于此，本申请提供一种音视频播放控制方法、电子设备和存储介质，以利于解决现有技术音视频播放过程中，无法单独快进或快退音频，或者无法耽误快进或快退视频的问题。

第一方面，本申请实施例提供了一种音视频播放控制方法，应用于终端设备，包括：

分别根据音频数据和视频数据输出音频和视频；

响应于用户输入的音频进度调整指令，对音频播放进度进行调整；和/或，响应于用户输入的视频进度调整指令，对视频播放进度进行调整。

在一种可选实施例中，所述方法还包括：

响应于用户输入的音视频同步指令，将所述音频和所述视频同步播放。

在一种可选实施例中，响应于用户输入的音视频同步指令，将所述音频和所述视频同步播放，具体为：

响应于用户输入的音频向视频同步指令，调整所述音频的播放时间，使所述音频的播放时间与所述视频当前的播放时间相匹配，所述音频和所述视频同步播放。

在一种可选实施例中，响应于用户输入的音视频同步指令，将所述音频和所述视频同步播放，具体为：

响应于用户输入的视频向音频同步指令，调整所述视频的播放时间，使所述视频的播放时间与所述音频当前的播放时间相匹配，所述音频和所述视频同步播放。

在一种可选实施例中，在响应于用户输入的音频进度调整指令，对音频播放进度进行调整；和/或，响应于用户输入的视频进度调整指令，对视频播放进度进行调整之前，还包括：

响应于用户输入的音视频异步指令，在视频播放窗口中展示音频进度条和/或视频进度条，取消音视频进度条。

在一种可选实施例中，所述方法还包括：

响应于用户输入的音视频同步指令，在视频播放窗口中展示音视频进度条，取消音频进度条和/或视频进度条。

在一种可选实施例中，所述方法还包括：

接收音视频数据，所述音视频数据包括音频数据和视频数据；

将所述音视频数据中的音频数据删除，获得视频数据；将所述音视频数据中的视频数据删除，获得音频数据。

在一种可选实施例中，所述将所述音视频数据中的音频数据删除，获得视频数据；将所述音视频数据中的视频数据删除，获得音频数据，包括：

响应于用户输入的音视频异步指令，将所述音视频数据中的音频数据删除，获得视频数据；将所述音视频数据中的视频数据删除，获得音频数据。

在一种可选实施例中，所述方法还包括：

分别接收音频数据和视频数据。

在一种可选实施例中，所述分别接收音频数据和视频数据，包括：

分别向服务器发送音频数据请求指令和/或视频数据请求指令；

分别接收服务器发送的音频数据和/或视频数据。

在一种可选实施例中，所述分别根据音频数据和视频数据输出音频和视频包括：

通过第一线程控制所述音频数据输出音频，通过第二线程控制所述视频数据输出视频。

第二方面，本申请实施例提供了一种音视频播放控制方法，应用于服务器设备，包括：

将音视频数据分解为音频数据和视频数据；

接收终端设备发送的音频数据请求指令和/或视频数据请求指令；

分别向终端设备发送所述音频数据和/或视频数据。

第三方面，本申请实施例提供了一种终端设备，所述终端设备包括：

显示屏；扬声器；一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述终端设备执行时，使得所述终端设备执行上述第一方面中任意一项所述的方法。

第四方面，本申请实施例提供了一种服务器设备，所述服务器设备包括：

一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述服务器设备执行时，使得所述服务器设备执行上述第二方面任一项所述的方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述第一方中任意一项所述的方法。

第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述第二方面任一项所述的方法。

第七方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行上述第一方面任一项所述的方法。

第八方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行上述第二方面任一项所述的方法。

本申请实施例提供的技术方案，可以在不影响音频播放的同时，单独进行视频的播放控制，或者，在不影响视频播放的同时，单独进行音频的播放控制，实现视频和音频的异步播放。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的一种电子设备200的结构示意图；

图3为相关技术中一种音视频播放场景示意图；

图4为本申请实施例提供的一种音视频播放控制方法流程示意图；

图5a-5b为本申请实施例提供的一种音视频播放场景示意图；

图6为本申请实施例提供的另一种音视频播放控制方法流程示意图；

图7a-7b为本申请实施例提供的另一种音视频播放场景示意图；

图8为本申请实施例提供的另一种音视频播放控制方法流程示意图；

图9为本申请实施例提供的另一种音视频播放控制方法流程示意图。

具体实施方式

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在对本申请实施例进行具体介绍之前，首先对本申请所涉及的场景进行简单介绍。

参见图1，为本申请实施例提供的一种应用场景示意图。如图1所示，本申请实施例涉及的电子设备包括服务器设备101和终端设备102，服务器设备101和终端设备102通过有线或无线通信网络互联，进行信息传输。该通信网络可以是局域网，也可以是通过中继(relay)设备转接的广域网。当该通信网络为局域网时，示例性的，该通信网络可以是wifi热点网络、wifi P2P网络、蓝牙网络、zigbee网络或近场通信(near field communication，NFC)网络等近距离通信网络。当该通信网络为广域网时，示例性的，该通信网络可以是第三代移动通信技术(3rd-generation wireless telephone technology，3G)网络、第四代移动通信技术(the 4th generation mobile communication technology，4G)网络、第五代移动通信技术(5th-generation mobile communication technology，5G)网络、未来演进的公共陆地移动网络(public land mobile network，PLMN)或因特网等。

终端设备102除了手机以外，还可以为平板电脑、个人计算机(personalcomputer，PC)、个人数字助理(personal digital assistant，PDA)、智能手表、上网本、可穿戴电子设备、增强现实技术(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、车载设备、智能汽车、智能音响、机器人、智能眼镜等等。

另外，在一些可能的实施例中，可能仅包含终端设备102，不包含服务器设备101。

在本申请实施例中，用户可以通过触发终端设备102，在终端设备102中输入一些指令，使终端设备102执行相应的操作，或者使终端设备102与服务器设备101进行相应的信息交互。本申请实施例对指令的触发形式不做限制，例如，可以为通过触摸屏、鼠标、键盘、按键等设备触发。

参见图2，为本申请实施例提供的一种电子设备200的结构示意图。该电子设备200即可以为图1中的服务器设备101，也可以为图1中的终端设备102。

电子设备200可以包括处理器210，外部存储器接口220，内部存储器221，通用串行总线(universal serial bus，USB)接口230，充电管理模块240，电源管理模块241，电池242，天线1，天线2，移动通信模块250，无线通信模块260，音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，传感器模块280，按键290，马达291，指示器292，摄像头293，显示屏294，以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括压力传感器280A，陀螺仪传感器280B，气压传感器280C，磁传感器280D，加速度传感器280E，距离传感器280F，接近光传感器280G，指纹传感器280H，温度传感器280J，触摸传感器280K，环境光传感器280L，骨传导传感器280M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。

在一些实施例中，处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器210可以包含多组I2C总线。处理器210可以通过不同的I2C总线接口分别耦合触摸传感器280K，充电器，闪光灯，摄像头293等。例如：处理器210可以通过I2C接口耦合触摸传感器280K，使处理器210与触摸传感器280K通过I2C总线接口通信，实现电子设备200的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器210可以包含多组I2S总线。处理器210可以通过I2S总线与音频模块270耦合，实现处理器210与音频模块270之间的通信。在一些实施例中，音频模块270可以通过I2S接口向无线通信模块260传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块270与无线通信模块260可以通过PCM总线接口耦合。在一些实施例中，音频模块270也可以通过PCM接口向无线通信模块260传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器210与无线通信模块260。例如：处理器210通过UART接口与无线通信模块260中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块270可以通过UART接口向无线通信模块260传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器210与显示屏294，摄像头293等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器210和摄像头293通过CSI接口通信，实现电子设备200的拍摄功能。处理器210和显示屏294通过DSI接口通信，实现电子设备200的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器210与摄像头293，显示屏294，无线通信模块260，音频模块270，传感器模块280等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口230是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口230可以用于连接充电器为电子设备200充电，也可以用于电子设备200与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备200的结构限定。在本申请另一些实施例中，电子设备200也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块240可以通过USB接口230接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块240可以通过电子设备200的无线充电线圈接收无线充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为电子设备供电。

电源管理模块241用于连接电池242，充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210，内部存储器221，显示屏294，摄像头293，和无线通信模块260等供电。电源管理模块241还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块241也可以设置于处理器210中。在另一些实施例中，电源管理模块241和充电管理模块240也可以设置于同一个器件中。

电子设备200的无线通信功能可以通过天线1，天线2，移动通信模块250，无线通信模块260，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块250可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中，移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器270A，受话器270B等)输出声音信号，或通过显示屏294显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器210，与移动通信模块250或其他功能模块设置在同一个器件中。

无线通信模块260可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得电子设备200可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备200通过GPU，显示屏294，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏294和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏294用于显示图像，视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备200可以包括1个或N个显示屏294，N为大于1的正整数。

电子设备200可以通过ISP，摄像头293，视频编解码器，GPU，显示屏294以及应用处理器等实现拍摄功能。

ISP用于处理摄像头293反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头293中。

摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备200可以包括1个或N个摄像头293，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备200在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备200可以支持一种或多种视频编解码器。这样，电子设备200可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口220可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。外部存储卡通过外部存储器接口220与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器222可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器210通过运行存储在内部存储器221的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备200的各种功能应用以及数据处理。

电子设备200可以通过音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器270A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备200可以通过扬声器270A收听音乐，或收听免提通话。

受话器270B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时，可以通过将受话器270B靠近人耳接听语音。

麦克风270C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风270C发声，将声音信号输入到麦克风270C。电子设备200可以设置至少一个麦克风270C。在另一些实施例中，电子设备200可以设置两个麦克风270C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备200还可以设置三个，四个或更多麦克风270C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口270D用于连接有线耳机。耳机接口270D可以是USB接口230，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器280A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器280A可以设置于显示屏294。压力传感器280A

的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器280A，电极之间的电容改变。电子设备200根据电容的变化确定压力的强度。当有触摸操作作用于显示屏294，电子设备200根据压力传感器280A检测所述触摸操作强度。电子设备200也可以根据压力传感器280A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器280B可以用于确定电子设备200的运动姿态。在一些实施例中，可以通过陀螺仪传感器280B确定电子设备200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器280B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器280B检测电子设备200抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备200的抖动，实现防抖。陀螺仪传感器280B还可以用于导航，体感游戏场景。

气压传感器280C用于测量气压。在一些实施例中，电子设备200通过气压传感器280C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器280D包括霍尔传感器。电子设备200可以利用磁传感器280D检测翻盖皮套的开合。在一些实施例中，当电子设备200是翻盖机时，电子设备200可以根据磁传感器280D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器280E可检测电子设备200在各个方向上(一般为三轴)加速度的大小。当电子设备200静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器280F，用于测量距离。电子设备200可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备200可以利用距离传感器280F测距以实现快速对焦。

接近光传感器280G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备200通过发光二极管向外发射红外光。电子设备200使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备200附近有物体。当检测到不充分的反射光时，电子设备200可以确定电子设备200附近没有物体。电子设备200可以利用接近光传感器280G检测用户手持电子设备200贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器280G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器280L用于感知环境光亮度。电子设备200可以根据感知的环境光亮度自适应调节显示屏294亮度。环境光传感器280L也可用于拍照时自动调节白平衡。环境光传感器280L还可以与接近光传感器280G配合，检测电子设备200是否在口袋里，以防误触。

指纹传感器280H用于采集指纹。电子设备200可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器280J用于检测温度。在一些实施例中，电子设备200利用温度传感器280J检测的温度，执行温度处理策略。例如，当温度传感器280J上报的温度超过阈值，电子设备200执行降低位于温度传感器280J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备200对电池242加热，以避免低温导致电子设备200异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备200对电池242的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器280K，也称“触控器件”。触摸传感器280K可以设置于显示屏294，由触摸传感器280K与显示屏294组成触摸屏，也称“触控屏”。触摸传感器280K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏294提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器280K也可以设置于电子设备200的表面，与显示屏294所处的位置不同。

骨传导传感器280M可以获取振动信号。在一些实施例中，骨传导传感器280M可以获取人体声部振动骨块的振动信号。骨传导传感器280M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器280M也可以设置于耳机中，结合成骨传导耳机。音频模块270可以基于所述骨传导传感器280M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器280M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键290包括开机键，音量键等。按键290可以是机械按键。也可以是触摸式按键。电子设备200可以接收按键输入，产生与电子设备200的用户设置以及功能控制有关的键信号输入。

马达291可以产生振动提示。马达291可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏294不同区域的触摸操作，马达291也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295，或从SIM卡接口295拔出，实现和电子设备200的接触和分离。电子设备200可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口295可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口295可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口295也可以兼容不同类型的SIM卡。SIM卡接口295也可以兼容外部存储卡。电子设备200通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备200采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备200中，不能和电子设备200分离。

参见图3，为相关技术中一种音视频播放场景示意图。在图3中示出了视频播放窗口301和进度条302，用户通过视频播放窗口301观看视频播放画面。终端设备在播放视频播放画面的同时，也会播放与视频播放画面对应的音频。另外，用户可以通过拖动进度条302实现视频的快进或快退，此时音频和视频同步快进或快退。但是，当用户在欣赏音视频节目时，可能需要在不中断当前音频的情况下(如歌曲、相声或者脱口秀节目)，单独快进视频，浏览后续节目概要；或者，在不中断当前视频的情况下，通过快退音频，重复收听一下前一时刻播放的音频(如用户未听清前一时刻播放的音频)。相关技术中的技术方案无法实现音频和视频的异步控制。

参见图4，为本申请实施例提供的一种音视频播放控制方法流程示意图。该方法应用于图1和图2所示的电子设备，其主要包括以下步骤。

步骤S401：分别根据音频数据和视频数据输出音频和视频。

具体地，终端设备分别根据音频数据和视频数据输出音频和视频，该音频数据和视频数据即可以为终端设备的本地数据，也可以为服务器设备通过网络传输至终端设备的网络侧数据。

终端设备通常包括显示屏和扬声器，通过显示屏播放视频数据，通过扬声器播放音频数据。

步骤S402：响应于用户输入的音频进度调整指令，对音频播放进度进行调整；和/或，响应于用户输入的视频进度调整指令，对视频播放进度进行调整。

可理解，上述步骤中对音频播放进度进行调整，是指单独对音频播放进度进行调整，该过程不影响视频的播放进度；对视频播放进度进行调整，是指单独对视频播放进度进行调整，该过程不影响音频的播放进度。

参见图5a和图5b，为本申请实施例提供的一种音视频播放场景示意图。在图5a和图5b中示出了视频播放窗口501、视频进度条502和音频进度条503。当用户需要在不中断当前音频的情况下，单独快进视频，浏览后续节目概要时，可以触发终端设备的视频进度条。例如，用户拖动视频进度条502实现视频的快进，音频的播放进度维持不变，进度条的状态由图5a调整为图5b，将视频播放画面快进至第30分02秒，音频仍然保持原来的进度播放。基于相同的原理，用户可以将视频快退，或者将音频快退或快进，视频保持不变，本申请实施例不再赘述。

本申请实施例提供的技术方案，可以在不影响音频播放的同时，单独进行视频的播放控制，或者，在不影响视频播放的同时，单独进行音频的播放控制，实现视频和音频的异步播放。

参见图6，为本申请实施例提供的另一种音视频播放控制方法流程示意图。其在图4所示方法的基础上，还包括以下步骤。

在图4所示步骤S401之前，还包括步骤S601。

步骤S601：响应于用户输入的音视频异步指令，在视频播放窗口中展示音频进度条和/或视频进度条，取消音视频进度条。

可理解，正常情况下，音频和视频实时同步播放，当用户需要快进或快退时，音频和视频同步快进或快退，如图3所示。只有在一些特殊的需求下，用户才需要对视频和音频进行异步调整，因此，本申请实施例中，在对视频和音频进行异步调整之前，需要用户触发音视频异步指令，取消音视频同步机制。

参见图7a和图7b，为本申请实施例提供的另一种音视频播放场景示意图。在图7a中示出了视频播放窗口701和音视频进度条702，在音视频进度条702的右侧还包括音视频异步功能开关703，用户可以对音视频异步功能开关703中的圆形控件进行滑动操作，以设置音视频异步功能的状态。例如，当圆形控件位于状态开关的左侧时，音视频异步功能开关703为关闭状态，则音视频异步功能关闭，音频和视频实时保持同步状态；当圆形控件位于状态开关的右侧时，音视频异步功能开关703为打开状态，则音视频异步功能打开，在视频播放窗口701中取消音视频进度条，分别展示音频进度条704和视频进度条706，用户可以通过拖动音频进度条704实现音频的快进、快退或暂停，而对视频播放进度不造成影响；或者通过拖动视频进度条706实现视频的快进、快退或暂停，而对音频播放进度不造成影响，实现音视频的异步控制。

本申请实施例在图4所示步骤S402之后，还包括步骤S602。

步骤S602：响应于用户输入的音视频同步指令，将所述音频和所述视频同步播放。

用户在对音视频异步控制完成后，需要触发音视频同步指令，重新恢复音视频的同步播放。

具体地，响应于用户输入的音视频同步指令，将所述音频和所述视频同步播放。包括：响应于用户输入的音频向视频同步指令，调整所述音频的播放时间，使所述音频的播放时间与所述视频当前的播放时间相匹配，所述音频和所述视频同步播放。和/或，响应于用户输入的视频向音频同步指令，调整所述视频的播放时间，使所述视频的播放时间与所述音频当前的播放时间相匹配，所述音频和所述视频同步播放。

参见图7b，在音频进度条704的右侧还设有音频向视频同步控件705，用于实现音频向视频同步功能。具体地，当用户点击音频向视频同步控件705后，音频的播放进度同步至视频，音视频同步在30分02秒开始播放。在视频进度条706的右侧还设有视频向音频同步控件707，用于实现视频向音频同步功能。具体地，当用户点击视频向音频同步控件707后，视频的播放进度同步至音频，音视频同步在28分17秒开始播放。此后，音视频实时保持同步播放。

另外，在用户触发音视频同步指令后，在视频播放窗口701中取消音频进度条704和/或视频进度条706，重新展示音视频进度条702，如图7a所示。

在本申请实施例中，除了可以保证以视频异步播放外，还可以便于用户将音视频播放进度恢复至调整之前的播放点。例如，在第28分17秒时，用户通过拖动视频进度条706进行视频概要的预览，预览完成后，用户只需要点击视频向音频同步空间707，即可恢复至预览前的播放点，避免通过拖动进度条进行回调的繁琐操作。

具体地，音频数据和视频数据中均包含相对应的时间戳，终端设备可以基于该时间戳完成音视频数据同步播放。

参见图8，为本申请实施例提供的另一种音视频播放控制方法流程示意图。其在图4所示实施例的基础上，还包括以下步骤。

步骤S801：服务器设备向终端设备发送音视频数据。

可理解，当终端设备播放的音视频资源为网络侧资源时，在终端设备播放前，由服务器设备向终端设备发送音视频数据。该音视频数据中包含音频数据和视频数据。

步骤S802：终端设备将所述音视频数据中的音频数据删除，获得视频数据；将所述音视频数据中的视频数据删除，获得音频数据。

正常情况下，当音视频数据同步播放时，采用单线程加载音视频流，控制音视频的播放。

在本申请实施例中，若需要对音频和视频异步控制，需要开启两个线程分别控制音频流和视频流。

具体地，第一线程加载音视频数据，将所述音视频数据中的音频数据删除，获得视频数据；第二线程加载音视频数据，将所述音视频数据中的视频数据删除，获得音频数据。此时，获得独立的音频数据和视频数据，以便在后续步骤中，根据用户的音视频异步指令，分别对音频和视频的播放进度单独控制。

在图8所示的实施例中，终端设备播放网络侧的音视频资源。可理解，终端设备也可以播放本地资源，具体内容可以参见上述描述，在此不再赘述。

另外，在本申请实施例中，通过终端设备对音视频数据中的音频数据和视频数据进行分离。在一些实施例中，也可以通过服务器设备对音频数据和视频数据进行分离，终端设备分别接收音频数据和视频数据。

参见图9，为本申请实施例提供的另一种音视频播放控制方法流程示意图。其在图4所示实施例的基础上，还包括以下步骤。

步骤S901：终端设备向服务器设备发送的音频数据请求指令和/或视频数据请求指令。

具体地，在需要执行音视频异步控制时，终端设备向服务器设备发送的音频数据请求指令和/或视频数据请求指令，该音频数据请求指令用于指示服务器设备仅反馈音频数据，该视频数据请求指令用于指示服务器设备仅反馈视频数据。

终端设备可以在用户触发音视频异步指令之后，向服务器设备发送的音频数据请求指令和/或视频数据请求指令。

步骤S902：服务器设备将音视频数据分解为音频数据和视频数据。

可理解，正常情况下，服务器设备将音频数据和视频数据作为一个整体发送至终端设备。在本申请一些实施例中，服务器设备在接收到音频数据请求指令和/或视频数据请求指令之后，将音视频数据拆分为独立的音频数据和视频数据。

步骤S903：服务器设备分别向终端设备发送所述音频数据和/或视频数据。

服务器设备将音视频数据拆分为独立的音频数据和视频数据之后，分别向终端设备发送所述音频数据和/或视频数据，以便于后续步骤中对音视频进行异步控制。

本申请实施例与图8所示实施例的不同之处在于，在本申请实施例中，通过终端设备对音视频数据中的音频数据和视频数据进行分离，节省终端设备的性能开销。

具体实现中，本申请实施例还提供了一种终端设备，所述终端设备包括显示屏；扬声器；一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述终端设备执行时，使得所述终端设备执行以下步骤：分别根据音频数据和视频数据输出音频和视频；响应于用户输入的音频进度调整指令，对音频播放进度进行调整；和/或，响应于用户输入的视频进度调整指令，对视频播放进度进行调整。

本申请实施例提供的技术方案，可以在不影响音频播放的同时，单独进行视频的播放控制，或者，在不影响视频播放的同时，单独进行音频的播放控制，实现视频和音频的异步播放。

除了上述步骤外，终端设备还可以执行上述方法实施例中的任意部分或全部步骤，为了描述简洁，在此不再赘述。

具体实现中，本申请实施例还提供了一种服务器设备，所述服务器设备包括一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述终端设备执行时，使得所述终端设备执行以下步骤：将音视频数据分解为音频数据和视频数据；接收终端设备发送的音频数据请求指令和/或视频数据请求指令；分别向终端设备发送所述音频数据和/或视频数据。

本申请实施例提供的技术方案，通过终端设备对音视频数据中的音频数据和视频数据进行分离，节省终端设备的性能开销。

除了上述步骤外，服务器设备还可以执行上述方法实施例中的任意部分或全部步骤，为了描述简洁，在此不再赘述。

具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本申请提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

具体实现中，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行上述方法实施例中的部分或全部步骤。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，简称ROM)、随机存取存储器(random access memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种音视频播放控制方法，应用于终端设备，其特征在于，包括：

分别根据音频数据和视频数据输出音频和视频；

响应于用户输入的音频进度调整指令，对音频播放进度进行调整；和/或，响应于用户输入的视频进度调整指令，对视频播放进度进行调整。

2.根据权利要求1所述的方法，其特征在于，还包括：

响应于用户输入的音视频同步指令，将所述音频和所述视频同步播放。

3.根据权利要求2所述的方法，其特征在于，响应于用户输入的音视频同步指令，将所述音频和所述视频同步播放，具体为：

响应于用户输入的音频向视频同步指令，调整所述音频的播放时间，使所述音频的播放时间与所述视频当前的播放时间相匹配，所述音频和所述视频同步播放。

4.根据权利要求2所述的方法，其特征在于，响应于用户输入的音视频同步指令，将所述音频和所述视频同步播放，具体为：

响应于用户输入的视频向音频同步指令，调整所述视频的播放时间，使所述视频的播放时间与所述音频当前的播放时间相匹配，所述音频和所述视频同步播放。

5.根据权利要求1-4任一项所述的方法，其特征在于，在响应于用户输入的音频进度调整指令，对音频播放进度进行调整；和/或，响应于用户输入的视频进度调整指令，对视频播放进度进行调整之前，还包括：

响应于用户输入的音视频异步指令，在视频播放窗口中展示音频进度条和/或视频进度条，取消音视频进度条。

6.根据权利要求5所述的方法，其特征在于，还包括：

响应于用户输入的音视频同步指令，在视频播放窗口中展示音视频进度条，取消音频进度条和/或视频进度条。

7.根据权利要求1所述的方法，其特征在于，还包括：

接收音视频数据，所述音视频数据包括音频数据和视频数据；

将所述音视频数据中的音频数据删除，获得视频数据；将所述音视频数据中的视频数据删除，获得音频数据。

8.根据权利要求7所述的方法，其特征在于，所述将所述音视频数据中的音频数据删除，获得视频数据；将所述音视频数据中的视频数据删除，获得音频数据，包括：

响应于用户输入的音视频异步指令，将所述音视频数据中的音频数据删除，获得视频数据；将所述音视频数据中的视频数据删除，获得音频数据。

9.根据权利要求1所述的方法，其特征在于，还包括：

分别接收音频数据和视频数据。

10.根据权利要求9所述的方法，其特征在于，所述分别接收音频数据和视频数据，包括：

分别向服务器发送音频数据请求指令和/或视频数据请求指令；

分别接收服务器发送的音频数据和/或视频数据。

11.根据权利要求1所述的方法，其特征在于，所述分别根据音频数据和视频数据输出音频和视频包括：

通过第一线程控制所述音频数据输出音频，通过第二线程控制所述视频数据输出视频。

12.一种音视频播放控制方法，应用于服务器设备，其特征在于，包括：

将音视频数据分解为音频数据和视频数据；

接收终端设备发送的音频数据请求指令和/或视频数据请求指令；

分别向终端设备发送所述音频数据和/或视频数据。

13.一种终端设备，其特征在于，所述终端设备包括：

显示屏；

扬声器；

一个或多个处理器；

存储器；

以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述终端设备执行时，使得所述终端设备执行权利要求1至11中任意一项所述的方法。

14.一种服务器设备，其特征在于，所述服务器设备包括：

一个或多个处理器；

存储器；

以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述服务器设备执行时，使得所述服务器设备执行权利要求12所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至11中任意一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求12所述的方法。

Images