CN114827696B - 一种跨设备的音视频数据同步播放的方法和电子设备 - Google Patents

一种跨设备的音视频数据同步播放的方法和电子设备 Download PDF

Info

Publication number
CN114827696B
CN114827696B CN202110124896.4A CN202110124896A CN114827696B CN 114827696 B CN114827696 B CN 114827696B CN 202110124896 A CN202110124896 A CN 202110124896A CN 114827696 B CN114827696 B CN 114827696B
Authority
CN
China
Prior art keywords
audio
electronic device
data
playing
duration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110124896.4A
Other languages
English (en)
Other versions
CN114827696A (zh
Inventor
谭利文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110124896.4A priority Critical patent/CN114827696B/zh
Publication of CN114827696A publication Critical patent/CN114827696A/zh
Application granted granted Critical
Publication of CN114827696B publication Critical patent/CN114827696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供一种跨设备的音视频数据同步播放的方法和电子设备，所述方法包括：第一电子设备获取第二电子设备的音频的数据消耗量；所述第一电子设备根据所述数据消耗量调整所述音频对应的视频的播放。本申请提供的方案，可以实现跨设备音视频播放场景下，控制音视频数据同步播放的误差在用户可接受范围内，从而满足用户需求。

Description

一种跨设备的音视频数据同步播放的方法和电子设备
技术领域
本申请涉及数据处理领域，尤其涉及一种跨设备的音视频数据同步播放的方法和电子设备。
背景技术
随着移动设备硬件技术的快速发展和消费者的需求旺盛，当前端侧智能设备向多样化发展，越来越多电子设备具备类似智能手机的媒体能力，如智能音箱、手表、大屏等设备。同时多设备互联，形成跨设备协同的全场景音视频播放全新体验的使用将越来越广泛，在这种情况下，不同的播放设备可以分别播放音频数据或视频数据，因此需要一种跨设备的音视频同步机制来支撑这类音视频播放场景下的极致用户体验。
针对跨设备播放音视频的这类场景，为了实现音频数据和视频数据同步，一种方案是：第一播放设备获取当前系统播放的音频和视频数据包，并记录获取到音频数据包时第一播放设备的第一系统时间，计算第一播放设备与第二播放设备的系统时间的时间差值，以及预先确定的播放延迟时间(固定值)；根据以上第一系统时间、时间差值及播放延迟时间来确定音频数据包的播放时间，并将音频数据包和音频播放时间发送给第二播放设备；第一播放设备将音频数据包对应的视频图像在视频播放时间进行播放；其中，视频播放时间为第一系统时间与预先确定的播放延迟时间之和；当第二播放设备的当前系统时间与音频播放时间的时间差值的绝对值小于或等于预设阈值时，第二播放设备播放音频数据包，从而实现第一播放设备播放的视频图像和第二播放设备播放的音频数据的同步播放。
但是这种方案中预先确定的播放延迟时间以及第一播放设备与第二播放设备的系统时间的时间差值的计算方式比较固定，从而导致跨设备的音视频数据同步播放的误差大、波动大等问题。
另一种方案是：根据第一播放设备发送音频数据的系统时间，以及第二播放设备接收音频数据时的系统时间差值，同时记录第一播放设备发送和第二播放设备接收音频数据量的数量，统计计算得到平均网络延时时间。第一设备在本地获取音频数据并发送给第二设备，同时获取第二设备的音频数据解码延时时间、缓存延时时间以及播放延时时间；第一设备根据以上计算所得平均网络延时时间、第二设备音频解码延时时间、缓存延时时间以及播放延时时间之和，得到音频播放时间，也即所谓音频延迟时间；第二设备接收第一设备发送的音频数据及音频播放时间，并对音频数据进行解码缓存，并在达到以上所述的音频播放时间后开始播放音频。第一设备在到达以上所述音频延时时间后播放与该音频数据对应的视频图像。
同样地，这种方案也是基于系统时间差、延时时间为基础，修正音频数据和视频数据在不同设备的播放时间点，以实现跨设备播放的音视频数据同步。该方案可以相对平滑音视频数据同步受网络状态、带宽等的影响，以及减少音视频数据同步的误差值；但依然无法真正自适应网络变化带来的影响以及无法达到音视频数据同步效果，从而也就无法满足用户需求。
发明内容
本申请提供一种跨设备的音视频数据同步播放的方法和电子设备，可以实现跨设备音视频播放场景下，控制音视频数据同步播放的误差在用户可接受范围内，从而满足用户需求。
第一方面，提供一种跨设备的音视频数据同步播放的方法，包括：第一电子设备获取第二电子设备的音频的数据消耗量；所述第一电子设备根据所述音频数据消耗量调整所述音频对应的视频的播放。
本申请提供的方案，第一电子设备通过获取第二电子设备音频的数据消耗量，并根据该数据消耗量调整音频对应的视频的播放，可以实现跨设备音视频播放场景下，控制音视频数据同步播放的误差在用户可接受范围内，从而满足用户需求。
结合第一方面，在一些可能的实现方式中，所述第一电子设备根据所述数据消耗量调整所述音频对应的视频的播放，包括：所述第一电子设备根据所述数据消耗量调整所述音频对应的当前视频数据帧的播放时间；所述第一电子设备基于调整后的播放时间播放所述当前视频数据帧。
本申请提供的方案，第一电子设备通过获取第二电子设备音频的数据消耗量，并根据该数据消耗量调整所述音频对应的当前视频数据帧的播放时间，可以实现跨设备音视频播放场景下，控制音视频数据同步播放的误差在用户可接受范围内，从而满足用户需求。
结合第一方面，在一些可能的实现方式中，所述第一电子设备根据所述音频数据消耗量调整所述音频对应的视频的播放，包括：
所述第一电子设备根据所述数据消耗量确定第一时长，所述第一时长为所述第二电子设备的音频硬件消耗的所述数据消耗量所对应的时长；
所述第一电子设备根据所述第一时长，结合第一通路中缓存的音频数据帧所对应的时长以及所述第一电子设备查询所述数据消耗量的系统时刻与所述第二电子设备计算所述数据消耗量的系统时刻进行修正的时长，调整所述音频对应的视频的播放；
其中，所述第一通路包括所述第一电子设备将解码到的音频数据传输至所述第二电子设备的音频设备所形成的通路。
本申请提供的方案，第一电子设备通过参考第二电子设备音频物理器件消耗的实际音频数据量以及结合直接计算的第一通路中音频缓存区大小、音频编解码数据缓存大小计算视频数据帧送显时间，可以实现跨设备音视频播放场景下，控制音视频数据同步播放的误差在用户可接受范围内，从而满足用户需求。
结合第一方面，在一些可能的实现方式中，所述方法还包括：
所述第一电子设备对所述数据消耗量进行修正；
所述第一电子设备根据所述数据消耗量调整所述音频对应的视频的播放，包括：
所述第一电子设备根据修正后的数据消耗量调整所述音频对应的视频的播放。
本申请提供的方案，第一电子设备通过对参考第二电子设备音频物理器件消耗的实际音频数据量进行修正并根据修正后的实际音频数据消耗量计算视频帧送显时间，可以进一步减小音视频数据同步播放的误差。
结合第一方面，在一些可能的实现方式中，所述第一电子设备对所述音频数据消耗量进行修正，包括：
所述第一电子设备在所述第一时长的基础上增加第一阈值和第二阈值，以获得第二时长，所述第一阈值为所述第二电子设备的驱动返回所述数据消耗量的时刻与所述第二电子设备启动查询所述数据消耗量的时刻的差值，所述第二阈值为所述第二电子设备返回读取所述数据消耗量的时刻与所述第一电子设备读取所述数据消耗量的时刻的差值；
所述第一电子设备根据修正后的数据消耗量调整所述音频对应的视频的播放，包括：所述第一电子设备根据所述第二时长调整所述音频对应的视频的播放。
本申请提供的方案，第一电子设备通过在所述第一时长的基础上增加第一阈值和第二阈值对获取到的数据消耗量进行修正，并根据修正后的实际音频数据消耗量计算视频帧送显时间，可以进一步减小音视频数据同步播放的误差。
结合第一方面，在一些可能的实现方式中，若所述第二阈值大于预设阈值，所述第二时长为所述预设阈值与所述第一电子设备的播放速率的乘积获得的数据消耗量所对应的时长。
本申请提供的方案，通过在第一电子设备增加网络平滑修正机制，可以保证最终读取音频数据消耗结果整个过程的平滑性，可以保证不会出现某些音视频数据同步播放的误差过高或者过低的现象，使得音视频数据同步播放的误差更稳定。
结合第一方面，在一些可能的实现方式中，若第三时长小于0，所述第二时长为0；
其中，所述第三时长为第四时长与所述第一时长的差值后与第五时长的和，所述第四时长为第一通路中缓存的音频数据帧所对应的时长，所述第五时长为所述第一电子设备查询所述数据消耗量的系统时刻与所述第二电子设备计算所述数据消耗量的系统时刻的差值与播放速率的乘积获得的数据消耗量所对应的时长。
本申请提供的方案，通过在第一电子设备增加网络平滑修正机制，可以保证最终读取音频数据消耗结果整个过程的平滑性，可以保证不会出现某些音视频数据同步播放的误差过高或者过低的现象，使得音视频数据同步播放的误差更稳定。
结合第一方面，在一些可能的实现方式中，所述第一电子设备获取第二电子设备的音频的数据消耗量，包括：
所述第一电子设备通过预设接口获取所述数据消耗量。
第二方面，提供一种跨设备的音视频数据同步播放的方法，所述方法包括：
第二电子设备获取音频的数据消耗量；
所述第二电子设备发送所述数据消耗量。
本申请提供的方案，第二电子设备发送音频的数据消耗量，以便于第一电子设备根据该数据消耗量调整所述音频对应的视频的播放，可以实现跨设备音视频播放场景下，控制音视频数据同步播放的误差在用户可接受范围内，从而满足用户需求。
结合第二方面，在一些可能的实现方式中，所述第二电子设备发送所述数据消耗量，包括：所述第二电子设备通过预设接口发送所述数据消耗量。
第三方面，提供了一种装置，该装置包含在电子设备中，该装置具有实现上述方面及上述方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。
第四方面，提供了一种电子设备，包括：一个或多个处理器；存储器；一个或者多个应用程序；以及一个或多个计算机程序。其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被电子设备执行时，使得电子设备执行上述第一方面任一项或第二方面任一项可能的实现中的方法。
第五方面，提供了一种芯片系统，包括至少一个处理器，当程序指令在所述至少一个处理器中执行时，使得上述第一方面任一项或第二方面任一项可能的实现中的方法在所述电子设备上的功能得以实现。
第六方面，提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面任一项或第二方面任一项可能的实现中的方法。
第七方面，提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面任一项或第二方面任一项可能的设计中的方法。
附图说明
图1是本申请实施例提供的一种电子设备的硬件结构示意图。
图2是本申请实施例提供的一种电子设备的软件结构示意图。
图3是本申请实施例应用的场景示意图。
图4是本申请实施例提供的一组GUI的示意图。
图5是本申请实施例提供的一种跨设备的音视频数据同步播放的方法的示意图。
图6是现有技术的一种跨设备音视频数据同步播放的效果示意图。
图7是本申请一实施例提供的一种跨设备音视频数据同步播放的效果示意图。
图8是本申请另一实施例提供的一种跨设备音视频数据同步播放的效果示意图。
图9是本申请又一实施例提供的一种跨设备音视频数据同步播放的效果示意图。
图10是本申请实施例提供的另一种跨设备的音视频数据同步播放的方法的示意图。
图11是本申请实施例提供的另一种电子设备的示意性框图。
图12是本申请实施例提供的又一种电子设备的示意性框图。
图13是本申请实施例提供的再一种电子设备的示意性框图。
具体实施方式
以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
本申请实施例提供的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。
示例性的，图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus，USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、指南针190、马达191、指示器192、摄像头193、显示屏194以及用户标识模块(subscriber identification module，SIM)卡接口195等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的部件，也可以集成在一个或多个处理器中。在一些实施例中，电子设备100也可以包括一个或多个处理器110。其中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在其他一些实施例中，处理器110中还可以设置存储器，用于存储指令和数据。示例性地，处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。这样就避免了重复存取，减少了处理器110的等待时间，因而提高了电子设备100处理数据或执行指令的效率。其中，本申请实施例中的针对跨设备的音视频数据的同步的误差的减小和平滑可以通过处理器110实现。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit，I2C)接口、集成电路间音频(inter-integrated circuitsound，I2S)接口、脉冲编码调制(pulse code modulation，PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、用输入输出(general-purpose input/output，GPIO)接口、SIM卡接口和/或USB接口等。其中，USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。该USB接口130也可以用于连接耳机，通过耳机播放音频。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110、内部存储器121、外部存储器、显示屏194、摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数、电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)、蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)、调频(frequency modulation，FM)、近距离无线通信技术(near field communication，NFC)、红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像、视频等，如可以显示下文中图4中的(e)的视频图像。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)、柔性发光二极管(flex light-emitting diode，FLED)、Miniled、MicroLed、Micro-oLed、量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或多个显示屏194。
在本申请的一些实施例中，当显示面板采用OLED、AMOLED、FLED等材料时，上述图1中的显示屏194可以被弯折。这里，上述显示屏194可以被弯折是指显示屏可以在任意部位被弯折到任意角度，并可以在该角度保持，例如，显示屏194可以从中部左右对折。也可以从中部上下对折。
电子设备100的显示屏194可以是一种柔性屏，目前，柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言，具有柔韧性强和可弯曲的特点，可以给用户提供基于可弯折特性的新交互方式，可以满足用户对于电子设备的更多需求。对于配置有可折叠显示屏的电子设备而言，电子设备上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。因此，用户在配置有可折叠显示屏的电子设备上使用分屏功能，也越来越频繁。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或多个摄像头193。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3、MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别、人脸识别、语音识别、文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备100执行本申请一些实施例中所提供的跨设备的音视频数据同步播放的方法，以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储部件，闪存部件，通用闪存存储器(universal flash storage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得电子设备100执行本申请实施例中所提供的跨设备的音视频数据同步播放的方法，以及其他应用及数据处理。电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、以及应用处理器等实现音频功能。例如音乐播放、录音等。
传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M等。
其中，压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示，应用程序包可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息、第一应用等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架，应用程序框架层包括一些预先定义的函数。
如图2所示，应用程序框架层可以包括窗口管理器、内容提供器、视图系统、电话管理器、资源管理器、通知管理器等。
窗口管理器用于管理窗口程序，窗口管理器可以获取显示屏大小，判断是否有状态栏、锁定屏幕、截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串、图标、图片、布局文件、视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息、发出提示音、电子设备振动、指示灯闪烁等。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)、媒体库(media libraries)、三维图形处理库(例如：OpenGL ES)、2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频、视频格式回放和录制以及静态图像文件等。
三维图形处理库用于实现三维图形绘图、图像渲染、合成和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动、摄像头驱动、音频驱动、传感器驱动。
随着移动设备硬件技术的快速发展和消费者的需求旺盛，当前端侧智能设备向多样化发展，越来越多电子设备具备类似智能手机的媒体能力，如智能音箱、手表、大屏等设备。同时多设备互联，形成跨设备协同的全场景音视频播放全新体验的使用将越来越广泛，在这种情况下，不同的播放设备可以分别播放音频数据或视频数据，因此需要一种跨设备的音视频同步机制来支撑这类音视频播放场景下的极致用户体验。
当前跨设备的音视频数据同步ITU-R BT.1359标准中涉及到的要求如下：
·无法察觉：+25ms～-100ms；
·可察觉：+45ms～-125ms；
·无法接受：+90ms～-185ms。
其中，正值表示声音早于画面，负值表示声音晚于画面。
针对跨设备播放音视频的这类场景，为了实现音频数据和视频数据同步，一种方案是：第一播放设备获取当前系统播放的音频和视频数据包，并记录获取到音频数据包时第一播放设备的第一系统时间，计算第一播放设备与第二播放设备的系统时间的时间差值，以及预先确定的播放延迟时间(固定值)；根据以上第一系统时间、时间差值及播放延迟时间来确定音频数据包的播放时间，并将音频数据包和音频播放时间发送给第二播放设备；第一播放设备将音频数据包对应的视频图像在视频播放时间进行播放；其中，视频播放时间为第一系统时间与预先确定的播放延迟时间之和；当第二播放设备的当前系统时间与音频播放时间的时间差值的绝对值小于或等于预设阈值时，第二播放设备播放音频数据包，从而实现第一播放设备播放的视频图像和第二播放设备播放的音频数据的同步播放。
但是这种方案中预先确定的播放延迟时间以及第一播放设备与第二播放设备的系统时间的时间差值的计算方式比较固定，从而导致跨设备的音视频数据同步播放的误差大、波动大等问题。
另一种方案是：根据第一播放设备发送音频数据的系统时间，以及第二播放设备接收音频数据时的系统时间差值，同时记录第一播放设备发送和第二播放设备接收音频数据量的数量，统计计算得到平均网络延时时间。第一设备在本地获取音频数据并发送给第二设备，同时获取第二设备的音频数据解码延时时间、缓存延时时间以及播放延时时间；第一设备根据以上计算所得平均网络延时时间、第二设备音频解码延时时间、缓存延时时间以及播放延时时间之和，得到音频播放时间，也即所谓音频延迟时间；第二设备接收第一设备发送的音频数据及音频播放时间，并对音频数据进行解码缓存，并在达到以上所述的音频播放时间后开始播放音频。第一设备在到达以上所述音频延时时间后播放与该音频数据对应的视频图像。
同样地，这种方案也是基于系统时间差、延时时间为基础，修正音频数据和视频数据在不同设备的播放时间点，以实现跨设备播放的音视频数据同步。该方案可以相对平滑音视频数据同步受网络状态、带宽等的影响，以及减少音视频数据同步的误差值；但依然无法真正自适应网络变化带来的影响以及无法达到音视频数据同步效果，从而也就无法满足用户需求。
本申请提供一种跨设备的音视频数据同步播放的方法和电子设备，可以实现跨设备音视频播放场景下，控制音视频数据同步播放的误差在用户可接受范围内，从而满足用户需求。
本申请可以将副设备(也可以称为远端)虚拟为主设备(也可以称为本地)的音频输出设备，即：视频在主设备播放，音频在副设备播放。示例性地，本申请可以应用于如下场景：
参考图3中的(a)，主设备为电视，副设备为音箱，通过将音箱虚拟为电视的音频输出设备，使得视频和音频分别在电视和音箱中同步播放。
参考图3中的(b)，主设备为手机，副设备为音箱，通过将音箱虚拟为手机的音频输出设备，使得视频和音频分别在手机和音箱中同步播放。
参考图3中的(c)，主设备为手机，副设备为电视，通过将电视虚拟为手机的音频输出设备，使得视频和音频分别在手机和电视中同步播放。
为了便于理解，本申请以下实施例将以主设备具有图1和图2所示结构的手机为例，结合附图对本申请实施例提供的跨设备的音视频数据同步播放的方法进行具体阐述。
图4示出了手机的一组图形用户界面(graphical user interface，GUI)，其中，从图4中的(a)到图4中的(e)示出了手机中的第一应用与副设备连接并实现跨设备的音视频同步播放的方法。
参见图4中的(a)所示的GUI，该GUI为手机的桌面。当手机检测到用户点击桌面上的第一应用的图标401的操作后，可以启动该第一应用，显示如图4中的(b)所示的GUI，该GUI可以称为联网准备界面。
参见图4中的(b)所示的GUI，图中显示：请完成联网准备。示例性地，若待连接的副设备为华为人工智能(artificial intelligence，AI)音箱，则该联网准备可以为：长按该华为AI音箱静音键直到灯闪烁；若待连接的副设备为电视，则该联网准备可以为：请打开电视并使得电视处于连网状态；若待连接的设备为手机，则该联网准备可以为：请开启手机并使得手机处于连网状态；不予限制。当手机检测到用户点击手机联网的图标402的操作后，可以显示如图4中的(c)所示的GUI。
参见图4中的(c)所示的GUI，界面显示正在搜索附件可配对的设备。当搜索完成后，可以显示如图4中的(d)所示的GUI。
参见图4中的(d)所示的GUI，界面显示该手机可以配对的设备。如华为AI设备、华为智慧屏以及HUAWEI Mate 10Pro。对于显示的多个可以配对的设备，用户可以进一步选择想要配对的设备。示例性地，当手机检测到用户点击华为AI音箱的图标403的操作后，可以显示如图4中的(e)所示的GUI。
参见图4中的(e)所示的GUI，此时，界面显示该手机与华为AI音箱已连接。
当用户打开该手机的某一视频应用时，则视频数据可以在该手机播放，音频数据可以在与该手机连接的华为AI音箱上同步播放。
下面结合附图5介绍本申请实施例中实现跨设备的音视频精准同步的内部实现过程与判断逻辑。图5示出了本申请实施例提供的一种跨设备的音视频数据同步播放的方法的示意图。
S510，主设备与副设备进行设备间的互联，并且副设备的音频系统被虚拟为主设备的音频输出设备。
本申请实施中，主设备与副设备可以通过无线保真(wireless fidelity，WiFi)等网络单元实现设备间的互联，也可以通过蓝牙实现设备间的互联，不予限制。副设备的音频系统被虚拟为主设备的输出设备可以理解为：副设备的音频系统被虚拟为音频设备映射到主设备的音频设备系统中。
S520，主设备从存储器读取视频文件，并通过对应的解码器，解码出音频数据和视频数据，并将音频数据发送至副设备。
具体地，主设备在解码得到音频数据和视频数据后，可以通过WiFi、蓝牙等连接将解码得到的音频数据发送至副设备。
S530，副设备播放音频数据。
S540，副设备将音频模拟信号发送至人耳，使得人耳接收到该音频模拟信号。
副设备在接收到音频数据后，将接收到的音频数据发送至其操作系统对应的音频子系统，该音频子系统通过其音频数据帧缓存机制，根据音频数据的采样率，规律性地给其音频物理硬件单元发送音频数据帧，副设备的音频物理硬件单元通过数模转换模块，将音频数字信号转换为音频模拟信号后，发送到音频外放等模拟器件，传输至人耳。
S550，发送同步信息。
副设备在播放音频数据的同时，可以通过设备接口实时向主设备发送其音频物理硬件消耗的实际音频数据量。相应地，主设备可以通过副设备的设备接口实时获取副设备音频物理硬件消耗的实际音频数据量。
S560，主设备同步播放视频数据。
S570，屏幕显示视频图像信息使得人眼看到。
参考副设备音频物理硬件当前实际消耗的音频数据量，并结合副设备发送上述同步信息的网络时延，主设备可以同步和修正视频数据帧实际发送至人眼显示的时间，确保主设备播放画面与副设备播放的音频能保持同步播放。
应理解，本申请实施例中，主设备可以根据获取的音频数据量调整整个视频的播放。
本申请提供的方案，主设备通过设备接口实时获取副设备音频物理器件消耗的实际音频数据量，并根据该消耗的实际音频数据量调整视频数据帧的播放时间，可以实现跨设备音视频播放场景下，控制音视频数据同步播放的误差在用户可接受范围内，从而满足用户需求。
在上述步骤S560中，主设备同步播放视频数据，在主设备同步播放视频数据的过程中，可以通过以下几种方式进行同步，具体请参见下文。
方式一：
主设备参考副设备的音频播放时间，播放对应视频数据帧的时间可以通过式(1)获得：
Tvr＝(Tvm-(Tam-Tac+(Tn-Tar)*R))/R+Tn (1)
其中，Tvr表示主设备当前视频数据帧实际应该送显的时间戳；Tvm表示主设备准备送显视频数据帧的时间戳；Tam表示主设备最后解码音频数据帧的时间戳；Tac表示整个通路中实际缓存的音频数据帧对应的时长；Tn表示主设备查询音频数据消耗的当前系统时刻；Tar表示计算音频实际消耗数据对应的系统时刻；R表示播放速率，如2.0倍，0.5倍等。
在上述式(1)中，(Tn-Tar)*R表示主设备查询音频数据消耗的当前系统时刻与计算音频消耗数据量的时刻的差值再乘以播放速率进行的一次修正；(Tam-Tac+(Tn-Tar)*R)表示通过解码出音频数据帧时间戳减去通路中还缓存的音频数据帧所对应的时长，再结合修正值计算出音频播放的实际消耗量所对应的时长；Tvm减去音频播放的实际消耗量所对应的时长，得到音视频数据帧当前时间戳的差值再除以播放速率R并与主设备查询音频数据消耗的当前系统时刻Tn之和即为当前视频数据帧实际应该送显的时间戳Tvr。
其中，Tac可以通过式(2)和式(3)获得：
Tac＝Taw-Tap(vd) (2)
Tap(vd)＝Fap(vd)/SR (3)
其中，Taw表示主设备解码出音频数据还存在于音频缓冲区的数据量对应的时长；Tap(vd)表示副设备音频硬件实际消耗数据量对应时长；Fap(vd)表示副设备音频硬件实际消耗数据帧(如每毫秒实际消耗数据帧)；SR表示音频数据的采样率，如每毫秒消耗的音频数据点。
示例性地，假设主设备在准备计算本次当前音频数据帧所对应的视频数据帧的播放时刻时，主设备查询音频数据消耗的当前系统时刻与计算音频实际消耗数据对应的系统时刻的差值为2ms(如主设备查询音频数据消耗的当前系统时刻为12时10分0秒2毫秒，计算音频实际消耗数据对应的系统时刻为12时10分0秒0毫秒)，若R＝2.0，则主设备查询音频数据消耗的当前系统时刻与计算音频消耗数据量的时刻的差值再乘以播放速率进行一次修正后的结果为2*R＝4ms；若副设备音频硬件实际消耗数据帧为960B，若SR＝48Hz，则根据上述式(3)可以得到其对应的时长为20ms，若主设备解码出音频数据还存在音频缓冲区的数据量对应的时长为60ms，则根据上述式(2)可以得到整个通路中实际缓存的音频数据所对应的时长为40ms。若主设备最后解码音频数据帧的时间戳为300ms，通过解码出的音频数据帧的时间戳减去通路中实际缓存的音频数据帧所对应的时长，再结合修正值计算出音频播放的实际消耗量所对应的时长为300-(40+2R)＝256ms；若主设备准备送显视频数据帧的时间戳为330ms，结合主设备查询音频数据消耗的当前系统时刻(如上述所述的当前系统时刻为12时10分0秒2毫秒)，则根据上述式(1)可以确定：主设备当前视频数据帧实际应该送显的时间戳为12时10分0秒39毫秒。
此外，值得注意的是，上述Tvm表示主设备准备送显视频数据帧的时间戳可以理解为：假设主设备送显的视频数据帧的周期为33ms，若准备送显的第一视频数据帧的时间戳为0ms，则准备送显的第二视频数据帧的时间戳为33ms，准备送显的第三视频数据帧的时间戳为66ms，……，准备送显的第十一视频数据帧的时间戳为330ms等。
如图6所示，为现有技术的一种跨设备音视频数据同步播放的效果示意图，如图7所示，为本申请一实施例提供的一种跨设备音视频数据同步播放的效果示意图。
由于在该方式一中，主设备在确定播放当前视频数据帧时，参考了副设备音频物理器件消耗的实际音频数据量以及结合直接计算通路中音频缓存区大小、音频编解码数据缓存大小，因此，与图6相比，图7所示的音视频数据同步播放的误差较小。
本申请提供的方案，主设备通过参考副设备音频物理器件消耗的实际音频数据量以及结合直接计算通路中音频缓存区大小、音频编解码数据缓存大小计算视频数据帧送显时间，可以实现跨设备音视频播放场景下，控制音视频数据同步播放的误差在用户可接受范围内，从而满足用户需求。
上述方式一中，主设备在确定播放视频数据帧时，考虑了副设备音频物理器件消耗的实际音频数据量，然而主设备在读取副设备音频物理器件消耗的实际音频数据量时，可能会存有一定的误差，因此，为了进一步减小音视频数据同步播放的误差，还可以考虑对于读取的音频数据消耗量的修正，具体请参见下文中的方式二的相关内容。
方式二：
本申请实施例在上述实施例一的基础上还考虑对于读取的音频数据消耗量的修正，其播放对应视频数据帧的时间仍然可以通过式(1)获得：
此时，上述式(1)中的Tac可以通过上述式(2)和式(4)获得：
Tap(vd)＝Fap(vd)/SR+(T2-T1)*R+(T3-T0)*R (4)
其中，T1表示副设备在启动查询时的系统时刻，T2表示底层驱动返回的数据帧消耗统计数据Fap(vd)时的系统时刻，T0表示主设备读取Tap(vd)时的系统时刻，T3表示对端返回读取结果的时刻。
示例性地，假设主设备在准备计算本次当前音频数据帧所对应的视频数据帧的播放时刻时，主设备查询音频数据消耗的当前系统时刻与计算音频实际消耗数据对应的系统时刻的差值为2ms(如主设备查询音频数据消耗的当前系统时刻为12时10分0秒2毫秒，计算音频实际消耗数据对应的系统时刻为12时10分0秒0毫秒)，若R＝2.0，则主设备查询音频数据消耗的当前系统时刻与计算音频消耗数据量的时刻的差值再乘以播放速率进行一次修正后的结果为2*R＝4ms；若副设备音频硬件实际消耗数据帧为960B，SR＝48Hz，并且假设副设备在启动查询时的系统时刻与底层驱动返回的数据帧消耗统计数据Fap(vd)时的系统时刻的差值为8ms，以及假设对端返回读取结果的时刻与主设备读取Tap(vd)时的系统时刻的差值为5ms，则根据上述式(4)可以得到副设备音频硬件实际消耗数据量对应的时长为20+8*2+5*2＝46ms，若主设备解码出音频数据还存在音频缓冲区的数据量对应的时长为60ms，则根据上述式(2)可以得到整个通路中实际缓存的音频数据所对应的时长为60-46＝14ms。若主设备最后解码音频数据帧的时间戳为300ms，通过解码出音频数据帧时间戳减去通路中实际缓存的音频数据帧所对应的时长，再结合修正值计算出音频播放的实际消耗量所对应的时长为300-(14+2R)＝282ms；若主设备准备送显视频数据帧的时间戳为330ms，结合主设备查询音频数据消耗的当前系统时刻(如上述所述的当前系统时刻为12时10分0秒2毫秒)，则根据上述式(1)可以确定：主设备当前视频数据帧实际应该送显的时间戳为12时10分0秒26毫秒。
如图8所示，为本申请另一实施例提供的一种跨设备音视频数据同步播放的效果示意图。
由于在该方式二中，增加了对于读取音频数据消耗量的修正，一是考虑副设备在通过系统提供的接口读取底层音频硬件音频数据消耗量时，读取与结果反馈存在一定时间差；二是考虑主设备在实时通过虚拟设备以及网络读取副设备音频数据消耗量值时，读取与网络结果返回存在时间差。因此，与图7相比，图8所示的音视频数据同步播放的误差更小。
本申请提供的方案，主设备通过对参考副设备音频物理器件消耗的实际音频数据量进行修正并根据修正后的实际音频数据量计算视频帧送显时间，可以进一步减小音视频数据同步播放的误差。
上述方式二中，主设备在确定播放视频数据帧时，考虑了副设备音频物理器件消耗的实际音频数据量以及对于读取的音频数据消耗量的修正，然而主设备在实现副设备播放音频过程中，会有很多次读取音频数据消耗量的网络操作，这种多次网络操作会受网络带宽及状态变化所影响，导致音视频数据同步误差出现过高或过低的现象，因此，为了进一步平稳音视频数据同步播放的误差，还可以考虑网络平滑修正机制，具体请参见下文中的方式三的相关内容。
方式三：
本申请实施例在上述实施例二的基础上还考虑网络平滑修正机制，其播放对应视频数据帧的时间仍然可以通过式(1)获得：
此时，上述式(1)中的Tac可以通过上述式(2)和式(5)获得：
Figure BDA0002923275350000141
其中，TH为预设阈值。
上述式(5)可以理解为：当网络读取被阻塞时长超过预设阈值时，即(T3-T0)>TH时，启动超时处理，即副设备音频硬件实际消耗数据量对应时长可以基于预设阈值和播放速率的乘积获得；当网络读取被阻塞时长过长，导致音频数据无法发送至副设备，也即主设备发送至副设备的所有音频数据，可能已经被副设备消耗完毕时，主设备也还没有新数据发送至副设备，即Tam-Tac+(Tn-Tar)*R＜0，则副设备音频硬件实际消耗数据量对应时长为0。
情况一：
示例性地，假设预设阈值为20ms，若(T3-T0)>20，则副设备音频硬件实际消耗数据量对应时长为TH*R＝20*2＝40ms，假设主设备在准备计算本次当前音频数据帧所对应的视频数据帧的播放时刻时，主设备查询音频数据消耗的当前系统时刻与计算音频实际消耗数据对应的系统时刻的差值为2ms(如主设备查询音频数据消耗的当前系统时刻为12时10分0秒2毫秒，计算音频实际消耗数据对应的系统时刻为12时10分0秒0毫秒)，若R＝2.0，则主设备查询音频数据消耗的当前系统时刻与计算音频消耗数据量的时刻的差值再乘以播放速率进行一次修正后的结果为2*R＝4ms；若主设备解码出音频数据还存在音频缓冲区的数据量对应的时长为60ms，则根据上述式(2)和式(5)可以得到整个通路中实际缓存的音频数据所对应的时长为60-40＝20ms；若主设备最后解码音频数据帧的时间戳为300ms，通过解码出的音频数据帧的时间戳减去通路中实际缓存的音频数据帧所对应的时长，再结合修正值计算出音频播放的实际消耗量所对应的时长为300-(20+4)＝276ms，若主设备准备送显视频数据帧的时间戳为330毫秒，结合主设备查询音频数据消耗的当前系统时刻(如上述所述的当前系统时刻为12时10分0秒2毫秒)，则根据上述式(1)可以确定：主设备当前视频数据帧实际应该送显的时间戳为12时10分0秒29毫秒。
情况二：
示例性地，若Tam-Tac+(Tn-Tar)*R＜0，则副设备音频硬件实际消耗数据量对应时长为0，假设主设备在准备计算本次当前音频数据帧所对应的视频数据帧的播放时刻时，主设备查询音频数据消耗的当前系统时刻与计算音频实际消耗数据对应的系统时刻的差值为2ms(如主设备查询音频数据消耗的当前系统时刻为12时10分0秒2毫秒，计算音频实际消耗数据对应的系统时刻为12时10分0秒0毫秒)，若R＝2.0，则主设备查询音频数据消耗的当前系统时刻与计算音频消耗数据量的时刻的差值再乘以播放速率进行一次修正后的结果为2*R＝4ms；若主设备解码出音频数据还存在音频缓冲区的数据量对应的时长为60ms，则根据上述式(2)和式(5)可以得到整个通路中实际缓存的音频数据所对应的时长为60-0＝60ms，若主设备最后解码音频数据帧的时间戳为300ms，通过解码出的音频数据帧的时间戳减去通路中实际缓存的音频数据帧所对应的时长，再结合修正值计算出音频播放的实际消耗量所对应的时长为300-(60+4)＝236ms；若主设备准备送显视频数据帧的时间戳为330ms，结合主设备查询音频数据消耗的当前系统时刻(如上述所述的当前系统时刻为12时10分0秒2毫秒)，则根据上述式(1)可以确定：主设备当前视频数据帧实际应该送显的时间戳为12时10分0秒49毫秒。
如图9所示，为本申请又一实施例提供的一种跨设备音视频数据同步播放的效果示意图。
在该方式三中，通过在主设备增加网络平滑修正机制，可以保证最终读取音频数据消耗结果整个过程的平滑性，可以保证不会出现某些音视频数据同步误差过高或者过低的现象，因此，与图8相比，图9所示的音视频数据同步播放的误差更稳定。
本申请提供的方案，通过在主设备增加网络平滑修正机制，可以保证最终读取音频数据消耗结果整个过程的平滑性，可以保证不会出现某些音视频数据同步播放的误差过高或者过低的现象，使得音视频数据同步播放的误差更稳定。
下面介绍本申请提供的一种跨设备的音视频数据同步播放的方法的流程。
请参见图10，图10示出了一种跨设备的音视频数据同步播放的方法1000的示意性流程图。
如图10所示，该方法1000可以包括：
S1010，第二电子设备获取音频的数据消耗量。
本申请实施例中的第二电子设备即为上述方法500中的副设备，音频的数据消耗量即为上述方法500中副设备音频物理硬件当前实际消耗的音频数据量。
需要说明的是，在一些实施例中，第二电子设备可以在接收到第一电子设备发送的消息后可以获取其音频物理硬件当前实际消耗的音频数据量，该消息用于指示获取音频的数据消耗量；或者，第二电子设备可以实时获取其音频物理硬件当前实际消耗的音频数据量，在接收到第一电子设备发送的消息后，可以发送该当前实际消耗的音频数据量(即音频的数据消耗量)。
S1020，所述第二电子设备发送所述数据消耗量。
S1030，第一电子设备获取第二电子设备的音频的数据消耗量。
本申请实施例中的第一电子设备即为上述方法500中的主设备。第一电子设备可以将第二电子设备的音频系统虚拟为音频设备映射到其音频设备系统中，从而第一电子设备可以获取第二电子设备的音频的数据消耗量。
本申请实施例中，第一电子设备可以向第二电子设备发送用于指示获取音频的数据消耗量的消息，待第二电子设备接收到该消息后，可以向第一电子设备发送当前的音频的数据消耗量。
可选地，在一些实施例中，所述第一电子设备获取第二电子设备的音频的数据消耗量，包括：所述第一电子设备通过预设接口获取所述数据消耗量。
本申请实施例中，第一电子设备通过预设接口获取所述数据消耗量可以理解为：所述第一电子设备通过调取相应的接口模块获取所述数据消耗量。
S1040，所述第一电子设备根据所述数据消耗量调整所述音频对应的视频的播放。
可选地，在一些实施例中，所述第一电子设备根据所述数据消耗量调整所述音频对应的视频的播放，包括：所述第一电子设备根据所述数据消耗量调整所述音频对应的当前视频数据帧的播放时间；所述第一电子设备基于调整后的播放时间播放所述当前视频数据帧。
本申请实施例中，第一电子设备可以根据获取到的数据消耗量调整音频对应的视频的播放，可以通过多种方式进行调整。
方式一：
所述第一电子设备根据所述数据消耗量调整所述音频对应的视频的播放，包括：
所述第一电子设备根据所述数据消耗量确定第一时长，所述第一时长为所述第二电子设备的音频硬件消耗的所述数据消耗量所对应的时长；
所述第一电子设备根据所述第一时长，结合第一通路中缓存的音频数据帧所对应的时长以及所述第一电子设备查询所述数据消耗量的系统时刻与所述第二电子设备计算所述数据消耗量的系统时刻进行修正的时长，调整所述音频对应的视频的播放；
其中，所述第一通路包括所述第一电子设备将解码到的音频数据传输至所述第二电子设备的音频设备所形成的通路。
方式二：
所述第一电子设备对所述数据消耗量进行修正；
所述第一电子设备根据所述数据消耗量调整所述音频对应的视频的播放，包括：
所述第一电子设备根据修改后的数据消耗量调整所述音频对应的视频的播放。
可选地，在一些实施例中，所述第一电子设备对所述数据消耗量进行修正，包括：
所述第一电子设备在所述第一时长的基础上增加第一阈值和第二阈值，以获得第二时长，所述第一阈值为所述第二电子设备的驱动返回所述数据消耗量的时刻与所述第二电子设备启动查询所述数据消耗量的时刻的差值，所述第二阈值为所述第二电子设备返回读取所述数据消耗量的时刻与所述第一电子设备读取所述数据消耗量的时刻的差值；
所述第一电子设备根据修改后的数据消耗量调整所述音频对应的视频的播放，包括：
所述第一电子设备根据所述第二时长调整所述音频对应的视频的播放。
方式三：
可选地，在一些实施例中，若所述第二阈值大于预设阈值，所述第二时长为所述预设阈值与所述第一电子设备的播放速率的乘积获得的数据消耗量所对应的时长。
可以理解的是，本申请实施例中，预设阈值与播放速率的乘积的单位量纲为数据消耗量的量纲，因此，该数据消耗量所对应的时长即为第二时长。
可选地，在一些实施例中，若第三时长小于0，所述第二时长为0；
其中，所述第三时长为第四时长与所述第一时长的差值后与第五时长的和，所述第四时长为第一通路中缓存的音频数据帧所对应的时长，所述第五时长为所述第一电子设备查询所述数据消耗量的系统时刻与所述第二电子设备计算所述数据消耗量的系统时刻的差值与播放速率的乘积获得的数据消耗量所对应的时长。
关于上述三种方式可以参考上述方法500中步骤S560中主设备根据获取的音频数据消耗量同步播放视频数据的三种方式，在此不再赘述。
需要说明的是，本申请实施例中，第一电子设备可以根据音频的数据消耗量调整所述音频对应的视频的播放可以理解为：若第一电子根据获取的音频的数据消耗量确定准备播放的当前视频晚于对应的音频，则第一电子设备可以加快视频的播放，如可以丢弃部分视频数据帧，从而使得音视频数据同步播放；若第一电子设备根据获取的音频的数据消耗量确定准备播放的当前视频早于对应的音频，则第一电子设备可以减缓视频的播放，如可以暂停视频播放，从而使得音视频数据同步播放。
可以理解的是，上文中描述了若第一电子根据获取的音频的数据消耗量确定准备播放的当前视频晚于对应的音频，则可以丢弃部分视频数据帧；若第一电子根据获取的音频的数据消耗量确定准备播放的当前视频早于对应的音频，则可以暂停视频播放。实际情况中，由于丢弃的部分视频数据帧或暂停视频播放的时长很短暂(一般是几毫秒或几十毫秒)，因此，用户在视觉上是觉察不到的。
本申请实施例中的视频所对应的音频可以理解为：当第二电子设备播放的音频到达某一帧时，此时第一电子设备应播放与该音频帧对应的视频帧。
本申请提供的方案，第一电子设备通过设备接口实时获取第二电子设备音频物理器件实际的音频的数据消耗量，并根据该音频的数据消耗量调整音频对应的视频的播放，可以实现跨设备音视频播放场景下，控制音视频数据同步播放的误差在用户可接受范围内，从而满足用户需求。
可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图11示出了上述实施例中涉及的电子设备1100的一种可能的组成示意图，如图11所示，该电子设备1100可以包括：获取模块1110和调整模块1120。
其中，获取模块1110可以用于支持电子设备1100执行上述步骤S1030等，和/或用于本文所描述的技术的其他过程。
调整模块1120可以用于支持电子设备1100执行上述步骤S1040等，和/或用于本文所描述的技术的其他过程。
需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
图12示出了上述实施例中涉及的电子设备1200的一种可能的组成示意图，如图12所示，该电子设备1200可以包括：获取模块1210和通信模块1220。
其中，获取模块1210可以用于支持电子设备1200执行上述步骤S1010等，和/或用于本文所描述的技术的其他过程。
通信模块1120可以用于支持电子设备1200执行上述步骤S1020等，和/或用于本文所描述的技术的其他过程。
需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
本实施例提供的电子设备，用于执行上述本申请的方法，因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下，电子设备可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对电子设备的动作进行控制管理，例如，可以用于支持电子设备执行上述各个单元执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。
其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。
在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的电子设备可以为具有图1所示结构的设备。
图13示出了上述实施例涉及的电子设备800的另一种可能的组成示意图，如图13所示，该电子设备800可以包括通信单元810、输入单元820、处理单元830、输出单元(或也可以称为显示单元)840、外设接口850、存储单元860、电源870、视频解码器880以及音频解码器890。
通信单元810用于建立通信信道，使电子设备800通过所述通信信道以连接至远程服务器，并从所述远程服务器下媒体数据。所述通信单元810可以包括WLAN模块、蓝牙模块、NFC模块、基带模块等通信模块，以及所述通信模块对应的射频(Radio Frequency，简称RF)电路，用于进行无线局域网络通信、蓝牙通信、NFC通信、红外线通信及/或蜂窝式通信系统通信，例如宽带码分多重接入(wideband code division multiple access，W-CDMA)及/或高速下行封包存取(high speed downlink packet access，HSDPA)。所述通信模块810用于控制电子设备中的各组件的通信，并且可以支持直接内存存取。
输入单元820可以用于实现用户与电子设备的交互和/或信息输入到电子设备中。在本发明具体实施方式中，输入单元可以是触控面板，也可以是其他人机交互界面，例如实体输入键、麦克风等，还可是其他外部信息撷取装置，例如摄像头等。
处理单元830为电子设备的控制中心，可以利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储单元内的软件程序和/或模块，以及调用存储在存储单元内的数据，以执行电子设备的各种功能和/或处理数据。
输出单元840包括但不限于影像输出单元和声音输出单元。影像输出单元用于输出文字、图片和/或视频。在本发明的具体实施方式中，上述输入单元820所采用的触控面板亦可同时作为输出单元840的显示面板。例如，当触控面板检测到在其上的触摸或接近的手势操作后，传送给处理单元以确定触摸事件的类型，随后处理单元根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图13中，输入单元820与输出单元840是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板与显示面板集成一体而实现电子设备的输入和输出功能。例如，所述影像输出单元可以显示各种图形化用户接口以作为虚拟控制组件，包括但不限于窗口、卷动轴、图标及剪贴簿，以供用户通过触控方式进行操作。
上述实施例中步骤S570中同步后的视频数据帧可以通过输出单元840实现。
外设接口850可以用于读取第二电子设备的音频数据实际消耗量。
存储单元860可用于存储软件程序以及模块，处理单元通过运行存储在存储单元的软件程序以及模块，从而执行电子设备的各种功能应用以及实现数据处理。
视频解码器880和音频解码器890可以对视频文件进行解码，获得视频数据和音频数据，以便于实现跨设备音视频数据的同步播放。
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的跨设备的音视频数据同步播放的方法。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的跨设备的音视频数据同步播放的方法。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的跨设备的音视频数据同步播放的方法。
其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种跨设备的音视频数据同步播放的方法，其特征在于，所述方法包括：
第一电子设备获取第二电子设备的音频的数据消耗量；
所述第一电子设备根据所述数据消耗量调整所述音频对应的视频的播放；
所述方法还包括：
所述第一电子设备对所述数据消耗量进行修正；
所述第一电子设备根据所述数据消耗量调整所述音频对应的视频的播放，包括：
所述第一电子设备根据修正后的数据消耗量调整所述音频对应的视频的播放；
所述第一电子设备对所述数据消耗量进行修正，包括：
所述第一电子设备在第一时长的基础上增加第一阈值和第二阈值，以获得第二时长，所述第一阈值为所述第二电子设备的驱动返回所述数据消耗量的时刻与所述第二电子设备启动查询所述数据消耗量的时刻的差值，所述第二阈值为所述第二电子设备返回读取所述数据消耗量的时刻与所述第一电子设备读取所述数据消耗量的时刻的差值，所述第一时长为所述第二电子设备的音频硬件消耗的所述数据消耗量所对应的时长；
所述第一电子设备根据修改后的数据消耗量调整所述音频对应的视频的播放，包括：
所述第一电子设备根据所述第二时长调整所述音频对应的视频的播放。
2.根据权利要求1所述的方法，其特征在于，所述第一电子设备根据所述数据消耗量调整所述音频对应的视频的播放，包括：
所述第一电子设备根据所述数据消耗量调整所述音频对应的当前视频数据帧的播放时间；
所述第一电子设备基于调整后的播放时间播放所述当前视频数据帧。
3.根据权利要求1或2所述的方法，其特征在于，所述第一电子设备根据所述数据消耗量调整所述音频对应的视频的播放，包括：
所述第一电子设备根据所述数据消耗量确定所述第一时长；
所述第一电子设备根据所述第一时长，结合第一通路中缓存的音频数据帧所对应的时长以及所述第一电子设备查询所述数据消耗量的系统时刻与所述第二电子设备计算所述数据消耗量的系统时刻进行修正的时长，调整所述音频对应的视频的播放；
其中，所述第一通路包括所述第一电子设备将解码到的音频数据传输至所述第二电子设备的音频设备所形成的通路。
4.根据权利要求1或2所述的方法，其特征在于，若所述第二阈值大于预设阈值，所述第二时长为所述预设阈值与所述第一电子设备的播放速率的乘积获得的数据消耗量所对应的时长。
5.根据权利要求1或2所述的方法，其特征在于，若第三时长小于0，所述第二时长为0；
其中，所述第三时长为第四时长与第五时长的和，所述第四时长为所述第一电子设备最终解码音频数据帧的时间戳与第一通路中缓存的音频数据帧所对应的时长的差值，所述第一通路包括所述第一电子设备将解码到的音频数据传输至所述第二电子设备的音频设备所形成的通路，所述第五时长为所述第一电子设备查询所述数据消耗量的系统时刻与所述第二电子设备计算所述数据消耗量的系统时刻的差值与播放速率的乘积获得的数据消耗量所对应的时长。
6.根据权利要求1或2所述的方法，其特征在于，所述第一电子设备获取第二电子设备的音频的数据消耗量，包括：
所述第一电子设备通过预设接口获取所述数据消耗量。
7.一种电子设备，其特征在于，包括：
获取模块，用于获取第二电子设备的音频的数据消耗量；
调整模块，用于根据所述数据消耗量调整所述音频对应的视频的播放；
所述电子设备还包括：
修正模块，用于对所述数据消耗量进行修正；
所述调整模块用于，根据修正后的数据消耗量调整所述音频对应的视频的播放；
所述修正模块用于，在第一时长的基础上增加第一阈值和第二阈值，以获得第二时长，所述第一阈值为所述第二电子设备的驱动返回所述数据消耗量的时刻与所述第二电子设备启动查询所述数据消耗量的时刻的差值，所述第二阈值为所述第二电子设备返回读取所述数据消耗量的时刻与所述电子设备读取所述数据消耗量的时刻的差值，所述第一时长为所述第二电子设备的音频硬件消耗的所述数据消耗量所对应的时长；
所述调整模块用于，根据所述第二时长调整所述音频对应的视频的播放。
8.根据权利要求7所述的电子设备，其特征在于，所述调整模块用于，根据所述数据消耗量调整所述音频对应的当前视频数据帧的播放时间；
所述电子设备还包括：
播放模块，用于基于调整后的播放时间播放所述当前视频数据帧。
9.根据权利要求7或8所述的电子设备，其特征在于，所述电子设备还包括：
确定模块，用于根据所述数据消耗量确定所述第一时长；
所述调整模块用于，根据所述第一时长，结合第一通路中缓存的音频数据帧所对应的时长以及所述电子设备查询所述数据消耗量的系统时刻与所述第二电子设备计算所述数据消耗量的系统时刻进行修正的时长，调整所述音频对应的视频的播放；
其中，所述第一通路包括所述电子设备将解码到的音频数据传输至所述第二电子设备的音频设备所形成的通路。
10.根据权利要求7或8所述的电子设备，其特征在于，若所述第二阈值大于预设阈值，所述第二时长为所述预设阈值与所述电子设备的播放速率的乘积获得的数据消耗量所对应的时长。
11.根据权利要求7或8所述的电子设备，其特征在于，若第三时长小于0，所述第二时长为0；
其中，所述第三时长为第四时长与第五时长的和，所述第四时长为所述电子设备最终解码音频数据帧的时间戳与第一通路中缓存的音频数据帧所对应的时长的差值，所述第一通路包括所述电子设备将解码到的音频数据传输至所述第二电子设备的音频设备所形成的通路，所述第五时长为所述电子设备查询所述数据消耗量的系统时刻与所述第二电子设备计算所述数据消耗量的系统时刻的差值与播放速率的乘积获得的数据消耗量所对应的时长。
12.根据权利要求7或8所述的电子设备，其特征在于，所述获取模块用于，通过预设接口获取所述数据消耗量。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
一个或多个存储器；
所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1至6中任一项所述的方法。
14.一种芯片系统，其特征在于，所述芯片系统包括至少一个处理器，当程序指令在所述至少一个处理器中执行时，使得如权利要求1至6中任一所述的方法在所述电子设备上的功能得以实现。
15.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至6中任一项所述的方法。
CN202110124896.4A 2021-01-29 2021-01-29 一种跨设备的音视频数据同步播放的方法和电子设备 Active CN114827696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110124896.4A CN114827696B (zh) 2021-01-29 2021-01-29 一种跨设备的音视频数据同步播放的方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110124896.4A CN114827696B (zh) 2021-01-29 2021-01-29 一种跨设备的音视频数据同步播放的方法和电子设备

Publications (2)

Publication Number Publication Date
CN114827696A CN114827696A (zh) 2022-07-29
CN114827696B true CN114827696B (zh) 2023-06-27

Family

ID=82526724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110124896.4A Active CN114827696B (zh) 2021-01-29 2021-01-29 一种跨设备的音视频数据同步播放的方法和电子设备

Country Status (1)

Country Link
CN (1) CN114827696B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708889B (zh) * 2022-11-28 2024-05-03 荣耀终端有限公司 音视频同步方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080006444A (ko) * 2006-07-12 2008-01-16 콴타 컴퓨터 인코포레이티드 비디오 프레임들 및 오디오 프레임들을 동기화하기 위한시스템 및 방법
CN103905876A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备
CN103905879A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备
CN104618786A (zh) * 2014-12-22 2015-05-13 深圳市腾讯计算机系统有限公司 音视频同步方法和装置
CN107566890A (zh) * 2017-09-15 2018-01-09 深圳国微技术有限公司 处理音频流播放异常的方法、装置、计算机装置及计算机可读存储介质
CN109819303A (zh) * 2019-03-06 2019-05-28 Oppo广东移动通信有限公司 数据输出方法及相关设备
CN112261461A (zh) * 2020-10-20 2021-01-22 深圳创维－Rgb电子有限公司 蓝牙音画同步方法、装置、显示设备和可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8743284B2 (en) * 2007-10-08 2014-06-03 Motorola Mobility Llc Synchronizing remote audio with fixed video
CN105451056B (zh) * 2015-11-20 2018-10-02 小米科技有限责任公司 音视频同步方法及装置
CN105898504A (zh) * 2016-04-26 2016-08-24 乐视控股（北京）有限公司 一种音视频同步方法及装置
CN107710754B (zh) * 2016-05-06 2020-02-21 华为技术有限公司 音视频数据同步方法和装置
US20200014969A1 (en) * 2016-09-14 2020-01-09 Dts, Inc. User interface for multimode synchronous rendering of headphone audio and video
CN106792073B (zh) * 2016-12-29 2019-09-17 北京奇艺世纪科技有限公司 跨设备的音视频数据同步播放的方法、播放设备及系统
EP3591908B9 (en) * 2017-03-23 2022-04-06 Huawei Technologies Co., Ltd. Method and device for lip-speech synchronization among multiple devices
CN109327724B (zh) * 2017-08-01 2021-08-31 成都鼎桥通信技术有限公司 音视频同步播放方法和装置
CN107509100A (zh) * 2017-09-15 2017-12-22 深圳国微技术有限公司 音视频同步方法、系统、计算机装置及计算机可读存储介质
CN108377406B (zh) * 2018-04-24 2020-12-22 海信视像科技股份有限公司 一种调整音画同步的方法及装置
CN108616767B (zh) * 2018-04-28 2020-12-29 海信视像科技股份有限公司 一种音频数据传输方法及装置
CN109168059B (zh) * 2018-10-17 2021-06-18 上海赛连信息科技有限公司 一种在不同设备上分别播放音频与视频的唇音同步方法
CN110430457B (zh) * 2019-07-25 2021-09-10 北京奇艺世纪科技有限公司 异端音视频播放方法、装置及音视频播放系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080006444A (ko) * 2006-07-12 2008-01-16 콴타 컴퓨터 인코포레이티드 비디오 프레임들 및 오디오 프레임들을 동기화하기 위한시스템 및 방법
CN103905876A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备
CN103905879A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备
CN104618786A (zh) * 2014-12-22 2015-05-13 深圳市腾讯计算机系统有限公司 音视频同步方法和装置
CN107566890A (zh) * 2017-09-15 2018-01-09 深圳国微技术有限公司 处理音频流播放异常的方法、装置、计算机装置及计算机可读存储介质
CN109819303A (zh) * 2019-03-06 2019-05-28 Oppo广东移动通信有限公司 数据输出方法及相关设备
CN112261461A (zh) * 2020-10-20 2021-01-22 深圳创维－Rgb电子有限公司 蓝牙音画同步方法、装置、显示设备和可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于FFMPEG解码的音视频同步实现;刘丽霞;边金松;张;穆森;;计算机工程与设计(第06期);全文 *

Also Published As

Publication number Publication date
CN114827696A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN113726950B (zh) 一种图像处理方法和电子设备
WO2020093988A1 (zh) 一种图像处理方法及电子设备
CN113630572B (zh) 帧率切换方法和相关装置
CN114089933B (zh) 显示参数的调整方法、电子设备、芯片及可读存储介质
US12020620B2 (en) Display method, electronic device, and computer storage medium
WO2022007862A1 (zh) 图像处理方法、系统、电子设备及计算机可读存储介质
EP4187907A1 (en) Screen projection data processing method and apparatus
WO2022105445A1 (zh) 基于浏览器的应用投屏方法及相关装置
WO2022017205A1 (zh) 一种显示多个窗口的方法及电子设备
CN114338952A (zh) 一种基于垂直同步信号的图像处理方法及电子设备
WO2022143180A1 (zh) 协同显示方法、终端设备及计算机可读存储介质
CN115048012A (zh) 数据处理方法和相关装置
CN113973189A (zh) 显示内容的切换方法、装置、终端及存储介质
WO2023005900A1 (zh) 一种投屏方法、电子设备及系统
CN114827696B (zh) 一种跨设备的音视频数据同步播放的方法和电子设备
US20230335081A1 (en) Display Synchronization Method, Electronic Device, and Readable Storage Medium
EP4395290A1 (en) Bluetooth audio playback method, electronic device, and storage medium
WO2023000745A1 (zh) 显示控制方法及相关装置
CN112437341A (zh) 一种视频流处理方法及电子设备
CN116939559A (zh) 蓝牙音频编码数据分发方法、电子设备及存储介质
CN115686403A (zh) 显示参数的调整方法、电子设备、芯片及可读存储介质
WO2024066834A1 (zh) Vsync信号的控制方法、电子设备、存储介质及芯片
CN115904184B (zh) 数据处理方法和相关装置
WO2022228102A1 (zh) 通信资源调度方法和电子设备
CN115480680A (zh) 多设备协同控制方法、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant