CN116671114A - 多媒体回放同步 - Google Patents

多媒体回放同步 Download PDF

Info

Publication number
CN116671114A
CN116671114A CN202080107697.6A CN202080107697A CN116671114A CN 116671114 A CN116671114 A CN 116671114A CN 202080107697 A CN202080107697 A CN 202080107697A CN 116671114 A CN116671114 A CN 116671114A
Authority
CN
China
Prior art keywords
delay
audio
data
output
audio output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080107697.6A
Other languages
English (en)
Inventor
张楠
陈宇
赵霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN116671114A publication Critical patent/CN116671114A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种设备包括一个或多个处理器，其被配置为：基于来自音频输出设备的传输来获得输出延迟数据。输出延迟数据指示与由音频输出设备输出的音频相关联的回放延迟。一个或多个处理器还被配置为：基于输出延迟数据和主机延迟数据来确定同步延迟，以协调由音频输出设备输出的音频和在显示器处输出的视频。一个或多个处理器还被配置为：发起对音频数据到音频输出设备的发送；以及向显示器发送视频数据。视频数据是基于同步延迟而相对于对音频数据的发送被延迟的。

Description

多媒体回放同步
技术领域
概括而言，本公开内容涉及多媒体回放同步。
背景技术
技术的进步已经导致更小且更强大的计算设备。例如，当前存在各种各样的便携式个人计算设备，包括小型、轻量级以及容易由用户携带的无线电话(诸如移动和智能电话、平板设备和膝上型计算机)。这些设备可以在无线网络上传送语音和数据分组。此外，许多这样的设备并入了额外的功能，诸如数字照相机、数字摄像机、数字记录器和音频文件播放器。此外，这样的设备可以处理可执行指令，包括可以用以接入互联网的软件应用(诸如网页浏览器应用)。照此，这些设备可以包括关键的计算能力。
这样的计算设备通常并入了用于回放多媒体内容(诸如游戏或电影或包括视频和声音的其它媒体)的功能。此外，一些这样的计算设备并入了用于向一个或多个其它设备发送视频、音频或两者以供输出的功能。举例说明，多媒体内容的视频可以在计算设备的本地显示器处输出，并且计算设备可以将多媒体内容的音频发送给扬声器、耳机或另一音频输出设备。
当一个计算设备在多媒体回放期间输出视频和音频两者时，该计算设备可以控制音频和视频的同步。然而，当音频和视频由不同的设备输出时，对音频和视频进行同步可能具有挑战性。举例说明，当计算设备经由本地显示器输出视频并且将相应的音频发送给耳机时，耳机可能以引入未考虑的延迟的方式来处理音频，这导致音频和视频在回放期间变得不同步。
发明内容
根据本公开内容的一种实现，一种设备包括：一个或多个处理器，其被配置为：基于来自音频输出设备的传输来获得输出延迟数据。所述输出延迟数据指示与由所述音频输出设备输出的音频相关联的回放延迟。所述一个或多个处理器还被配置为：基于所述输出延迟数据和主机延迟数据来确定同步延迟，以协调由所述音频输出设备输出的音频和在显示器处输出的视频。所述一个或多个处理器还被配置为：发起对音频数据到所述音频输出设备的发送；以及向所述显示器发送视频数据。所述视频数据是基于所述同步延迟而相对于对所述音频数据的所述发送被延迟的。
根据本公开内容的另一实现，一种方法包括：在主机设备处从音频输出设备获得输出延迟数据，所述输出延迟数据指示与由所述音频输出设备输出的音频相关联的回放延迟。所述方法还包括：在所述主机设备处基于所述输出延迟数据和主机延迟数据来确定同步延迟，以协调由所述音频输出设备输出的音频和由所述主机设备的显示器输出的视频。所述方法还包括：在由所述主机设备进行的多媒体回放期间，从所述主机设备向所述音频输出设备发送音频数据并且向所述显示器发送视频数据。所述视频数据是基于所述同步延迟而相对于对所述音频数据的发送被延迟的。
根据本公开内容的另一实现，一种设备包括：用于向音频输出设备发送音频数据的单元；以及用于经由来自所述音频输出设备的传输来接收输出延迟数据的单元，所述输出延迟数据指示与由所述音频输出设备输出的音频相关联的回放延迟。所述设备还包括：用于对多媒体回放进行同步的单元。所述用于同步的单元被配置为：基于所述输出延迟数据和主机延迟数据来确定同步延迟，以协调由所述音频输出设备输出的音频和在显示器处输出的视频。所述用于同步的单元还被配置为：使得所述用于发送音频数据的单元向所述音频输出设备发送所述音频数据；以及向所述显示器发送视频数据。所述视频数据是基于所述同步延迟而相对于对所述音频数据的所述发送被延迟的。
根据本公开内容的另一实现，一种设备包括：接收机，其被配置为从主机设备接收对音频数据进行编码的信号；以及解码器，其被配置为基于所述音频数据来生成音频信号。所述设备还包括：一个或多个声音换能器，其被配置为基于所述音频信号来生成音频输出。所述设备还包括：存储器，其被配置为存储包括一个或多个回放延迟值的输出延迟数据。特定回放延迟值指示在由所述主机设备传输特定音频数据与由所述一个或多个声音换能器播放与所述特定音频数据相对应的声音之间的输出设备总延迟时间。所述设备还包括：发射机，其被配置为向所述主机设备发送所述一个或多个回放延迟值中的至少一个回放延迟值以使得所述主机设备能够确定同步延迟，以将所述音频输出与由所述主机设备的显示器输出的视频进行同步。
根据本公开内容的另一实现，一种方法包括：将输出延迟数据存储在音频输出设备的存储器处，所述输出延迟数据指示与由所述音频输出设备输出的音频相关联的回放延迟。所述方法还包括：向主机设备发送所述输出延迟数据，以使得所述主机设备能够确定同步延迟以协调由所述音频输出设备输出的音频和由显示设备输出的视频。
根据本公开内容的另一种实现，一种设备包括：用于从主机设备接收对音频数据进行编码的信号的单元；以及用于对所述信号进行解码以基于所述音频数据来生成音频信号的单元。所述设备还包括：用于基于所述音频信号来生成音频输出的单元。所述设备还包括：用于存储包括一个或多个回放延迟值的输出延迟数据的单元。特定回放延迟值指示在由所述主机设备传输特定音频数据与由所述用于生成音频输出的单元播放与所述特定音频数据相对应的声音之间的输出设备总延迟时间。所述设备还包括：用于向所述主机设备发送所述一个或多个回放延迟值中的至少一个回放延迟值以使得所述主机设备能够确定同步延迟以将所述音频输出与由所述主机设备的显示器输出的视频进行同步的单元。
在阅读整个申请(包括以下章节：附图说明、具体实施方式和权利要求书)之后，本公开内容的其它方面、优势和特征将变得显而易见。
附图说明
图1是根据本公开内容的一些示例的可操作以在多媒体回放期间对音频和视频进行同步的系统的特定说明性方面的框图。
图2是根据本公开内容的一些示例的图1的系统的组件的操作的说明性方面的示意图。
图3是根据本公开内容的一些示例的图1的系统的组件的操作的另一说明性方面的示意图。
图4是根据本公开内容的一些示例的可操作以在多媒体回放期间对音频和视频进行同步的设备的特定说明性示例的框图。
图5是根据本公开内容的一些示例的可操作以在多媒体回放期间对音频和视频进行同步的车辆的示例的示意图。
图6是根据本公开内容的一些示例的可操作以在多媒体回放期间对音频和视频进行同步的头戴式耳机的示意图。
图7是根据本公开内容的一些示例的可操作以在多媒体回放期间对音频和视频进行同步的可佩戴电子设备的示意图。
图8是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图9是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图10是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图11是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图12是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图13是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图14是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图15是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图16是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图17是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图18是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图19是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图20是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
图21是根据本公开内容的一些示例的可以由图1的系统执行的在多媒体回放期间对音频和视频进行同步的方法的特定实现的示意图。
具体实施方式
在不同设备处对多媒体回放进行同步可能具有挑战性。例如，用于多媒体回放的一种常见场景是本地显示视频，并且将音频发送给单独的音频输出设备(诸如耳机、耳塞或扬声器)。在该示例中，在多媒体内容的回放期间，计算设备本地处理多媒体内容的视频数据，并且在本地显示器处根据视频数据输出视频。计算设备向音频输出设备发送多媒体内容的音频数据。音频数据到音频输出设备的传输和音频输出设备对音频数据的处理两者引入延迟，这可能导致在回放期间视频和音频的去同步。
计算设备可能将视频的输出延迟某个预定义的值，但是音频数据所经历的实际延迟可能从一个音频输出设备到另一音频输出设备而变化、从一种操作模式到另一操作模式而变化或者基于其它因素而变化。例如，第一组耳机可能比第二组耳机花费更长的时间来处理和输出接收到的音频数据。这种差异是由于耳机之间的硬件差异、耳机之间的软件差异、或者两者而造成的。举例说明，高端耳机可能引入处理步骤(诸如自定义均衡、噪声消除等)，以确保高保真度的声音输出。因此，高端耳机在向耳机传输音频数据与输出对应声音之间可能具有较长延迟(与在低端耳机的情况下发生的延迟相比)。作为另一示例，一些音频输出设备具有不同的操作模式，这些操作模式可能引入音频输出延迟的差异。举例说明，与当关闭噪声消除模式时相比，当打开噪声消除模式时，一组耳机可能具有较长的音频输出延迟。
在本文公开的一个特定方面中，通过将音频输出延迟数据从音频输出设备传送到主机设备来促进多媒体回放的同步。主机设备使用音频输出延迟数据来确定同步延迟，以协调由音频输出设备输出的音频和在耦合到主机设备或集成在主机设备内的显示器处输出的视频。例如，主机设备可以延迟特定视频帧(或视频帧集合)的回放，以考虑主机延迟(例如，在向音频输出设备传输音频分组与播放和与音频分组的声音相关联的视频之间的时间)和音频回放延迟。
在特定方面中，偶尔更新音频输出延迟数据。例如，当发起新的媒体回放会话时，或者当检测到触发事件时，音频输出设备可以基于调度来自动地(例如，在没有提示或输入的情况下独自地)向主机设备发送经更新的音频输出延迟数据。在该示例中，触发事件可以是将导致音频输出延迟的变化的条件的任何变化。举例说明，触发事件可以包括音频输出设备的操作模式的变化(例如，打开或关闭立体声输出或噪声消除)或主机设备与音频输出设备之间的信令特性的变化(例如，被丢弃的分组的数量的增加)。
在另一示例中，音频输出设备可以响应于来自主机设备的查询来向主机设备发送经更新的音频输出延迟数据。在该示例中，主机设备可以基于调度，当发起新的媒体回放会话时，或者当检测到触发事件时，查询音频输出设备(例如，以确认音频输出延迟数据尚未变化)。在该示例中，触发事件可以是主机设备处的可能影响多媒体同步的条件的任何变化。举例说明，触发事件可以包括主机设备与音频输出设备之间的信令特性的变化(例如，来自音频回放设备的分组重传请求的增加)、在主机设备处的指示多媒体同步的输入(例如，指示音频和视频不同步的用户输入)、主机设备的操作模式的变化(例如，从视频流模式到游戏模式的改变)、或者用于向音频输出设备发送音频数据的编码方案的变化。
在特定方面中，主机设备可以存储用于多个音频输出设备的音频输出延迟数据。例如，当在主机设备与新音频输出设备之间建立连接时，主机设备可以存储用于新音频输出设备的音频输出延迟数据，以供在将来多媒体回放会话中使用。
因此，本文公开的各方面通过使得主机设备能够确定何时回放与由单独的音频输出设备回放的音频相对应的视频，从而实现多媒体回放的改进的同步。同步改进可以扩展到各种情况(诸如不同的音频输出设备和不同的操作条件)，从而导致在多媒体回放期间的改善的用户体验。
下文参考附图描述了本公开内容的特定方面。在说明书中，共同特征是由共同附图标记来指定的。在一些附图中，使用了特定类型的特征的多个实例。尽管这些特征在物理上和/或在逻辑上是不同的，但是针对每个特征使用了相同的附图标记，并且通过将字母添加到附图标记来区分不同的实例。当在本文中提及作为一组或一种类型的特征时(例如，当没有引用这些特征中的特定特征时)，使用了附图标记，而不使用区分字母。然而，当在本文中提及相同类型的多个特征中的一个特定特征时，将附图标记与区分字母一起使用。例如，参考图1，示出了音频输出设备的多个示例，并且其与附图标记104A和104B相关联。当提及这些音频输出设备中的特定音频输出设备(诸如第一音频输出设备104A)时，使用了区分字母“A”。然而，当提及这些音频输出设备中的任意一者或作为一组的这些音频输出设备时，使用附图标记104，而不使用区分字母。
如本文所使用的，各种术语仅用于描述特定实现的目的，而不旨在限制实现。例如，单数形式的“一(a)”、“一(an)”和“所述(the)”旨在还包括复数形式，除非上下文另外明确地指出。此外，本文描述的一些特征在一些实现中是单数，以及在其它实现中是复数。举例说明，图1描绘了包括一个或多个处理器(图1的“处理器”112)的主机设备102，这指示在一些实现中，主机设备102包括单个处理器112，以及在其它实现中，主机设备102包括多个处理器112。为了便于引用，这样的特征通常作为“一个或多个”特征来介绍，并且后续可以以单数形式或以使用“(多个)”的可选单数形式来提及，除非描述了与多个特征相关的方面。
如本文所使用的，术语“包括(comprise)”、“包括(comprises)”和“包括(comprising)”可以与“包含(include)”、“包含(includes)”或“包含(including)”互换地使用。另外，术语“其中(wherein)”可以与“其中(where)”互换地使用。如本文所使用的，“示例性的”指示示例、实现和/或方面，而不应当被解释为限制或指示优选项或优选实现。如本文所使用的，用于修饰诸如结构、组件、操作等的元素的序数词(例如，“第一”、“第二”、“第三”等)本身不指示该元素相对于另一元素的任何优先级或次序，而仅是将该元素与具有相同名称(但是没有使用序数词)的另一元素区分开。如本文所使用的，术语“集合”指代特定元素的一者或多者，以及术语“多个”指代特定元素的多者(例如，两个或更多个)。
如本文所使用的，“耦合”可以包括“通信地耦合”、“电耦合”或“物理地耦合”，以及还可以(或替代地)包括其任何组合。两个设备(或组件)可以经由一个或多个其它设备、组件、线、总线、网络(例如，有线网络、无线网络或其组合)等直接或间接地耦合(例如，通信地耦合、电耦合或物理地耦合)。作为说明性的非限制性示例，被电耦合的两个设备(或组件)可以被包括在相同设备或不同设备中，以及可以经由电子器件、一个或多个连接器或感应耦合进行连接。在一些实现中，被通信地耦合(诸如进行电通信)的两个设备(或组件)可以直接或间接地(经由一个或多个线、总线、网络等)发送和接收信号(例如，数字信号或模拟信号)。如本文所使用的，“直接地耦合”可以包括在没有中间组件的情况下耦合(例如，通信地耦合、电耦合或物理地耦合)的两个设备。
在本公开内容中，诸如“确定”、“计算”、“估计”、“移位”、“调整”等的术语可以用于描述如何执行一个或多个操作。应当注意的是，这样的术语不应被解释为限制性的，以及可以利用其它技术来执行类似的操作。另外，如本文所引用的，“生成”、“计算”、“估计”、“使用”、“选择”、“访问”和“确定”可以互换地使用。例如，“生成”、“计算”、“估计”或“确定”参数(或信号)可以指代主动地生成、估计、计算或确定参数(或信号)，或者可以指代使用、选择或访问已经例如由另一组件或设备生成的参数(或信号)。
参考图1，公开了被配置为在多媒体回放期间对音频和视频进行同步的系统的特定说明性方面，并且将其总体上指定为100。系统100包括主机设备102以及一个或多个音频输出设备104(包括第一音频输出设备104A和第二音频输出设备104B)。主机设备102和音频输出设备104被配置为进行协作以在多媒体回放期间对音频和视频进行同步，如下文进一步描述的。
主机设备102包括一个或多个处理器112、存储器114和无线通信协议栈142。存储器114存储可由处理器112执行的指令116。此外，存储器114存储输出延迟数据122和主机延迟数据128。输出延迟数据122包括指示与音频输出设备104中的一者或多者相关联的音频输出延迟的信息，并且主机延迟数据128包括关于主机设备102处的媒体回放延迟的信息。在特定示例中，用于特定音频输出设备104(例如，第一音频输出设备104A)的输出延迟数据指示在向特定音频输出设备104传输音频分组与由特定音频输出设备104播放与音频分组相对应的声音之间的输出设备总延迟时间。作为一个示例，输出延迟数据122可以是基于(例如，由制造商、认证实验室、卖方或用户)对音频输出设备104的测试的。在特定示例中，主机延迟数据128指示在向音频输出设备104中的一者传输音频分组与播放与音频分组的声音相关联的视频之间的主机设备总延迟时间。作为一个示例，主机延迟数据128是基于(例如，由制造商、认证实验室、卖方或用户)对主机设备102的测试的。
无线通信协议栈142包括由主机设备102用于与音频输出设备104建立无线通信链路106并且经由通信链路106传输数据的硬件和软件。例如，在图1中，无线通信协议栈142包括收发机148，收发机148包括发射机150和接收机152。此外，无线通信协议栈142包括调制解调器146以及一个或多个编解码器144。
音频输出设备104中的每一者包括无线通信协议栈，其被配置为与主机设备102的无线通信协议栈142进行通信。例如，在图1中，第一音频输出设备104A包括无线通信协议栈156。无线通信协议栈156包括收发机158，收发机158包括发射机160和接收机162。此外，无线通信协议栈156包括调制解调器164以及一个或多个编解码器166。
在特定方面中，无线通信协议栈142和无线通信协议栈156进行协作以建立通信链路106。在特定示例中，通信链路106对应于无线对等自组织连接或者经由其来进行，诸如符合协议规范的连接(BLUETOOTH是美国华盛顿州柯克兰市的BLUETOOTH SIG公司的注册商标)、符合/>协议规范的连接(IEEE是美国新泽西州皮斯卡塔韦的电气与电子工程师协会公司的注册商标)、符合专有协议的连接、或另一种无线对等自组织连接。
在图1中，第一音频输出设备104A包括耦合到无线通信协议栈156的音频驱动器168以及耦合到音频驱动器168的声音换能器172。在该配置中，第一音频输出设备104A被配置为在无线通信协议栈156处经由通信链路106A从主机设备102接收音频数据154。无线通信协议栈156处理音频数据154(例如，使用调制解调器164以及一个或多个编解码器166)以生成音频信号170，音频驱动器168使用音频信号170来致动声音换能器172以生成声音(例如，对应于音频数据154的音频输出)。尽管在图1中未示出第二音频输出设备104B的细节，但是第二音频输出设备104B可以包括与第一音频输出设备104A的组件相同或类似的组件。
在图1中所示的示例中，第一音频输出设备104A包括存储器174，其存储与第一音频输出设备104A相关联的输出延迟数据176。在一些示例中，输出延迟数据176包括表示与第一音频输出设备104A相关联的音频输出延迟的单个延迟值。在其它示例中，输出延迟数据176包括多个延迟值，这些延迟值表示针对不同情况(诸如不同操作模式)的与第一音频输出设备104A相关联的音频输出延迟。在图1中所示的示例中，输出延迟数据176包括表178(或另一数据结构)，表178包括多个不同的输出延迟值。在该示例中，输出延迟值表示在不同情形下的第一音频输出设备104A的音频输出延迟。举例说明，表178可以包括与使用编解码器166中的第一编解码器来解码音频数据154相关联的第一回放延迟值以及与使用编解码器166中的第二编解码器相关联的第二回放延迟值。作为另一说明，表178可以包括与音频输出设备104的不同操作条件相对应的多个回放延迟值，其中，不同的操作条件包括例如处理的音频通道的数量(例如，单声道输出模式、立体声输出模式或各种环绕声输出模式)、是否执行额外的音频处理(例如，噪声消除或均衡)等。当表178包括用于不同操作条件的回放延迟值时，表178还可以包括识别不同操作条件以促进选择用于特定操作条件的适当回放延迟值的数据。
在图1中所示的示例中，第一音频输出设备104A包括一个或多个模式开关182。模式开关182中的每个模式开关是指示第一音频输出设备104A的操作模式的物理开关、电子开关或软件开关(例如，可设置标志或比特)。在该示例中，第一音频输出设备104A的控制器180被配置为基于如由模式开关182指示的第一音频输出设备104A的操作模式来从输出延迟数据176中选择特定输出延迟值。在该示例中，控制器180被配置为使得所选择的输出延迟值作为第一输出延迟数据184A经由第一通信链路106A被发送给主机设备102。举例说明，根据和与第一音频输出设备104A的通信链路106A相关联的无线通信协议栈142、156的一个或多个栈层，经由无线消息传送来发送输出延迟数据184A。
在其它示例中，控制器180基于不同于由模式开关182指示的操作模式或除此之外的因素来选择作为第一输出延迟数据184A发送的特定输出延迟值。举例说明，无线通信协议栈156可以包括用于确定与第一通信链路106A相关联的信令特性(诸如信噪比、分组丢失率、数据速率、信号强度等)的硬件。在该示例中，无线通信协议栈156可以向控制器180提供描述信令特性的信息，并且控制器180可以基于信令特性来选择作为第一输出延迟数据184A发送的特定输出延迟值。
在一些示例中，第一音频输出设备104A被配置为将所有输出延迟数据176作为第一输出延迟数据184A发送给主机设备102，以使得主机设备102能够从输出延迟数据176中选择特定输出延迟值。例如，第一音频输出设备104A可以在设置第一通信链路106A期间向主机设备102发送输出延迟数据176(例如，作为建立第一通信链路106A的握手数据交换的一部分)。作为另一示例，第一音频输出设备104A可以响应于来自主机设备102的查询或者在媒体回放会话的开始处(例如，在主机设备102发送媒体流的前几个音频数据分组之后或者当主机设备102指示媒体回放会话即将开始时)向主机设备102发送输出延迟数据176。
在操作期间，主机设备102获得多媒体内容。例如，存储器114可以存储一个或多个游戏文件118，一个或多个游戏文件118可由处理器112执行以生成视频信息136和音频信息134。作为另一示例，存储器114可以存储多媒体文件120和/或主机设备102可以获得作为多媒体流110的多媒体内容或者从远程媒体源108下载多媒体内容。指令116可以包括媒体播放器130，媒体播放器130可由处理器112执行以基于多媒体内容来生成视频信息136和音频信息134。
在图1的示例中，媒体播放器130包括回放同步器132。回放同步器132被配置为确定同步延迟以协调由音频输出设备104的音频输出和在耦合到主机设备102或集成在主机设备102内的显示器140处的视频输出。回放同步器132基于从音频输出设备104接收的输出延迟数据122并且基于主机延迟数据128来确定同步延迟。例如，同步延迟对应于由输出延迟数据122指示的与特定音频输出设备104相关联的输出延迟值与由主机延迟数据128指示的主机延迟值之和。
在一些情况下，存储器114中的输出延迟数据122包括表124中或另一数据结构中的多个输出延迟值。举例说明，输出延迟数据122可以包括用于不同音频输出设备104的不同输出延迟值、供在不同情形下使用的用于一个音频输出设备的不同输出延迟值、或者两者。在这样的情况下，回放同步器132从输出延迟数据122中选择要使用的特定输出延迟值。
在一些情况下，音频输出设备104可能未在回放同步器132开始确定同步延迟之前向主机设备102提供输出延迟数据184。在这样的情况下，回放同步器132可以使用输出延迟数据122的默认值126来确定同步延迟。如果音频输出设备104后续向主机设备102提供输出延迟数据184(例如，响应于来自主机设备102的查询或者出于某种其它原因)，则使用由音频输出设备104提供的输出延迟数据184来更新在存储器114中存储的输出延迟数据122，并且回放同步器132基于经更新的输出延迟数据122来更新同步延迟。
在特定方面中，回放同步器132使用同步延迟来促进音频输出设备104处的音频回放和显示器140处的视频回放的同步。例如，回放同步器132通过向无线通信协议栈142提供音频信息134来发起向音频输出设备104发送音频数据154。此外，回放同步器132向显示器发送视频信息136；然而，视频信息136基于同步延迟而被延迟。在图1中所示的示例中，回放同步器132配置延迟缓冲器138(例如，通过设置延迟缓冲器138的深度)，使得每个视频帧的回放被延迟(相对于对应音频帧的发送)达由同步延迟所指示的量。
因此，在显示器140处对每个视频帧的播放是与在音频输出设备104处对与视频帧相对应的音频的播放同步的或几乎同步的。此外，即使对于不同的操作条件或不同的音频输出设备104，也可以实现这样的同步。
作为一个示例，主机设备102可以接收来自第一音频输出设备104A的第一输出延迟数据184A和来自第二音频输出设备104的第二输出延迟数据184B。在该示例中，主机设备102将第一输出延迟数据184A和第二输出延迟数据184B作为输出延迟数据122中的值存储在存储器114中(例如，在表124中或在另一数据结构中)。在该示例中，在多媒体回放期间，主机设备102向显示器140发送视频，并且向第一音频输出设备104A或者第二音频输出设备104B发送音频数据154。回放同步器132基于音频数据154被发送给音频输出设备104中的哪一者，来从输出延迟数据122中选择特定输出延迟值。例如，如果音频数据154被发送给第一音频输出设备104A，则回放同步器132选择与第一音频输出设备104A相关联的输出延迟值，而如果音频数据154被发送给第二音频输出设备104B，则回放同步器132选择与第二音频输出设备104B相关联的输出延迟值。特定输出延迟值也可以是基于其它因素的，诸如主机设备102或音频输出设备104的操作模式。音频数据154被发送给的特定音频输出设备104可以是基于主机设备102的设置、基于当发起回放时音频输出设备104中的哪一者具有与主机设备102的活动通信链路106、或者基于其它因素来确定的。
在特定方面中，来自单个音频输出设备104的输出延迟数据184可以包括一个以上的输出延迟值，主机设备102将其作为输出延迟数据122中的值存储在存储器114中(例如，在表124中或在另一数据结构中)。举例说明，输出延迟数据122可以包括用于第一音频输出设备104A的两个或更多个不同的输出延迟值、用于第二音频输出设备104B的两个或更多个不同的输出延迟值、或者这两者。不同的输出延迟值可以与不同的条件相关联。
作为一个示例，第一输出延迟值可以与使用第一编解码器(例如，编解码器144中的一者)向音频输出设备104发送音频数据154相关联，并且第二输出延迟值可以与使用第二编解码器(例如，编解码器144中的另一者)向音频输出设备104发送音频数据154相关联。在该示例中，编解码器144可以包括一组音频编解码器，诸如编解码器、高级音频译码(AAC)编解码器、SBC编解码器、/>编解码器、APTX-HD编解码器等(LDAC是日本东京索尼公司的注册商标，并且APTX是英国剑桥的高通科技国际有限公司的注册商标)，并且回放同步器132可以选择与要用于发送音频数据154的特定音频编解码器相关联的输出延迟值。用于发送音频数据154的特定音频编解码器可以是基于主机设备102的设置、基于接收方音频输出设备104的能力或者基于其它因素来确定的。
作为另一示例，当主机设备102处于第一操作模式时，可以使用第一输出延迟值，而当主机设备102处于第二操作模式时，可以使用第二输出延迟值。举例说明，与在玩视频游戏时声音输出的去同步相比，在视频呼叫期间，面部和嘴巴移动的去同步对于用户来说可能更明显；因此，与用于游戏模式的输出延迟值相比，可以针对视频呼叫模式使用不同的输出延迟值。作为另一说明性示例，与游戏模式、视频呼叫模式或两者相比，主机设备102的视频流模式可以与不同的输出延迟值相关联。主机设备102的操作模式可以是基于主机设备102的设置、正被回放的媒体的类型或者基于其它因素来确定的。
作为另一示例，当音频输出设备104处于第一操作模式时，可以使用第一输出延迟值，而当音频输出设备104处于第二操作模式时，可以使用第二输出延迟值。音频输出设备104可以被配置为在各种模式下操作，诸如具有或不具有噪声消除、或者具有或不具有音频均衡。音频输出设备104的不同操作模式的其它示例包括立体声模式、单声道模式和环绕声模式。音频输出设备104的操作模式可以是由主机设备102指定的，可以是基于模式开关182的，或者可以是基于其它因素的。
作为另一示例，当主机设备102与音频输出设备104之间的通信链路106具有第一信令特性时，可以使用第一输出延迟值，以及当通信链路106具有第二信令特性时，可以使用第二输出延迟值。信令特性可以包括信噪比、信号强度、分组丢失率、数据速率或者主机设备102与音频输出设备104之间的通信的质量和/或速率的另一特性。信令特性可以是由无线通信协议栈142的组件、由无线通信协议栈156的组件或两者来确定的。
在一些实现中，可以使用以上示例的组合。例如，输出延迟数据122可以包括用于确定输出延迟值的多个延迟参数。举例说明，延迟参数可以包括以下各项中的两项或更多项：对应于用于对音频数据154进行编码的特定编解码器的第一值；对应于与音频数据154相关联的采样率的第二值；对应于与音频数据154的传输相关联的比特率的第三值；或者对应于延迟模式(例如，主机设备102或音频输出设备104的操作模式)的第四值。在该示例中，用于确定同步延迟的输出延迟值是基于延迟参数中的两个或更多个延迟参数的。
在一些实现中，主机设备102对应于、包括一种或多种类型的设备或者被包括在一种或多种类型的设备中。例如，作为说明性的非限制性示例，处理器112被集成在便携式计算设备、游戏系统、移动通信设备、平板计算设备、智能显示器或其组合中。在一些实现中，音频输出设备104对应于、包括一种或多种类型的设备或者被包括在一种或多种类型的设备中。例如，作为说明性的非限制性的示例，声音换能器172被集成在耳机、一个或多个耳塞或者一个或多个扬声器中。
图2是根据本公开内容的一些示例的图1的系统100的组件的操作的说明性方面的示意图。在图2中，音频输出设备104包括或对应于耳机，并且主机设备102包括或对应于移动设备(诸如智能电话、便携式媒体播放器或游戏控制台)。输出延迟数据122、回放同步器132、无线通信协议栈142和显示器140被集成到主机设备102中，其中，虚线用于指示可能在正常操作期间通常不可见的内部组件(例如，在主机设备102内部并且位于显示器140之后)。此外，无线通信协议栈156、输出延迟数据176、控制器180、模式开关182和声音换能器172被集成在音频输出设备104内。
在图2中所示的特定示例中，音频输出设备104向音频输出设备104提供输出延迟数据176。主机设备102使用输出延迟数据176来同步媒体到显示器140和声音换能器172的输出。在一些实现中，经由输出延迟数据176提供的特定输出延迟值可以取决于模式开关182的位置。例如，在第一位置上，模式开关182激活噪声消除模式，这对应于输出延迟数据176的第一值，而在第二位置上，模式开关182去激活噪声消除模式，这对应于输出延迟数据176的第二值。作为另一示例，在第一位置上，模式开关182激活单声道输出模式，这对应于输出延迟数据176的第一值；在第二位置上，模式开关182激活立体声输出模式，这对应于输出延迟数据176的第二值；并且在第三位置上，模式开关182激活环绕输出模式，这对应于输出延迟数据176的第三值。在其它示例中，模式开关182激活或去激活均衡器或另一音频处理功能。因此，可以基于模式开关182来选择输出延迟数据176的一个或多个特定值。
图3是根据本公开内容的一些示例的图1的系统100的组件的操作的说明性方面的示意图。在图3中，主机设备102包括或对应于移动设备，诸如智能电话、便携式媒体播放器或游戏控制台。主机设备102被配置为与多个不同的音频输出设备(包括耳机302、耳塞306和扬声器308)进行通信。音频输出设备中的每一者被配置为向主机设备102提供输出延迟数据。举例说明，耳机302提供输出延迟数据304A，耳塞306提供输出延迟数据304B，并且扬声器308提供输出延迟数据304C。主机设备102使用不同的输出延迟数据122，这取决于主机设备102正在向音频输出设备中的哪一者发送音频数据。例如，当同步视频到显示器140的输出和音频到耳机302的输出时，回放同步器132使用来自输出延迟数据304A的一个或多个值。此外，当同步视频到显示器140的输出和音频到耳塞304的输出时，回放同步器132使用来自输出延迟数据304B的一个或多个值。
参考图4，包括主机设备102的特定说明性实现的系统400的框图。在各种实现中，主机设备102可以具有比在图4中所示的更多或更少的组件。在说明性实现中，主机设备102可以执行参考图1-3或图5-15描述的一个或多个操作。
在特定实现中，主机设备102包括处理器404(例如，中央处理单元(CPU))。设备102可以包括一个或多个额外处理器406(例如，一个或多个DSP)。在特定方面中，图1的处理器112对应于处理器404、处理器406或其组合。处理器406可以包括回放同步器132。
主机设备102可以包括存储器114和编解码器408。存储器114可以包括指令116，指令116可由一个或多个额外处理器406(或处理器404)执行以实现参考图1-3或图5-15描述的功能。主机设备102可以包括无线通信协议栈142。无线通信协议栈142包括经由收发机148耦合到天线422的调制解调器146。
主机设备102可以包括耦合到显示控制器418的显示器140。一个或多个扬声器416以及一个或多个麦克风414可以耦合到编解码器408。编解码器408可以包括数模转换器(DAC)410、模数转换器(ADC)412或两者。在特定实现中，编解码器408可以从麦克风414接收模拟信号，使用模数转换器412将模拟信号转换为数字信号，并且将数字信号提供给处理器406。在特定实现中，处理器406可以将数字信号提供给编解码器408。编解码器408可以使用数模转换器410将数字信号转换为模拟信号，并且可以将模拟信号提供给扬声器416。
在特定实现中，主机设备102可以被包括在系统级封装中或片上系统设备402(例如，一个或多个集成电路)中。在特定实现中，存储器114、处理器404、处理器406、显示控制器418、编解码器408和调制解调器146被包括在系统级封装中或片上系统设备402中。在特定实现中，输入设备424和电源420耦合到片上系统设备402。此外，在特定实现中，如图4所示，显示器140、输入设备424、扬声器416、麦克风414、天线422和电源420在片上系统设备402的外部。在特定实现中，显示器140、输入设备424、扬声器416、麦克风414、天线422和电源420中的每一者可以耦合到片上系统设备402的组件，诸如接口或控制器。
主机设备102可以包括、对应于以下各者或被集成在以下各者中：移动通信设备、智能电话、蜂窝电话、膝上型计算机、计算机、平板设备、个人数字助理、显示设备、电视机、游戏控制台、音乐播放器、无线电单元、数字视频播放器、数字视频光盘(DVD)播放器、调谐器、相机、导航设备、头戴式耳机、增强现实头戴式耳机、虚拟现实头戴式耳机、便携式电子设备、汽车、车辆、计算设备、物联网(IoT)设备、虚拟现实(VR)设备、移动设备或其任何组合。主机设备102可以诸如经由无线对等自组织连接与音频输出设备104进行通信。例如，音频输出设备104可以经由无线对等自组织连接来向主机设备102发送输出延迟数据，并且主机设备102可以经由无线对等自组织连接来向音频输出设备104发送音频数据。音频输出设备104可以包括、对应于以下各者或被集成在以下各者中：智能扬声器、条形扬声器、无线扬声器、耳机、耳塞或另一音频输出设备。
图5描绘了另一实现500，其中主机设备102对应于车辆500(被示为汽车)或者集成在车辆500内，并且音频输出设备104包括或耦合到车辆500的一个或多个扬声器。在图5中，主机设备102包括输出延迟数据122、回放同步器132、无线通信协议栈142和显示器140。在特定示例中，音频输出设备104经由无线对等通信链路来向主机设备102提供输出延迟数据，以促进在显示器140处输出的视频和由音频输出设备104输出的音频的同步。
图6描绘了实现600，其中主机设备102包括对应于虚拟现实、增强现实或混合现实头戴式耳机602的便携式电子设备，并且音频输出设备104包括无线耳塞604。在图6中，输出延迟数据122、回放同步器132、无线通信协议栈142和显示器140被集成到头戴式耳机602中。在特定示例中，无线耳塞604经由无线对等通信链路来向头戴式耳机提供输出延迟数据，以促进在显示器140处输出的视频和由无线耳塞604输出的音频的同步。
图7描绘了实现700，其中主机设备102包括可佩戴电子设备702(被示为“智能手表”)，并且音频输出设备104包括耳机704。在图7中，输出延迟数据122、回放同步器132、无线通信协议栈142和显示器140被集成在可佩戴电子设备702中。在特定示例中，耳机704经由无线对等通信链路来向可佩戴电子设备702提供输出延迟数据，以促进在显示器140处输出的视频和由耳机704输出的音频的同步。
图8是根据本公开内容的一些示例的可以由图1的主机设备102执行的在多媒体回放期间对音频和视频进行同步的方法800的特定实现的示意图。图8的方法800可以由现场可编程门阵列(FPGA)器件、专用集成电路(ASIC)、诸如中央处理单元(CPU)之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图8的方法800可以由执行指令116的处理器112来执行。
在框802处，方法800包括：在主机设备处从音频输出设备获得输出延迟数据，输出延迟数据指示与由音频输出设备输出的音频相关联的回放延迟。例如，图1的主机设备102从第一音频输出设备104A接收第一输出延迟数据184A。第一输出延迟数据184A指示与第一音频输出设备104A相关联的一个或多个输出延迟值。
在框804处，方法800还包括：在主机设备处基于输出延迟数据和主机延迟数据来确定同步延迟，以协调由音频输出设备输出的音频和由主机设备的显示器输出的视频。例如，主机设备102的回放同步器132基于主机延迟数据128和输出延迟数据122来确定同步延迟。在该示例中，输出延迟数据122包括或对应于来自第一音频输出设备104A的第一输出延迟数据184A。
在框806处，方法800还包括：在由主机设备进行的多媒体回放期间，从主机设备向音频输出设备发送音频数据，并且向显示器发送视频数据，其中，视频数据是基于同步延迟而相对于对音频数据的发送被延迟的。例如，主机设备102的媒体播放器130向无线通信协议栈142发送音频信息134，并且无线通信协议栈142经由第一通信链路106A来向第一音频输出设备104A发送音频数据154(基于音频信息134)。回放同步器132使得媒体播放器130将向显示器发送与音频信息134相对应的视频信息136延迟达基于同步延迟的量。
图9是根据本公开内容的一些示例的可以由图1的主机设备102执行的在多媒体回放期间对音频和视频进行同步的方法900的特定实现的示意图。图9的方法900可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图9的方法900可以由执行指令116的处理器112来执行。
在框902处，方法900包括：在配置主机设备与音频输出设备之间的无线通信连接期间，从音频输出设备获得输出延迟数据。例如，图1的主机设备102在第一通信链路106A的配置期间(诸如在建立第一通信链路106的握手数据交换期间)，从第一音频输出设备104A接收第一输出延迟数据184A。第一输出延迟数据184A指示与第一音频输出设备104A相关联的一个或多个输出延迟值。
在框904处，方法900还包括：将输出延迟数据存储在主机设备的存储器处，以供在与多媒体回放相关联的后续通信会话期间使用。例如，图1的主机设备102将来自第一输出延迟数据184A的值存储在存储器114处，诸如存储在输出延迟数据122的表124或其它数据结构中。
在框906处，方法900还包括：在主机设备处基于输出延迟数据和主机延迟数据来确定同步延迟，以协调由音频输出设备输出的音频和由主机设备的显示器输出的视频。例如，主机设备102的回放同步器132基于主机延迟数据128和存储在存储器114中的输出延迟数据122来确定同步延迟。
在框908处，方法900还包括：在由主机设备进行的多媒体回放期间，从主机设备向音频输出设备发送音频数据，并且向显示器发送视频数据，其中，视频数据是基于同步延迟而相对于对音频数据的发送被延迟的。例如，主机设备102的媒体播放器130向无线通信协议栈142发送音频信息134，并且无线通信协议栈142经由第一通信链路106A来向第一音频输出设备104A发送音频数据154(基于音频信息134)。回放同步器132使得媒体播放器130将向显示器140发送与音频信息134相对应的视频信息136延迟达基于同步延迟的量。
图10是根据本公开内容的一些示例的可以由图1的主机设备102执行的在多媒体回放期间对音频和视频进行同步的方法1000的特定实现的示意图。图10的方法1000可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图10的方法1000可以由执行指令116的处理器112来执行。
在框1002处，方法1000包括：将用于第一音频输出设备的第一输出延迟数据和用于第二音频输出设备的第二输出延迟数据存储在主机设备的存储器处，其中，第一输出延迟数据不同于第二输出延迟数据。例如，图1的主机设备102将来自第一输出延迟数据184A的值和来自第二输出延迟数据184B的值存储在存储器114处，诸如存储在输出延迟数据122的表124或其它数据结构中。由于第一音频输出设备104A和第二音频输出设备104B之间的不同配置、能力或其它差异，被发送给第一音频输出设备104A的音频数据154可能经历与被发送给第二音频输出设备104B的音频数据154不同的输出延迟。因此，第一输出延迟数据184A可以不同于第二输出延迟数据184B。在特定方面中，来自第一输出延迟数据184A的值以及来自第二输出延迟数据184B的值可以与指示每个值与哪个音频输出设备104相关联的信息相关联地存储。举例说明，这些值中的每个值可以连同该值所关联的音频输出设备104的标识符一起存储在表124中。
在框1004处，方法1000包括：在用于主机设备与音频输出设备之间建立通信会话的操作期间，在主机设备处接收音频输出设备的标识符。例如，在建立第一通信链路106A时，或者在建立第一通信链路106A之后以及在设置特定多媒体回放会话期间，主机设备102可以接收指定音频数据154要被发送给音频输出设备104中的哪一者的信息。指定音频数据154要被发送给音频输出设备104中的哪一者的信息可以包括音频输出设备104的标识符。
在框1006处，方法1000包括：获得指示与由音频输出设备输出的音频相关联的回放延迟的输出延迟数据。输出延迟数据是基于音频输出设备的标识符来从存储器获得的。例如，图1的主机设备102可以基于音频数据154要被发送给的音频输出设备104的标识符，来在存储器114中查找输出延迟数据122的一个或多个值。
在框1008处，方法1000还包括：在主机设备处基于输出延迟数据和主机延迟数据来确定同步延迟，以协调由音频输出设备输出的音频和由主机设备的显示器输出的视频。例如，主机设备102的回放同步器132基于主机延迟数据128和输出延迟数据122来确定同步延迟。在该示例中，输出延迟数据122包括或对应于来自第一音频输出设备104A的第一输出延迟数据184A。
在框1010处，方法1000还包括：在由主机设备进行的多媒体回放期间，从主机设备向音频输出设备发送音频数据，并且向显示器发送视频数据，其中，视频数据是基于同步延迟而相对于对音频数据的发送被延迟的。例如，主机设备102的媒体播放器130向无线通信协议栈142发送音频信息134，并且无线通信协议栈142经由第一通信链路106A来向第一音频输出设备104A发送音频数据154(基于音频信息134)。回放同步器132使得媒体播放器130将向显示器发送与音频信息134相对应的视频信息136延迟达基于同步延迟的量。
图11是根据本公开内容的一些示例的可以由图1的主机设备102执行的在多媒体回放期间对音频和视频进行同步的方法1100的特定实现的示意图。图11的方法1100可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图11的方法1100可以由执行指令116的处理器112来执行。
在框1102处，方法1100包括：在主机设备处从音频输出设备获得指示与由音频输出设备输出的音频相关联的回放延迟的输出延迟数据，其中，输出延迟数据包括与不同操作条件相对应的多个回放延迟值。例如，图1的主机设备102从第一音频输出设备104A接收第一输出延迟数据184A。在该示例中，第一输出延迟数据184A可以包括对应于与第一音频输出设备104A相关联的不同操作条件的多个回放延迟值。举例说明，第一输出延迟数据184A可以包括与使用第一编解码器相关联的第一回放延迟值以及与使用第二编解码器相关联的第二回放延迟值。作为另一说明性示例，第一输出延迟数据184A可以包括与单声道声音输出模式相关联的第一回放延迟值、与使用立体声输出模式相关联的第二回放延迟值以及与使用环绕声输出模式相关联的第三回放延迟值。作为另一说明性示例，第一输出延迟数据184A可以包括与使用噪声消除相关联的第一回放延迟值以及与不使用噪声消除相关联的第二回放延迟值。作为另一说明性示例，第一输出延迟数据184A可以包括与使用功率节省模式相关联的第一回放延迟值以及与不使用功率节省模式相关联的第二回放延迟值。作为又一说明性示例，第一输出延迟数据184A可以包括与使用均衡函数相关联的第一回放延迟值以及与不使用均衡函数相关联的第二回放延迟值。作为又一说明性示例，第一输出延迟数据184A可以包括与第一通信链路106A的第一信令特性相关联的第一回放延迟值以及与第一通信链路106A的第二信令特性相关联的第二回放延迟值。作为另一说明性示例，第一输出延迟数据184A可以包括与视频呼叫模式中的媒体输出相关联的第一回放延迟值、与媒体流模式中的媒体输出相关联的第二回放延迟值以及与游戏模式中的媒体输出相关联的第三回放延迟值。
在框1104处，方法1100包括：基于与多媒体回放相关联的操作条件来选择多个回放延迟值中的特定值，以确定同步延迟。例如，回放同步器132可以基于与主机设备102相关联的设置、基于与音频输出设备104相关联的设定、基于检测到操作条件或者基于其它因素来确定操作条件集合。在该示例中，回放同步器132可以基于操作条件集合来从输出延迟数据122中选择特定输出延迟值。
在框1106处，方法1100还包括：在主机设备处基于输出延迟数据和主机延迟数据来确定同步延迟，以协调由音频输出设备输出的音频和由主机设备的显示器输出的视频。例如，主机设备102的回放同步器132基于主机延迟数据128和输出延迟数据122中的所选择的输出延迟值来确定同步延迟。
在框1108处，方法1100还包括：在由主机设备进行的多媒体回放期间，从主机设备向音频输出设备发送音频数据，并且向显示器发送视频数据，其中，视频数据是基于同步延迟而相对于对音频数据的发送被延迟的。例如，主机设备102的媒体播放器130向无线通信协议栈142发送音频信息134，并且无线通信协议栈142经由第一通信链路106A来向第一音频输出设备104A发送音频数据154(基于音频信息134)。回放同步器132使得媒体播放器130将向显示器发送与音频信息134相对应的视频信息136延迟达基于同步延迟的量。
图12是根据本公开内容的一些示例的可以由图1的主机设备102执行的在多媒体回放期间对音频和视频进行同步的方法1200的特定实现的示意图。图12的方法1200可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图12的方法1200可以由执行指令116的处理器112来执行。
在框1202处，方法1200包括：从主机设备向音频输出设备发送查询。例如，主机设备102可以经由第一通信链路106A来向第一音频输出设备104A发送查询。举例说明，主机设备102可以周期性地(例如，根据调度)或偶尔地(例如，响应于检测到触发事件)向音频输出设备104发送查询，以收集或更新输出延迟数据122。
在框1204处，方法1200包括：在主机设备处从音频输出设备获得对查询的响应的输出延迟数据。输出延迟数据指示与由音频输出设备输出的音频相关联的回放延迟。例如，图1的主机设备102可以响应于来自主机设备102的查询来从第一音频输出设备104A接收第一输出延迟数据184A。第一输出延迟数据184A指示与第一音频输出设备104A相关联的一个或多个输出延迟值。
在框1206处，方法1200还包括：在主机设备处基于输出延迟数据和主机延迟数据来确定同步延迟，以协调由音频输出设备输出的音频和由主机设备的显示器输出的视频。例如，主机设备102的回放同步器132基于主机延迟数据128和输出延迟数据122来确定同步延迟。在该示例中，输出延迟数据122包括或对应于来自第一音频输出设备104A的第一输出延迟数据184A。
在框1208处，方法1200还包括：在由主机设备进行的多媒体回放期间，从主机设备向音频输出设备发送音频数据，并且向显示器发送视频数据，其中，视频数据是基于同步延迟而相对于对音频数据的发送被延迟的。例如，主机设备102的媒体播放器130向无线通信协议栈142发送音频信息134，并且无线通信协议栈142经由第一通信链路106A来向第一音频输出设备104A发送音频数据154(基于音频信息134)。回放同步器132使得媒体播放器130将向显示器发送与音频信息134相对应的视频信息136延迟达基于同步延迟的量。
图13是根据本公开内容的一些示例的可以由图1的主机设备102执行的在多媒体回放期间对音频和视频进行同步的方法1300的特定实现的示意图。图13的方法1300可以由FPGA设备、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图13的方法1300可以由执行指令116的处理器112来执行。
在框1302处，方法1300包括：在主机设备处接收指示多媒体回放的去同步的输入。例如，用户可以向图1的主机设备102提供输入，以指示由显示器输出的视频和由第一音频输出设备104A输出的音频不同步。
在框1304处，方法1300包括：在主机设备处，基于指示多媒体回放的去同步的输入来获得指示与由音频输出设备输出的音频相关联的回放延迟的输出延迟数据。例如，主机设备102可以响应于在第一音频输出设备104A正在提供音频输出的多媒体回放会话期间接收到指示多媒体回放的去同步的输入，来向第一音频输出设备104A发送查询。在该示例中，响应于该查询，第一音频输出设备104A可以向主机设备102发送第一输出延迟数据184A的经更新的值。
在框1306处，方法1300还包括：在主机设备处基于输出延迟数据和主机延迟数据来确定同步延迟，以协调由音频输出设备输出的音频和由主机设备的显示器输出的视频。例如，主机设备102的回放同步器132基于主机延迟数据128和输出延迟数据122来确定同步延迟。在该示例中，输出延迟数据122包括或对应于来自第一音频输出设备104A的第一输出延迟数据184A。
在框1308处，方法1300还包括：在由主机设备进行的多媒体回放期间，从主机设备向音频输出设备发送音频数据，并且向显示器发送视频数据，其中，视频数据是基于同步延迟而相对于对音频数据的发送被延迟的。例如，主机设备102的媒体播放器130向无线通信协议栈142发送音频信息134，并且无线通信协议栈142经由第一通信链路106A来向第一音频输出设备104A发送音频数据154(基于音频信息134)。回放同步器132使得媒体播放器130将向显示器发送与音频信息134相对应的视频信息136延迟达基于同步延迟的量。
图14是根据本公开内容的一些示例的可以由图1的主机设备102执行的在多媒体回放期间对音频和视频进行同步的方法1400的特定实现的示意图。图14的方法1400可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图14的方法1400可以由执行指令116的处理器112来执行。
在框1402处，方法1400包括：检测到触发事件。例如，主机设备102可以基于主机设备的操作模式的变化、音频输出设备的操作方式的变化、主机设备102与音频输出设备104之间的信令特性或其它因素来检测到触发事件。
在框1404处，方法1400包括：在主机设备处，响应于检测到触发事件来从音频输出设备获得输出延迟数据。输出延迟数据指示与由音频输出设备输出的音频相关联的回放延迟。例如，图1的主机设备102可以响应于基于检测到触发事件而发送的查询，来从第一音频输出设备104A接收第一输出延迟数据184A。作为另一示例，图1的主机设备102可以响应于检测到触发事件来从输出延迟数据122查找值。
在框1406处，方法1400还包括：在主机设备处基于输出延迟数据和主机延迟数据来确定同步延迟，以协调由音频输出设备输出的音频和由主机设备的显示器输出的视频。例如，主机设备102的回放同步器132基于主机延迟数据128和输出延迟数据122来确定同步延迟。在该示例中，输出延迟数据122包括或对应于来自第一音频输出设备104A的第一输出延迟数据184A。
在框1408处，方法1400还包括：在由主机设备进行的多媒体回放期间，从主机设备向音频输出设备发送音频数据，并且向显示器发送视频数据，其中，视频数据是基于同步延迟而相对于对音频数据的发送被延迟的。例如，主机设备102的媒体播放器130向无线通信协议栈142发送音频信息134，并且无线通信协议栈142经由第一通信链路106A来向第一音频输出设备104A发送音频数据154(基于音频信息134)。回放同步器132使得媒体播放器130将向显示器发送与音频信息134相对应的视频信息136延迟达基于同步延迟的量。
图15是根据本公开内容的一些示例的可以由图1的主机设备102执行的在多媒体回放期间对音频和视频进行同步的方法1500的特定实现的示意图。图15的方法1500可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图15的方法1500可以由执行指令116的处理器112来执行。
在框1502处，方法1500包括：在主机设备处从音频输出设备获得输出延迟数据，输出延迟数据指示与由音频输出设备输出的音频相关联的回放延迟。例如，图1的主机设备102从第一音频输出设备104A接收第一输出延迟数据184A。第一输出延迟数据184A指示与第一音频输出设备104A相关联的一个或多个输出延迟值。
在框1504处，方法1500还包括：从输出延迟数据中获得与以下各项中的至少两项相对应的延迟参数：第一值，其对应于用于对音频数据进行编码的特定编解码器；第二值，其对应于与音频数据相关联的采样率；第三值，其对应于与音频数据的传输相关联的比特率；或者第四值，其对应于延迟模式。在框1506处，方法1500还包括：在主机设备处基于输出延迟数据和主机延迟数据来确定同步延迟，以协调由音频输出设备输出的音频和由主机设备的显示器输出的视频。例如，同步延迟可以是基于第一值、第二值、第三值或第四值中的一项或多项来确定的。
在框1508处，方法1500还包括：在由主机设备进行的多媒体回放期间，从主机设备向音频输出设备发送音频数据，并且向显示器发送视频数据，其中，视频数据是基于同步延迟而相对于对音频数据的发送被延迟的。例如，主机设备102的媒体播放器130向无线通信协议栈142发送音频信息134，并且无线通信协议栈142经由第一通信链路106A来向第一音频输出设备104A发送音频数据154(基于音频信息134)。回放同步器132使得媒体播放器130将向显示器发送与音频信息134相对应的视频信息136延迟达基于同步延迟的量。
图16是根据本公开内容的一些示例的可以由图1的音频输出设备104中的一者执行的在多媒体回放期间对音频和视频进行同步的方法1600的特定实现的示意图。图16的方法1600可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图16的方法1600可以通过控制器180执行被存储在存储器174中的指令来执行。
在框1602处，方法1600包括：将指示与由音频输出设备输出的音频相关联的回放延迟的输出延迟数据存储在音频输出设备的存储器处。例如，图1的第一音频输出设备104A将输出延迟数据176存储在存储器174处。在该示例中，输出延迟数据176指示与第一音频输出设备104A相关联的回放延迟。
在框1604处，方法1600还包括：向主机设备发送输出延迟数据以使得主机设备能够确定同步延迟，以协调由音频输出设备输出的音频和由显示设备输出的视频。例如，图1的第一音频输出设备104A经由第一通信链路106A来向主机设备102发送第一输出延迟数据184A。在该示例中，第一输出延迟数据184A包括输出延迟数据176或其一部分，诸如输出延迟数据176的一个或多个所选择的输出延迟值。
图17是根据本公开内容的一些示例的可以由图1的音频输出设备104中的一者执行的在多媒体回放期间对音频和视频进行同步的方法1700的特定实现的示意图。图17的方法1700可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图17的方法1700可以通过控制器180执行被存储在存储器174中的指令来执行。
在框1702处，方法1700包括：在音频输出设备处建立与主机设备的无线对等自组织连接。例如，第一音频输出设备104A可以执行与主机设备102的数据交换，以建立第一通信链路106A。在该示例中，第一通信链路106A可以对应于无线对等自组织连接，诸如符合协议规范的连接(BLUETOOTH是美国华盛顿州柯克兰市的BLUETOOTH SIG公司的注册商标)、符合/>协议规范的连接(IEEE是美国新泽西州皮斯卡塔韦的电气与电子工程师协会公司的注册商标)、符合专有协议的连接、或另一种无线对等自组织连接。
在框1704处，方法1700还包括：将指示与由音频输出设备输出的音频相关联的回放延迟的输出延迟数据存储在音频输出设备的存储器处。例如，图1的第一音频输出设备104A将输出延迟数据176存储在存储器174处。在该示例中，输出延迟数据176指示与第一音频输出设备104A相关联的回放延迟。
在框1706处，方法1700还包括：经由无线对等自组织连接来向主机设备发送输出延迟数据以使得主机设备能够确定同步延迟，以协调由音频输出设备输出的音频和由显示设备输出的视频。例如，图1的第一音频输出设备104A经由第一通信链路106A来向主机设备102发送第一输出延迟数据184A。在该示例中，第一输出延迟数据184A包括输出延迟数据176或其一部分，诸如输出延迟数据176的一个或多个所选择的输出延迟值。
图18是根据本公开内容的一些示例的可以由图1的音频输出设备104中的一者执行的在多媒体回放期间对音频和视频进行同步的方法1800的特定实现的示意图。图18的方法1800可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图18的方法1800可以通过控制器180执行被存储在存储器174中的指令来执行。
在框1802处，方法1800包括：将指示与由音频输出设备输出的音频相关联的回放延迟的输出延迟数据存储在音频输出设备的存储器处。输出延迟数据包括与不同操作条件相对应的多个回放延迟值。例如，图1的第一音频输出设备104A将输出延迟数据176存储在存储器174处。在该示例中，输出延迟数据176包括与不同操作条件相对应的多个回放延迟值。举例说明，输出延迟数据176可以包括与使用第一编解码器相关联的第一回放延迟值以及与使用第二编解码器相关联的第二回放延迟值。作为另一说明性示例，输出延迟数据176可以包括与使用单声道声音输出模式相关联的第一回放延迟值、与使用立体声输出模式相关联的第二回放延迟值以及与使用环绕声输出模式相联的第三回放延迟值。作为另一说明性示例，输出延迟数据176可以包括与使用噪声消除相关联的第一回放延迟值以及与不使用噪声消除相关联的第二回放延迟值。作为又一说明性示例，输出延迟数据176可以包括与使用均衡函数相关联的第一回放延迟值以及与不使用均衡函数相关联的第二回放延迟值。作为又一说明性示例，输出延迟数据176可以包括与第一通信链路106A的第一信令特性相关联的第一回放延迟值以及与第一通信链路106A的第二信令特性相关联的第二回放延迟值。作为另一说明性示例，输出延迟数据176可以包括与视频呼叫模式中的媒体输出相关联的第一回放延迟值、与媒体流模式中的介质输出相关联的第二回放延迟值以及与游戏模式中的媒体输出相关联的第三回放延迟值。
在框1804处，方法1800还包括：检测到操作条件或操作条件的变化。例如，第一音频输出设备104A可以检测到与第一通信链路106A相关联的信令特性的变化。作为另一示例，第一音频输出设备104A可以基于模式开关182而检测到操作条件的变化。作为又一示例，第一音频输出设备104A可以从主机设备102接收指示主机设备102的操作条件的变化的数据。
在框1806处，方法1800还包括：基于检测到的操作条件或操作条件的变化来选择多个回放延迟值中的特定值。例如，第一音频输出设备104A的控制器180可以从输出延迟数据176中选择特定值。
在框1808处，方法1800还包括：向主机设备发送输出延迟数据的至少特定值以使得主机设备能够确定同步延迟，以协调由音频输出设备输出的音频和由显示设备输出的视频。例如，图1的第一音频输出设备104A经由第一通信链路106A来向主机设备102发送第一输出延迟数据184A。在该示例中，第一输出延迟数据184A包括输出延迟数据176或其一部分，诸如输出延迟数据176的一个或多个所选择的输出延迟值。
图19是根据本公开内容的一些示例的可以由图1的音频输出设备104中的一者执行的在多媒体回放期间对音频和视频进行同步的方法1900的特定实现的示意图。图19的方法1900可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图19的方法1900可以通过控制器180执行被存储在存储器174中的指令来执行。
在框1902处，方法1900包括：将指示与由音频输出设备输出的音频相关联的回放延迟的输出延迟数据存储在音频输出设备的存储器处。例如，图1的第一音频输出设备104A将输出延迟数据176存储在存储器174处。在该示例中，输出延迟数据176指示与第一音频输出设备104A相关联的回放延迟。
在框1904处，方法1900还包括：在音频输出设备处从主机设备接收查询。例如，图1的主机设备102可以经由第一通信链路106A来向第一音频输出设备104A发送针对输出延迟数据的查询。
在框1906处，方法1900还包括：响应于查询来向主机设备发送输出延迟数据，以使得主机设备能够确定同步延迟，以协调由音频输出设备输出的音频和由显示设备输出的视频。例如，图1的第一音频输出设备104A响应于从主机设备102接收到查询，经由第一通信链路106A来向主机设备102发送第一输出延迟数据184A。在该示例中，第一输出延迟数据184A包括输出延迟数据176或其一部分，诸如输出延迟数据176的一个或多个所选择的输出延迟值。
图20是根据本公开内容的一些示例的可以由图1的音频输出设备104中的一者执行的在多媒体回放期间对音频和视频进行同步的方法2000的特定实现的示意图。图20的方法2000可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图20的方法2000可以通过控制器180执行被存储在存储器174中的指令来执行。
在框2002处，方法2000包括：将指示与由音频输出设备输出的音频相关联的回放延迟的输出延迟数据存储在音频输出设备的存储器处。例如，图1的第一音频输出设备104A将输出延迟数据176存储在存储器174处。在该示例中，输出延迟数据176指示与第一音频输出设备104A相关联的回放延迟。
在框2004处，方法2000还包括：检测到触发事件。例如，图1的第一音频输出设备104a可以基于主机设备的操作模式的变化、音频输出设备的操作模式的变化、主机设备102与音频输出设备104之间的信令特性或其它因素来检测到触发事件。
在框2006处，方法2000还包括：响应于检测到触发事件来向主机设备发送输出延迟数据以使得主机设备能够确定同步延迟，以协调由音频输出设备输出的音频和由显示设备输出的视频。例如，图1的第一音频输出设备104A响应于检测到触发事件，经由第一通信链路106A来向主机设备102发送第一输出延迟数据184A。在该示例中，第一输出延迟数据184A包括输出延迟数据176或其一部分，诸如输出延迟数据176的一个或多个所选择的输出延迟值。
图21是根据本公开内容的一些示例的可以由图1的音频输出设备104中的一者执行的在多媒体回放期间对音频和视频进行同步的方法2100的特定实现的示意图。图21的方法2100可以由FPGA器件、ASIC、诸如CPU之类的处理单元、DSP、控制器、另一硬件设备、固件设备或其任何组合来实现。作为一个示例，图21的方法2100可以通过控制器180执行被存储在存储器174中的指令来执行。
在框2102处，方法2100包括：将指示与由音频输出设备输出的音频相关联的回放延迟的输出延迟数据存储在音频输出设备的存储器处。例如，图1的第一音频输出设备104A将输出延迟数据176存储在存储器174处。在该示例中，输出延迟数据176指示与第一音频输出设备104A相关联的回放延迟。
在框2104处，方法2100还包括：向主机设备发送输出延迟数据以使得主机设备能够确定同步延迟，以协调由音频输出设备输出的音频和由显示设备输出的视频。例如，图1的第一音频输出设备104A经由第一通信链路106A来向主机设备102发送第一输出延迟数据184A。在该示例中，第一输出延迟数据184A包括输出延迟数据176或其一部分，诸如输出延迟数据176的一个或多个所选择的输出延迟值。
在框2106处，方法2100还包括：经由无线传输来从主机设备接收音频数据。例如，图1的第一音频输出设备104A可以经由第一通信链路106A来从主机设备102接收音频数据154。
在框2108处，方法2100还包括：基于音频数据来生成音频输出。例如，第一音频输出设备104A的无线通信协议栈156可以经由音频驱动器168来向声音换能器172提供音频信号170。在该示例中，声音换能器172基于音频信号170来生成音频输出。
结合所描述的实现，一种装置包括用于向音频输出设备发送音频数据的单元。例如，用于向音频输出设备发送音频数据的单元可以对应于主机设备102、处理器112、媒体播放器130、回放同步器132、无线通信协议栈142、收发机148、发射机150、处理器404、处理器406、天线422、被配置为向音频输出设备发送音频数据的一个或多个其它电路或组件、或其任何组合。
该装置还包括用于经由来自音频输出设备的传输来接收输出延迟数据的单元，输出延迟数据指示与由音频输出设备输出的音频相关联的回放延迟。用于接收输出延迟数据的单元可以对应于主机设备102、处理器112、媒体播放器130、回放同步器132、无线通信协议栈142、收发机148、接收机152、处理器404、处理器406、天线422、被配置为接收输出延迟数据的一个或多个其它电路或组件、或其任何组合。
该装置还包括用于基于输出延迟数据和主机延迟数据来确定同步延迟以协调由音频输出设备的输出音频和在显示器处输出的视频并且延迟发送视频数据的单元。用于确定同步延迟的单元可以对应于主机设备102、处理器112、媒体播放器130、回放同步器132、处理器404、处理器406、被配置为确定同步延迟的一个或多个其它电路或组件、或其任何组合。
该装置还包括用于向显示器发送视频数据并且使得发射机向音频输出设备发送音频数据的单元，其中，视频数据是基于同步延迟而相对于对音频数据的发送被延迟的。用于向显示器发送视频数据并且使得发射机向音频输出设备发送音频数据的单元可以对应于主机设备102、处理器112、媒体播放器130、回放同步器132、无线通信协议栈142、收发机148、发射机150、处理器404、处理器406、显示控制器418、被配置为向显示器发送视频数据并且使得发射机向将音频输出设备发送音频数据的一个或多个其它电路或组件、或其任何组合。
在一些实现中，该装置还包括用于存储用于第一音频输出设备的第一输出延迟数据和用于第二音频输出设备的第二输出延迟数据的单元。用于存储第一输出延迟数据和第二输出延迟数据的单元可以对应于主机设备102、处理器112、存储器114、被配置为存储输出延迟数据的一个或多个其它电路或组件、或其任何组合。
结合所描述的实现，一种装置包括用于从主机设备接收对音频数据进行编码的信号的单元。例如，用于接收对音频数据进行编码的信号的单元可以对应于以下各者中的一者：音频输出设备104、控制器180、无线通信协议栈156、收发机158、接收机162、被配置为从主机设备接收对音频数据进行编码的信号的一个或多个其它电路或组件、或者其任何组合。
该装置还包括用于对信号进行解码以基于音频数据来生成音频信号的单元。例如，用于对信号进行解码以基于音频数据来生成音频信号的单元可以对应于以下各者的一者：音频输出设备104、控制器180、无线通信协议栈156、收发机158、接收机162、编解码器166、调制解调器164、被配置为对信号进行解码以基于音频数据来生成音频信号的一个或多个其它电路或组件、或其任何组合。
该装置还包括用于基于音频信号来生成音频输出的单元。例如，用于基于音频信号来生成音频输出的单元可以对应于以下各者中的一者：音频输出设备104、控制器180、音频驱动器168、声音换能器172、被配置为基于音频信号来生成音频输出的一个或多个其它电路或组件、或其任何组合。
在一些实现中，该装置还包括用于存储包括一个或多个回放延迟值的输出延迟数据的单元。特定回放延迟值指示由主机设备传输特定音频数据与播放与特定音频数据相对应的声音之间的输出设备总延迟时间。例如，用于存储输出延迟数据的单元可以对应于以下各者中的一者：音频输出设备104、控制器180、存储器174、被配置为存储输出延迟数据的一个或多个其它电路或组件、或其任何组合。
在一些实现中，该装置还包括用于向主机设备发送一个或多个回放延迟值中的至少一个回放延迟值以使得主机设备能够确定同步延迟以将音频输出与由主机设备的显示器输出的视频进行同步的单元。例如，用于向主机设备发送至少一个回放延迟值的单元可以对应于以下各者中的一者：音频输出设备104、控制器180、无线通信协议栈156、收发机158、发射机160、被配置为向主机设备发送至少一个回放延迟值的一个或多个其它电路或组件、或其任何组合。
在一些实现中，该装置还包括用于基于检测到的操作条件来选择被发送给主机设备的至少一个回放延迟值的单元。例如，用于选择被发送给主机设备的至少一个回放延迟值的单元可以对应于以下各者的一者：音频输出设备104、控制器180、被配置为选择回放延迟值的一个或多个其它电路或组件、或其任何组合。
在一些实现中，该装置还包括用于检测到触发事件的单元。例如，用于检测到触发事件的单元可以对应于以下各者中的一者：音频输出设备104、控制器180、模式开关182、无线通信协议栈156、收发机158、接收机162、被配置为检测到触发事件的一个或多个其它电路或组件、或其任何组合。
在以下相互关联的条款中描述了本公开内容的特定方面：
条款1包括一种设备，其包括：一个或多个处理器，其被配置为：基于来自音频输出设备的传输来获得输出延迟数据，所述输出延迟数据指示与由所述音频输出设备输出的音频相关联的回放延迟；基于所述输出延迟数据和主机延迟数据来确定同步延迟，以协调由所述音频输出设备输出的音频和在显示器处输出的视频；发起对音频数据到所述音频输出设备的发送；以及向所述显示器发送视频数据，其中，所述视频数据是基于所述同步延迟而相对于对所述音频数据的所述发送被延迟的。
条款2包括根据条款1所述的设备，其中，所述输出延迟数据指示基于对所述音频输出设备的测试的、在向所述音频输出设备传输音频分组与播放与所述音频分组相对应的声音之间的输出设备总延迟时间。
条款3包括根据条款1或条款2所述的设备，其中，所述输出延迟数据包括指示与第一编解码器相关联的第一回放延迟的第一回放延迟值以及指示与第二编解码器相关联的第二回放延迟的第二回放延迟值，其中，所述第一回放延迟值不同于所述第二回放延迟值。
条款4包括根据条款1至条款3中任一项所述的设备，其中，所述主机延迟数据指示在向所述音频输出设备传输音频分组与播放与所述音频分组的声音相关联的视频之间的主机设备总延迟时间。
条款5包括根据条款1至条款4中任一项所述的设备，其中，发射机被配置为经由无线传输来向所述音频输出设备发送所述音频数据。
条款6包括根据条款1至条款5中任一项所述的设备，其中，发射机被配置为经由对等自组织连接来向所述音频输出设备发送所述音频数据。
条款7包括根据条款1至条款6中任一项所述的设备，其中，所述音频输出设备包括耳机、一个或多个耳塞、或者一个或多个扬声器。
条款8包括根据条款1至条款7中任一项所述的设备，其中，所述设备包括或对应于便携式计算设备、游戏系统、移动通信设备、平板计算设备、智能显示器或其组合。
条款9包括根据条款1至条款8中任一项所述的设备，还包括显示器。
条款10包括根据条款1至条款9中任一项所述的设备，其中，所述输出延迟数据是在配置发射机与所述音频输出设备之间的无线连接期间从所述音频输出设备获得的，并且所述设备还包括：存储器，其被配置为存储所述输出延迟数据以供在后续多媒体回放期间使用。
条款11包括根据条款10所述的设备，其中，所述存储器被配置为将所述输出延迟数据存储在包括与一个或多个其它音频输出设备相关联的额外输出延迟数据的表中。
条款12包括根据条款1至条款11中任一项所述的设备，还包括：存储器，其被配置为存储用于第一音频输出设备的第一输出延迟数据以及用于第二音频输出设备的第二输出延迟数据，其中，所述第一输出延迟数据不同于所述第二输出延迟数据，并且其中，所述处理器被配置为基于所述音频输出设备的标识符来从所述存储器选择所述输出延迟数据。
条款13包括根据条款1至条款12中任一项所述的设备，其中，所述输出延迟数据包括对应于不同操作条件的多个回放延迟值，并且其中，所述处理器被配置为基于与多媒体回放相关联的操作条件来选择所述多个回放延迟值中的特定值以确定所述同步延迟。
条款14包括根据条款13所述的设备，其中，所述不同操作条件对应于使用不同编解码器来向所述音频输出设备发送所述音频数据。
条款15包括根据条款13所述的设备，其中，所述不同操作条件对应于所述设备的不同操作模式。
条款16包括根据条款15所述的设备，其中，所述设备的所述不同操作模式包括游戏模式、视频呼叫模式或视频流模式中的两项或更多项。
条款17包括根据条款13所述的设备，其中，所述不同操作条件对应于所述音频输出设备的不同操作模式。
条款18包括根据条款17所述的设备，其中，所述音频输出设备的所述不同操作模式包括噪声消除模式、立体声模式、单声道模式、环绕声模式或功率节省模式中的两项或更多项。
条款19包括根据条款1至条款18中任一项所述的设备，其中，所述处理器还被配置为使得所述发射机向所述音频输出设备发送查询，其中，所述输出延迟数据是响应于所述查询来获得的。
条款20包括根据条款19所述的设备，其中，所述查询是基于接收到指示多媒体回放的去同步的输入来发送的。
条款21包括根据条款1至条款20中任一项所述的设备，其中，所述输出延迟数据是响应于检测到触发事件来获得的。
条款22包括根据条款21所述的设备，其中，所述触发事件对应于所述设备的操作模式的变化。
条款23包括根据条款21所述的设备，其中，所述触发事件对应于所述音频输出设备的操作模式的变化。
条款24包括根据条款21所述的设备，其中，所述触发事件是基于所述发射机与所述音频输出设备之间的信令特性来检测的。
条款25包括根据条款1至条款24中任一项所述的设备，其中，所述处理器还被配置为从所述输出延迟数据中获得对应于以下各项中的至少两项的延迟参数：第一值，其对应于用于对所述音频数据进行编码的特定编解码器；第二值，其对应于与所述音频数据相关联的采样率；第三值，其对应于与所述音频数据的传输相关联的比特率；或者第四值，其对应于延迟模式；并且其中，所述同步延迟是基于所述延迟参数的。
条款26包括根据条款1至条款25中任一项所述的设备，其中，所述输出延迟数据是根据与所述发射机与所述音频输出设备之间的通信链路相关联的无线通信协议栈的一个或多个栈层而经由无线消息传送来获得的。
条款27包括一种方法，所述方法包括：在主机设备处从音频输出设备获得输出延迟数据，所述输出延迟数据指示与由所述音频输出设备输出的音频相关联的回放延迟；在所述主机设备处基于所述输出延迟数据和主机延迟数据来确定同步延迟，以协调由所述音频输出设备输出的音频和由所述主机设备的显示器输出的视频；以及在由所述主机设备进行的多媒体回放期间，从所述主机设备向所述音频输出设备发送音频数据并且向所述显示器发送视频数据，其中，所述视频数据是基于所述同步延迟而相对于对所述音频数据的发送被延迟的。
条款28包括根据条款27所述的方法，其中，所述输出延迟数据指示基于对所述音频输出设备的测试的、在向所述音频输出设备传输音频分组与播放与所述音频分组相对应的声音之间的输出设备总延迟时间。
条款29包括根据条款27或条款28所述的方法，其中，所述输出延迟数据包括指示与第一编解码器相关联的第一回放延迟的第一回放延迟值以及指示与第二编解码器相关联的第二回放延迟的第二回放延迟值，其中，所述第一回放延迟值不同于所述第二回放延迟值。
条款30包括根据条款27至条款29中任一项所述的方法，其中，所述主机延迟数据指示在向所述音频输出设备传输音频分组与播放与所述音频分组的声音相关联的视频之间的主机设备总延迟时间。
条款31包括根据条款27至条款30中任一项所述的方法，其中，所述音频数据是经由无线传输从所述主机设备发送给所述音频输出设备的。
条款32包括根据条款27至条款31中任一项所述的方法，其中，所述音频数据是经由对等自组织连接从所述主机设备发送给所述音频输出设备的。
条款33包括根据条款27至条款32中任一项所述的方法，其中，所述音频输出设备包括耳机、一个或多个耳塞、或者一个或多个扬声器。
条款34包括根据条款27至条款33中任一项所述的方法，其中，所述主机设备包括便携式计算设备、游戏系统、移动通信设备、平板计算设备、智能显示器或其组合。
条款35包括根据条款27至条款29中任一项所述的方法，其中，所述显示器是与所述主机设备集成的。
条款36包括根据条款27至条款35中任一项所述的方法，其中，所述输出延迟数据是在配置所述主机设备与所述音频输出设备之间的无线通信连接期间从所述音频输出设备获得的，并且所述方法还包括：将所述输出延迟数据存储在所述主机设备的存储器处，以供在与所述多媒体回放相关联的后续通信会话期间使用。
条款37包括根据条款36的方法，其中，所述输出延迟数据在所述存储器处被存储在包括与一个或多个其它音频输出设备相关联的额外输出延迟数据的表中。
条款38包括根据条款27至条款37中任一项所述的方法，还包括：在所述主机设备的存储器处存储用于第一音频输出设备的第一输出延迟数据以及用于第二音频输出设备的第二输出延迟数据，其中，所述第一输出延迟数据不同于所述第二输出延迟数据；在用于在所述主机设备与所述音频输出设备之间建立通信会话的操作期间，在所述主机设备处接收所述音频输出设备的标识符，其中，所述输出延迟数据是基于所述音频输出设备的所述标识符来从所述主机设备的所述存储器获得的。
条款39包括根据条款27至条款38中任一项所述的方法，其中，所述输出延迟数据包括对应于不同操作条件的多个回放延迟值，并且其中，所述方法还包括基于与所述多媒体回放相关联的操作条件来选择所述多个回放延迟值中的特定值以确定所述同步延迟。
条款40包括根据条款39所述的方法，其中，所述不同操作条件对应于使用不同编解码器来向所述音频输出设备发送所述音频数据。
条款41包括根据条款39所述的方法，其中，所述不同操作条件对应于所述设备的不同操作模式。
条款42包括根据条款41所述的方法，其中，所述主机设备的所述不同操作模式包括游戏模式、视频呼叫模式或视频流模式中的两项或更多项。
条款43包括根据条款39所述的方法，其中，所述不同操作条件对应于所述音频输出设备的不同操作模式。
条款44包括根据条款43所述的方法，其中，所述音频输出设备的所述不同操作模式包括噪声消除模式、立体声模式、单声道模式、环绕声模式或功率节省模式中的两项或更多项。
条款45包括根据条款27至条款44中任一项所述的方法，还包括从所述主机设备向所述音频输出设备发送查询，其中，所述输出延迟数据是响应于所述查询来获得的。
条款46包括根据条款45所述的方法，其中，所述查询是基于在所述主机设备处接收到指示所述多媒体回放的去同步的输入来发送的。
条款47包括根据条款27至条款46中任一项所述的方法，其中，所述输出延迟数据是响应于检测到触发事件来获得的。
条款48包括根据条款47所述的方法，其中，所述触发事件对应于所述主机设备的操作模式的变化。
条款49包括根据条款47所述的方法，其中，所述触发事件对应于所述音频输出设备的操作模式的变化。
条款50包括根据条款47所述的方法，其中，所述触发事件是基于所述主机设备与所述音频输出设备之间的信令特性来检测的。
条款51包括根据条款27至条款50中任一项所述的方法，还包括：从所述输出延迟数据中获得对应于以下各项中的至少两项的延迟参数：第一值，其对应于用于对所述音频数据进行编码的特定编解码器；第二值，其对应于与所述音频数据相关联的采样率；第三值，其对应于与所述音频数据的传输相关联的比特率；或者第四值，其对应于延迟模式；并且基于所述延迟参数来计算所述同步延迟。
条款52包括根据条款27至条款51中任一项所述的方法，其中，所述输出延迟数据是根据与所述主机设备与所述音频输出设备之间的通信链路相关联的无线通信协议栈的一个或多个栈层而经由无线消息传送来获得的。
条款53包括一种设备，其包括：用于向音频输出设备发送音频数据的单元；用于经由来自音频输出设备的传输来接收输出延迟数据的单元，所述输出延迟数据指示与由所述音频输出设备输出的音频相关联的回放延迟；用于基于所述输出延迟数据和主机延迟数据来确定同步延迟，以协调由所述音频输出设备输出的音频和在显示器处输出的视频的单元；以及用于向所述显示器发送视频数据并且使得所述用于发送的单元向所述音频输出设备发送所述音频数据的单元，其中，所述视频数据是基于所述同步延迟而相对于对所述音频数据的所述发送被延迟的。
条款54包括根据条款53所述的设备，其中，所述输出延迟数据指示基于对所述音频输出设备的测试的、在向所述音频输出设备传输音频分组与播放与所述音频分组相对应的声音之间的输出设备总延迟时间。
条款55包括根据条款53或条款54所述的设备，其中，所述输出延迟数据包括指示与第一编解码器相关联的第一回放延迟的第一回放延迟值以及指示与第二编解码器相关联的第二回放延迟的第二回放延迟值，其中，所述第一回放延迟值不同于所述第二回放延迟值。
条款56包括根据条款53至条款55中任一项所述的设备，其中，所述主机延迟数据指示在向所述音频输出设备传输音频分组与播放与所述音频分组的声音相关联的视频之间的主机设备总延迟时间。
条款57包括根据条款53至条款56中任一项所述的设备，其中，所述用于发送的单元被配置为经由无线传输来向所述音频输出设备发送所述音频数据。
条款58包括根据条款53至条款57中任一项所述的设备，其中，所述用于发送的单元被配置为经由对等自组织连接来向所述音频输出设备发送所述音频数据。
条款59包括根据条款53至条款58中任一项所述的设备，其中，所述音频输出设备包括耳机、一个或多个耳塞、或者一个或多个扬声器。
条款60包括根据条款53至条款59中任一项所述的设备，其中，所述设备包括或对应于便携式计算设备、游戏系统、移动通信设备、平板计算设备、智能显示器或其组合。
条款61包括根据条款53至条款60中任一项所述的设备，还包括显示器。
条款62包括根据条款53至条款61中任一项所述的设备，其中，所述输出延迟数据是在配置所述用于发送的单元与所述音频输出设备之间的无线连接期间从所述音频输出设备获得的，并且所述设备还包括：用于存储所述输出延迟数据以供在后续多媒体回放期间使用的单元。
条款63包括根据条款62所述的设备，其中，所述用于存储的单元被配置为将所述输出延迟数据存储在包括与一个或多个其它音频输出设备相关联的额外输出延迟数据的表中。
条款64包括根据条款53至条款63中任一项所述的设备，还包括：用于存储用于第一音频输出设备的第一输出延迟数据以及用于第二音频输出设备的第二输出延迟数据的单元，其中，所述第一输出延迟数据不同于所述第二输出延迟数据，并且其中，所述用于确定的单元被配置为基于所述音频输出设备的标识符来从所述用于存储的单元选择所述输出延迟数据。
条款65包括根据条款53至条款64中任一项所述的设备，其中，所述输出延迟数据包括对应于不同操作条件的多个回放延迟值，并且其中，所述用于确定的单元被配置为基于与多媒体回放相关联的操作条件来选择所述多个回放延迟值中的特定值以确定所述同步延迟。
条款66包括根据条款65所述的设备，其中，所述不同操作条件对应于使用不同编解码器来向所述音频输出设备发送所述音频数据。
条款67包括根据条款65所述的设备，其中，所述不同操作条件对应于所述设备的不同操作模式。
条款68包括根据条款67所述的设备，其中，所述设备的所述不同操作模式包括游戏模式、视频呼叫模式或视频流模式中的两项或更多项。
条款69包括根据条款65所述的设备，其中，所述不同操作条件对应于所述音频输出设备的不同操作模式。
条款70包括根据条款70所述的设备，其中，所述音频输出设备的所述不同操作模式包括噪声消除模式、立体声模式、单声道模式、环绕声模式或功率节省模式中的两项或更多项。
条款71包括根据条款53至条款70中任一项所述的设备，其中，所述用于确定的单元还被配置为使得所述用于发送的单元向所述音频输出设备发送查询，其中，所述输出延迟数据是响应于所述查询来获得的。
条款72包括根据条款71所述的设备，其中，所述查询是基于接收到指示多媒体回放的去同步的输入来发送的。
条款73包括根据条款53至条款72中任一项所述的设备，其中，所述输出延迟数据是响应于检测到触发事件来获得的。
条款74包括根据条款73所述的设备，其中，所述触发事件对应于所述设备的操作模式的变化。
条款75包括根据条款73所述的设备，其中，所述触发事件对应于所述音频输出设备的操作模式的变化。
条款76包括根据条款73所述的设备，其中，所述触发事件是基于所述用于发送的单元与所述音频输出设备之间的信令特性来检测的。
条款77包括根据条款53至76中任一项所述的设备，其中，所述用于确定的单元还被配置为从所述输出延迟数据中获得对应于以下各项中的至少两项的延迟参数：第一值，其对应于用于对所述音频数据进行编码的特定编解码器；第二值，其对应于与所述音频数据相关联的采样率；第三值，其对应于与所述音频数据的传输相关联的比特率；或者第四值，其对应于延迟模式；并且其中，所述同步延迟是基于所述延迟参数的。
条款78包括根据条款53至条款77中任一项所述的设备，其中，所述输出延迟数据是根据与所述用于发送的单元与所述音频输出设备之间的通信链路相关联的无线通信协议栈的一个或多个栈层而经由无线消息传送来获得的。
条款79包括一种设备，其包括：接收机，其被配置为从主机设备接收对音频数据进行编码的信号；解码器，其被配置为解码所述信号以基于所述音频数据来生成音频信号；一个或多个声音换能器，其被配置为基于所述音频信号来生成音频输出；存储器，其被配置为存储包括一个或多个回放延迟值的输出延迟数据，特定回放延迟值指示在由所述主机设备传输特定音频数据与由所述一个或多个声音换能器播放与所述特定音频数据相对应的声音之间的输出设备总延迟时间；以及发射机，其被配置为向所述主机设备发送所述一个或多个回放延迟值中的至少一个回放延迟值以使得所述主机设备能够确定同步延迟，以将所述音频输出与由所述主机设备的显示器输出的视频进行同步。
条款80包括根据条款79所述的设备，其中，所述一个或多个回放延迟值包括与使用第一编解码器来编码所述音频数据相关联的第一回放延迟值以及与使用第二编解码器来编码所述音频数据相关联的第二回放延迟值，其中，所述第一回放延迟值不同于所述第二回放延迟值。
条款81包括根据条款79或条款80所述的设备，其中，所述设备包括或对应于耳机、一个或多个耳塞或者一个或多个扬声器。
条款82包括根据条款79至条款81中任一项所述的设备，其中，所述主机设备包括便携式计算设备、游戏系统、移动通信设备、平板计算设备、智能显示器或其组合。
条款83包括根据条款79至条款82中任一项所述的设备，其中，所述一个或多个回放延迟值包括对应于不同操作条件的多个回放延迟值。
条款84包括根据条款83所述的设备，还包括：控制器，其被配置为基于检测到的操作条件来选择要发送给所述主机设备的所述至少一个回放延迟值。
条款85包括根据条款83所述的设备，其中，向所述主机设备发送所述至少一个回放延迟值包括：发送所述多个回放延迟数值和标识所述不同操作条件的数据。
条款86包括根据条款83所述的设备，其中，所述不同操作条件对应于使用不同编解码器。
条款87包括根据条款83所述的设备，其中，所述不同操作条件对应于所述设备的不同操作模式。
条款88包括根据条款87所述的设备，其中，所述设备的所述不同操作模式包括噪声消除模式、立体声模式、单声道模式、环绕声模式或功率节省模式中的两项或更多项。
条款89包括根据条款79至条款88中任一项所述的设备，还包括控制器，其被配置为使得所述发射机响应于从所述主机设备接收到查询来向所述主机设备发送所述至少一个回放延迟值。
条款90包括根据条款79至条款89中任一项所述的设备，还包括：控制器，其被配置为检测到触发事件，并且使得所述发射机响应于检测到所述触发事件来向所述主机设备发送所述至少一个回放延迟值。
条款91包括根据条款90所述的设备，其中，所述触发事件对应于所述设备的操作模式的变化。
条款92包括根据条款90所述的设备，其中，所述触发事件是基于所述主机设备与所述接收机之间的信令特性来检测的。
条款93包括根据条款79至条款92中任一项所述的设备，其中，所述发射机被配置为根据与所述主机设备与所述设备之间的通信链路相关联的无线通信协议栈的一个或多个栈层而经由无线消息传送来发送所述输出延迟数据。
条款94包括根据条款93所述的设备，其中，所述通信链路包括或对应于无线对等自组织连接。
条款95包括根据条款79至条款94中任一项所述的设备，其中，所述发射机被配置为在数据交换期间向所述主机设备发送所述至少一个回放延迟值，以与所述主机设备建立无线对等自组织连接。
]条款96包括一种方法，其包括：在音频输出设备的存储器处存储输出延迟数据，所述输出延迟数据指示与由所述音频输出设备输出的音频相关联的回放延迟；以及向主机设备发送所述输出延迟数据，以使得所述主机设备能够确定同步延迟以协调由所述音频输出设备输出的音频和由显示设备输出的视频。
条款97包括根据条款96所述的方法，其中，所述输出延迟数据指示基于对所述音频输出设备的测试的、在向所述音频输出设备传输音频分组与播放与所述音频分组相对应的声音之间的输出设备总延迟时间。
条款98包括根据条款96或条款97所述的方法，其中，所述输出延迟数据包括指示与第一编解码器相关联的第一回放延迟的第一回放延迟值以及指示与第二编解码器相关联的第二回放延迟的第二回放延迟值，其中，所述第一回放延迟值不同于所述第二回放延迟值。
条款99包括根据条款96至条款98中任一项所述的方法，还包括：经由无线传输从所述主机设备接收音频数据；以及基于所述音频数据来生成所述音频输出。
条款100包括根据条款96至条款99中任一项所述的方法，还包括：与所述主机设备建立无线对等自组织连接，其中，所述输出延迟数据是经由所述无线对等自组连接发送给所述主机设备的；以及在向所述主机设备发送所述输出延迟数据之后，经由所述无线对等自组织连接来从所述主机设备接收音频数据。
条款101包括根据条款96至条款100中任一项所述的方法，其中，所述音频输出设备包括耳机、一个或多个耳塞、或者一个或多个扬声器。
条款102包括根据条款96至条款101中任一项所述的方法，其中，所述主机设备包括便携式计算设备、游戏系统、移动通信设备、平板计算设备、智能显示器或其组合。
条款103包括根据条款96至条款102中任一项所述的方法，其中，所述输出延迟数据包括与不同操作条件相对应的多个回放延迟值，并且所述方法还包括基于检测到的操作条件来选择所述多个回放延迟值中的特定值以发送给所述主机设备。
条款104包括根据条款103所述的方法，其中，所述不同操作条件对应于使用不同编解码器。
条款105包括根据条款103所述的方法，其中，所述不同操作条件对应于所述音频输出设备的不同操作模式。
条款106包括根据条款105所述的方法，其中，所述音频输出设备的所述不同操作模式包括噪声消除模式、立体声模式、单声道模式、环绕声模式或功率节省模式中的两项或更多项。
条款107包括根据条款96至条款106中任一项所述的方法，还包括：在所述音频输出设备处从所述主机设备接收查询，其中，所述输出延迟数据是响应于所述查询来发送的。
条款108包括根据条款96至条款107中任一项所述的方法，其中，所述输出延迟数据是响应于检测到触发事件来发送的。
条款109包括根据条款108所述的方法，其中，所述触发事件对应于所述音频输出设备的操作模式的变化。
条款110包括根据条款108所述的方法，其中，所述触发事件是基于所述主机设备与所述音频输出设备之间的信令特性来检测的。
条款111包括根据条款96至条款110中任一项所述的方法，其中，所述输出延迟数据是根据与所述主机设备与所述音频输出设备之间的通信链路相关联的无线通信协议栈的一个或多个栈层而经由无线消息传送来发送的。
条款112包括一种设备，其包括：用于从主机设备接收对音频数据进行编码的信号的单元；用于解码所述信号以基于所述音频数据来生成音频信号的单元；用于基于所述音频信号来生成音频输出的单元；用于存储包括一个或多个回放延迟值的输出延迟数据的单元，特定回放延迟值指示在由所述主机设备传输特定音频数据与由所述用于生成音频输出的单元播放与所述特定音频数据相对应的声音之间的输出设备总延迟时间；以及用于向所述主机设备发送所述一个或多个回放延迟值中的至少一个回放延迟值以使得所述主机设备能够确定同步延迟，以将所述音频输出与由所述主机设备的显示器输出的视频进行同步的单元。
条款113包括根据条款112所述的设备，其中，所述一个或多个回放延迟值包括与使用第一编解码器来编码所述音频数据相关联的第一回放延迟值以及与使用第二编解码器来编码所述音频数据相关联的第二回放延迟值，其中，所述第一回放延迟值不同于所述第二回放延迟值。
条款114包括根据条款112或条款113所述的设备，其中，所述设备包括或对应于耳机、一个或多个耳塞或者一个或多个扬声器。
条款115包括根据条款112至条款114中任一项所述的设备，其中，所述主机设备包括便携式计算设备、游戏系统、移动通信设备、平板计算设备、智能显示器或其组合。
条款116包括根据条款112至条款115中任一项所述的设备，其中，所述一个或多个回放延迟值包括对应于不同操作条件的多个回放延迟值。
条款117包括根据条款116所述的设备，还包括：用于基于检测到的操作条件来选择要发送给所述主机设备的所述至少一个回放延迟值的单元。
条款118包括根据条款116所述的设备，其中，向所述主机设备发送所述至少一个回放延迟值包括：发送所述多个回放延迟值和标识所述不同操作条件的数据。
条款119包括根据条款116所述的设备，其中，所述不同操作条件对应于使用不同编解码器。
条款120包括根据条款116所述的设备，其中，所述不同操作条件对应于所述设备的不同操作模式。
条款121包括根据条款120所述的设备，其中，所述设备的所述不同操作模式包括噪声消除模式、立体声模式、单声道模式、环绕声模式或功率节省模式中的两项或更多项。
条款122包括根据条款112至条款121中任一项所述的设备，还包括：用于检测到触发事件的单元，所述用于检测到所述触发事件的单元被配置为使得所述用于发送的单元响应于检测到所述触发事件来向所述主机设备发送所述至少一个回放延迟值。
条款123包括根据条款122所述的设备，其中，所述触发事件对应于所述设备的操作模式的变化。
条款124包括根据条款122所述的设备，其中，所述触发事件是基于所述主机设备与所述用于接收信号的单元之间的信令特性来检测的。
条款125包括根据条款112至条款124中任一项所述的设备，其中，所述用于发送的单元被配置为根据与所述主机设备与所述设备之间的通信链路相关联的无线通信协议栈的一个或多个栈层而经由无线消息传送来发送所述输出延迟数据。
条款126包括根据条款125所述的设备，其中，所述通信链路包括或对应于无线对等自组织连接。
条款127包括根据条款112至条款126中任一项所述的设备，其中，所述用于发送的单元被配置为在数据交换期间向所述主机设备发送所述至少一个回放延迟值，以与所述主机设备建立无线对等自组织连接。
技术人员还将明白的是，结合本文所公开的实现来描述的各个说明性的逻辑框、配置、模块、电路和算法步骤可以被实现为电子硬件、由处理器执行的计算机软件、或这两者的组合。上文已经对各种说明性的组件、框、配置、模块、电路和步骤均围绕其功能进行了总体描述。这样的功能是实现为硬件还是处理器可执行指令，取决于特定的应用和对整个系统施加的设计约束。本领域技术人员可以针对每个特定应用，以变化的方式实现所描述的功能，这样的实现决策将不被解释为造成对本公开内容的范围的背离。
结合本文公开的实现所描述的方法或者算法的步骤可以直接地体现在硬件中、由处理器执行的软件模块中、或者这两者的组合中。例如，参考图8-21描述的操作中的任何操作都可以通过一个或多个处理器执行来自计算机可读存储设备(例如，存储器设备)的指令来发起、控制或执行。软件模块(例如，处理器可执行指令)可以驻留在随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、压缩光盘只读存储器(CD-ROM)、或本领域中已知的任何其它形式的非暂时性存储介质。示例性的存储介质耦合到处理器，使得处理器可以从该存储介质读取信息以及向该存储介质写入信息。替代地，存储器设备可以集成到处理器中。处理器和存储介质可以驻留在ASIC中。该ASIC可以位于计算设备或者用户终端中。替代地，处理器和存储介质可以作为分立组件位于计算设备或者用户终端中。
提供对所公开的各方面的先前描述，以使本领域技术人员能够实现或使用所公开的方面。对于本领域技术人员而言，对这些方面的各种修改将是容易显而易见的，以及在不脱离本公开内容的范围的情况下，本文中定义的原理可以应用于其它方面。因此，本公开内容不旨在限于本文中所示出的方面，而是要被赋予与通过跟随的权利要求限定的原理和新颖特征相一致的可能的最广范围。

Claims (30)

1.一种设备，包括：
一个或多个处理器，其被配置为：
基于来自音频输出设备的传输来获得输出延迟数据，所述输出延迟数据指示与由所述音频输出设备输出的音频相关联的回放延迟；
基于所述输出延迟数据和主机延迟数据来确定同步延迟，以协调由所述音频输出设备输出的音频和在显示器处输出的视频；
发起对音频数据到所述音频输出设备的发送；以及
向所述显示器发送视频数据，其中，所述视频数据是基于所述同步延迟而相对于对所述音频数据的所述发送被延迟的。
2.根据权利要求1所述的设备，其中，所述输出延迟数据指示在向所述音频输出设备传输音频分组与播放与所述音频分组相对应的声音之间的输出设备总延迟时间，并且是基于对所述音频输出设备的测试的。
3.根据权利要求1所述的设备，其中，所述输出延迟数据包括指示与第一编解码器相关联的第一回放延迟的第一回放延迟值以及指示与第二编解码器相关联的第二回放延迟的第二回放延迟值，其中，所述第一回放延迟值不同于所述第二回放延迟值。
4.根据权利要求1所述的设备，其中，所述主机延迟数据指示在向所述音频输出设备传输音频分组与播放与所述音频分组的声音相关联的视频之间的主机设备总延迟时间。
5.根据权利要求1所述的设备，还包括：耦合到所述一个或多个处理器的调制解调器，其中，所述一个或多个处理器被配置为发起经由所述调制解调器对所述音频数据到所述音频输出设备的发送。
6.根据权利要求5所述的设备，还包括发射机，其耦合到所述调制解调器以经由无线对等自组织连接来向所述音频输出设备发送所述音频数据。
7.根据权利要求1所述的设备，其中，所述音频输出设备包括耳机、一个或多个耳塞、或者一个或多个扬声器。
8.根据权利要求1所述的设备，其中，所述设备包括或对应于便携式计算设备、游戏系统、移动通信设备、平板计算设备、智能显示器或其组合。
9.根据权利要求1所述的设备，其中，所述输出延迟数据是在配置与所述音频输出设备的无线连接期间从所述音频输出设备获得的，并且所述设备还包括：存储器，其被配置为存储所述输出延迟数据以供在后续多媒体回放期间使用。
10.根据权利要求1所述的设备，还包括：存储器，其被配置为存储用于第一音频输出设备的第一输出延迟数据以及用于第二音频输出设备的第二输出延迟数据，其中，所述第一输出延迟数据不同于所述第二输出延迟数据，并且其中，所述一个或多个处理器被配置为基于所述音频输出设备的标识符来从所述存储器选择所述输出延迟数据。
11.根据权利要求1所述的设备，其中，所述输出延迟数据包括对应于不同操作条件的多个回放延迟值，并且其中，所述一个或多个处理器被配置为基于与多媒体回放相关联的操作条件来选择所述多个回放延迟值中的特定值以确定所述同步延迟。
12.根据权利要求11所述的设备，其中，所述不同操作条件对应于使用不同编解码器以结合所述音频数据到所述音频输出设备的传输来对所述音频数据进行编码。
13.根据权利要求11所述的设备，其中，所述不同操作条件对应于所述设备的不同操作模式。
14.根据权利要求13所述的设备，其中，所述设备的所述不同操作模式包括游戏模式、视频呼叫模式或视频流模式中的两项或更多项。
15.根据权利要求11所述的设备，其中，所述不同操作条件对应于所述音频输出设备的不同操作模式。
16.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为发起对查询到所述音频输出设备的发送，其中，所述输出延迟数据是响应于所述查询来获得的。
17.根据权利要求1所述的设备，其中，所述输出延迟数据是响应于检测到触发事件来获得的。
18.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为从所述输出延迟数据中获得对应于以下各项中的至少两项的延迟参数：
第一值，其对应于用于对所述音频数据进行编码的特定编解码器；
第二值，其对应于与所述音频数据相关联的采样率；
第三值，其对应于与对所述音频数据的传输相关联的比特率；或者
第四值，其对应于延迟模式；并且
其中，所述同步延迟是基于所述延迟参数的。
19.根据权利要求1所述的设备，其中，所述输出延迟数据是根据与和所述音频输出设备的通信链路相关联的无线通信协议栈的一个或多个栈层而经由无线消息传送来获得的。
20.一种方法，包括：
在主机设备处从音频输出设备获得输出延迟数据，所述输出延迟数据指示与由所述音频输出设备输出的音频相关联的回放延迟；
在所述主机设备处基于所述输出延迟数据和主机延迟数据来确定同步延迟，以协调由所述音频输出设备输出的音频和由所述主机设备的显示器输出的视频；以及
在由所述主机设备进行的多媒体回放期间，从所述主机设备向所述音频输出设备发送音频数据并且向所述显示器发送视频数据，其中，所述视频数据是基于所述同步延迟而相对于对所述音频数据的发送被延迟的。
21.根据权利要求20所述的方法，其中，所述输出延迟数据指示在向所述音频输出设备传输音频分组与播放与所述音频分组相对应的声音之间的输出设备总延迟时间，并且是基于对所述音频输出设备的测试的。
22.根据权利要求20所述的方法，其中，所述输出延迟数据包括指示与第一编解码器相关联的第一回放延迟的第一回放延迟值以及指示与第二编解码器相关联的第二回放延迟的第二回放延迟值，其中，所述第一回放延迟值不同于所述第二回放延迟值。
23.根据权利要求20所述的方法，其中，所述音频数据是经由对等自组织连接来从所述主机设备发送给所述音频输出设备的。
24.根据权利要求20所述的方法，其中，所述输出延迟数据包括对应于不同操作条件的多个回放延迟值，并且所述方法还包括：基于与所述多媒体回放相关联的操作条件来选择所述多个回放延迟值中的特定值以确定所述同步延迟。
25.根据权利要求20所述的方法，还包括：从所述主机设备向所述音频输出设备发送查询，其中，所述输出延迟数据是响应于所述查询来获得的。
26.根据权利要求20所述的方法，其中，所述输出延迟数据是响应于检测到触发事件来获得的。
27.一种设备，包括：
用于向音频输出设备发送音频数据的单元；
用于经由来自所述音频输出设备的传输来接收输出延迟数据的单元，所述输出延迟数据指示与由所述音频输出设备输出的音频相关联的回放延迟；以及
用于对多媒体回放进行同步的单元，所述用于同步的单元被配置为：
基于所述输出延迟数据和主机延迟数据来确定同步延迟，以协调由所述音频输出设备输出的音频和在显示器处输出的视频；
使得所述用于发送音频数据的单元向所述音频输出设备发送所述音频数据；以及
向所述显示器发送视频数据，其中，所述视频数据是基于所述同步延迟而相对于对所述音频数据的所述发送被延迟的。
28.一种设备，包括：
接收机，其被配置为从主机设备接收对音频数据进行编码的信号，并且基于所述音频数据来生成音频信号；
一个或多个声音换能器，其被配置为基于所述音频信号来生成音频输出；
存储器，其被配置为存储包括一个或多个回放延迟值的输出延迟数据，特定回放延迟值指示在由所述主机设备传输特定音频数据与由所述一个或多个声音换能器播放与所述特定音频数据相对应的声音之间的输出设备总延迟时间；以及
发射机，其被配置为向所述主机设备发送所述一个或多个回放延迟值中的至少一个回放延迟值以使得所述主机设备能够确定同步延迟，以将所述音频输出与由所述主机设备的显示器输出的视频进行同步。
29.根据权利要求28所述的设备，其中，所述一个或多个回放延迟值包括与使用第一编解码器来解码所述音频数据相关联的第一回放延迟值以及与使用第二编解码器来解码所述音频数据相关联的第二回放延迟值，其中，所述第一回放延迟值不同于所述第二回放延迟值。
30.根据权利要求28所述的设备，其中，所述一个或多个回放延迟值包括与不同操作条件相对应的多个回放延迟值。
CN202080107697.6A 2020-12-11 2020-12-11 多媒体回放同步 Pending CN116671114A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/135603 WO2022120782A1 (en) 2020-12-11 2020-12-11 Multimedia playback synchronization

Publications (1)

Publication Number Publication Date
CN116671114A true CN116671114A (zh) 2023-08-29

Family

ID=81974138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080107697.6A Pending CN116671114A (zh) 2020-12-11 2020-12-11 多媒体回放同步

Country Status (6)

Country Link
US (1) US20240022783A1 (zh)
EP (1) EP4260568A4 (zh)
KR (1) KR20230117572A (zh)
CN (1) CN116671114A (zh)
TW (1) TW202224444A (zh)
WO (1) WO2022120782A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040571A1 (en) * 2022-08-26 2024-02-29 Qualcomm Incorporated Delay optimization for multiple audio streams

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7170545B2 (en) * 2004-04-27 2007-01-30 Polycom, Inc. Method and apparatus for inserting variable audio delay to minimize latency in video conferencing
JP2008066931A (ja) * 2006-09-06 2008-03-21 Onkyo Corp 映像音声再生システムおよびこれを構成する映像音声同期再生装置
US9467735B2 (en) * 2007-09-04 2016-10-11 Apple Inc. Synchronizing digital audio and analog video from a portable media device
US8743284B2 (en) * 2007-10-08 2014-06-03 Motorola Mobility Llc Synchronizing remote audio with fixed video
US10892833B2 (en) * 2016-12-09 2021-01-12 Arris Enterprises Llc Calibration device, method and program for achieving synchronization between audio and video data when using Bluetooth audio devices
CN107995503B (zh) * 2017-11-07 2020-07-14 西安万像电子科技有限公司 音视频播放方法和装置
CN109525881A (zh) * 2018-11-29 2019-03-26 青岛海信电器股份有限公司 音画同步方法、装置及设备
CN109819303B (zh) * 2019-03-06 2021-04-23 Oppo广东移动通信有限公司 数据输出方法及相关设备
CN111314763A (zh) * 2020-02-20 2020-06-19 RealMe重庆移动通信有限公司 流媒体播放方法及装置、存储介质与电子设备

Also Published As

Publication number Publication date
EP4260568A1 (en) 2023-10-18
KR20230117572A (ko) 2023-08-08
US20240022783A1 (en) 2024-01-18
WO2022120782A1 (en) 2022-06-16
EP4260568A4 (en) 2024-05-15
TW202224444A (zh) 2022-06-16

Similar Documents

Publication Publication Date Title
US8180078B2 (en) Systems and methods employing multiple individual wireless earbuds for a common audio source
JP4645709B2 (ja) 近距離無線通信機能付きストリーミングデータ再生装置
EP3745813A1 (en) Method for operating a bluetooth device
US20080031470A1 (en) Remote speaker controller with microphone
US20050186993A1 (en) Communication apparatus for playing sound signals
WO2020132907A1 (zh) 一种音频数据的通信方法及电子设备
US11089496B2 (en) Obtention of latency information in a wireless audio system
WO2022133374A1 (en) Sensor management for wireless devices
US20240205279A1 (en) Methods and systems for managing simultaneous data streams from multiple sources
US20170331238A1 (en) Digital Signal Router for Vehicle Replacement Sound System
US11210058B2 (en) Systems and methods for providing independently variable audio outputs
WO2022120782A1 (en) Multimedia playback synchronization
EP1887832A1 (en) Wireless earphones
JP2006074572A (ja) 情報端末
US11665271B2 (en) Controlling audio output
JP2008061034A (ja) 無線通信装置及び無線通信方法
CN105072538B (zh) 一种立体声播放系统及立体声播放方法
TWM526241U (zh) 聲音調整裝置
US20240275498A1 (en) Control of communication session audio settings
CN114615589B (zh) 一种无线耳机的音量控制方法及无线耳机
US20240143272A1 (en) Systems and methods for wirelessly providing an audio stream
CN114390388A (zh) 音频播放装置及相关的控制方法
US12047765B2 (en) System and method for wireless audio and data connection for gaming headphones and gaming devices
TWI700953B (zh) 一種無線傳輸系統及其方法
US20240155711A1 (en) Link margin improvements using a variable physical layer symbol rate

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination