CN117528163A - 在视频设备和无线音频设备之间进行音视频同步的方法及设备 - Google Patents

在视频设备和无线音频设备之间进行音视频同步的方法及设备 Download PDF

Info

Publication number
CN117528163A
CN117528163A CN202210899993.5A CN202210899993A CN117528163A CN 117528163 A CN117528163 A CN 117528163A CN 202210899993 A CN202210899993 A CN 202210899993A CN 117528163 A CN117528163 A CN 117528163A
Authority
CN
China
Prior art keywords
audio
video
wireless
delay
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210899993.5A
Other languages
English (en)
Inventor
周俊明
段少勇
蔡国河
林重佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN202210899993.5A priority Critical patent/CN117528163A/zh
Priority to TW111142741A priority patent/TWI813499B/zh
Priority to US18/226,794 priority patent/US20240040065A1/en
Publication of CN117528163A publication Critical patent/CN117528163A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/05—Synchronising circuits with arrangements for extending range of synchronisation, e.g. by using switching between several time constants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones

Abstract

一种视频设备、无线音频设备以及用于在视频设备和无线音频设备之间执行音频和视频(audio and video，简称AV)同步的方法被提供。该方法包括：利用视频设备的控制器确定视频设备的视频延迟；利用控制器确定视频设备的音频延迟；利用控制器从无线音频设备接收无线音频设备的通信质量信息，根据通信质量确定视频设备与无线音频设备之间的无线通信延迟；利用控制器根据视频延迟、音频延迟和无线通信延迟生成时间映射信息；以及将时间映射信息从视频设备传送到无线音频设备，以在视频设备和无线音频设备之间进行AV同步。

Description

在视频设备和无线音频设备之间进行音视频同步的方法及 设备
技术领域
本发明涉及音视频(audio and video，简称AV)同步，更具体地，涉及一种视频设备、无线音频设备以及在视频设备和无线音频设备之间执AV同步的方法。
背景技术
目前的电视(television，简称TV)通常包括内置扬声器，用于播放音频信号，以及可以在本地进行电视的相关AV同步。对于电视连接外接扬声器或回音壁等功放的情况，为了更好的用户体验，例如更好的音频质量，音频数据将被传输到外接扬声器或回音壁，由于外接扬声器或条形音箱没有向电视报告通信延迟的反馈机制，因此AV同步变得具有挑战性。因此，预定延迟被用于视频信号以预先配置显示视频内容的时序，以及需要尽快传输和处理音频内容以满足同步标准。当音频内容和视频内容不同步时，用户需要手动将延迟应用于音频内容或视频内容。此外，对于一些需要尽可能实时显示视频内容的情况(例如，电视的游戏模式)，AV同步变得更具挑战性。更具体地说，当电视通过无线通信传输音频内容时，与AV同步相关的问题可能会变得更糟。
因此，需要一种新颖的方法和相关设备，其可以在视频设备(例如，电视和智能手机)和外部扬声器之间正确执行AV同步，而不会引入任何副作用，或以不太可能引入副作用的方式来执行AV同步。
发明内容
本发明的目的在于提供一种视频设备、无线音频设备以及在视频设备与无线音频设备之间进行AV同步的方法，以解决相关技术的问题。
本发明的至少一个实施例提供了一种用于在视频设备和无线音频设备之间执行AV同步的方法。该方法包括：利用视频设备的控制器确定视频设备的视频处理路径的视频延迟；利用控制器确定视频设备的音频处理路径的音频延迟；利用控制器从无线音频设备接收无线音频设备的通信质量信息，以根据通信质量确定视频设备与无线音频设备之间的无线通信延迟；利用控制器根据视频延迟、音频延迟和无线通信延迟生成时间映射信息；以及将时间映射信息从视频设备传送到无线音频设备，以在视频设备和无线音频设备之间进行AV同步。
本发明的至少一个实施例提供了一种用于与无线音频设备进行AV同步的视频设备。视频设备包括视频处理路径、音频处理路径和控制器，其中控制器耦接于视频处理路径和音频处理路径。视频处理路径被配置为处理视频数据以供显示。音频处理路径被配置为处理音频数据以供播放。控制器用于从无线音频设备接收无线音频设备的通信质量信息，以根据通信质量确定视频设备与无线音频设备之间的无线通信延迟。此外，控制器根据视频处理路径的视频延迟、音频处理路径的音频延迟和无线通信延迟生成时间映射信息，以允许视频设备将时间映射信息传送给无线音频设备，用于视频设备和无线音频设备之间的AV同步。
本发明的至少一个实施例提供了一种用于与视频设备执行AV同步的无线音频设备。无线音频设备包括无线通信电路、控制器及音频输出设备，其中控制器耦接无线通信电路，以及音频输出设备耦接控制器。无线通信电路被配置为从视频设备接收数据包。控制器用于生成无线音频设备的通信质量信息，将通信质量信息报告给视频设备，以使视频设备根据通信质量确定视频设备与无线音频设备之间的无线通信延迟。音频输出设备被配置为播放从视频设备接收到的音频数据。此外，视频设备将根据无线通信延迟生成的时间映射信息连同音频数据一起发送给无线音频设备，以使音频输出设备播放的音频数据与视频设备播放的音频数据或视频设备上借助时间映射信息显示的视频数据同步。
本发明实施例可以根据本地时延和无线通信时延进行同步。更具体地说，根据本地延迟和无线通信延迟生成的时间映射信息可被传输到外部音频设备以进行AV同步。另外，本发明实施例不会大幅增加整体成本。因此，本发明可以解决相关技术的问题而不引入任何副作用，或者以不太可能引入副作用的方式解决相关技术的问题。
在阅读了在各种附图和附图中示出的优选实施例的以下详细描述之后，本发明的这些和其他目的对于本领域普通技术人员无疑将变得显而易见。
附图说明
图1示出根据本发明实施例的视频设备与无线音频设备进行时间同步的示意图。
图2示出根据本发明实施例的图1所示的视频设备和无线音频设备的时序同步功能和系统时钟的图。
图3示出根据本发明实施例的与无线音频设备执行音频和视频(audio andvideo，简称AV)同步的视频设备的图。
图4示出根据本发明实施例的与AV同步相关的一些细节的图。
图5示出根据本发明实施例的在视频设备和无线音频设备之间进行AV同步的方法的工作流程图。
具体实施方式
在以下描述和权利要求中使用了特定术语，它们指代特定的元件。如本领域技术人员将理解的，电子设备制造商可以用不同的名称来指代相同元件。本文档无意区分名称不同但功能不同的元件。在以下描述和权利要求中，术语“包括”和“包含”以开放式方式使用，因此应解释为意味着“包括但不限于……”。此外，术语“耦接”旨在表示间接或直接电连接。因此，如果一个设备耦接于另一个设备，则该连接可以是通过直接电连接，或通过经由其他设备和连接的间接电连接。
图1示出根据本发明实施例的诸如电视(TV)100的视频设备的图，该视频设备执行与诸如无线扬声器200的无线音频设备之间的时间同步。如图1所示，TV 100可以包括内置扬声器的控制器，例如扬声器控制器110、无线保真(Wireless Fidelity，简称WiFI)中间件120(为简洁起见，在图1中标记为“Wi-Fi MW”)、Wi-Fi驱动器130(为简洁起见，在图1中标记为“Wi-Fi DRV”)、定时器140和Wi-Fi硬件150(为简洁起见，在图1中标记为“Wi-Fi HW”)。此外，无线扬声器可以包括客户端控制器，例如扬声器客户端210、Wi-Fi中间件220(为简洁起见，在图1中标记为“Wi-Fi MW”)、Wi-Fi驱动器230(为简洁起见，在图1中标记为“Wi-FiDRV”)、定时器240和Wi-Fi硬件250(为简洁起见，在图1中标记为“Wi-Fi HW”)。详细地，扬声器控制器110可以向Wi-Fi中间件120发送请求，Wi-Fi中间件120可以通过Wi-Fi驱动器130存取来自定时器140或Wi-Fi硬件150的数据或信息，为了响应该请求，将该数据或信息发送到扬声器控制器110。类似地，扬声器客户端210可以向Wi-Fi中间件220发送请求，以及Wi-Fi中间件220可以通过Wi-Fi驱动130存取来自定时器240或Wi-Fi硬件250的数据或信息，为了响应该请求，将该数据或信息发送到扬声器客户端210。
在本实施例中，Wi-Fi硬件150和Wi-Fi硬件250可以被配置为在TV100和无线设备之间进行时间同步时相互接收信标信号(为简洁起见，在图1中标记为“信标”)。任何(例如，每个)信标信号可以携带用于同步Wi-Fi硬件150和Wi-Fi硬件250的定时同步功能(timingsynchronization function，简称TSF)的计数器值。定时器140可以用作TV100的系统时钟，定时器240可以用作无线扬声器200的系统时钟。
为了更好的理解，请结合图1来参考图2。图2示出根据本发明的实施例的TSF和系统时钟的图，比如系统时钟是图1所示的TV 100和无线扬声器200的定时器140和240。图2中标记为“TV系统时钟”的时间条可以表示定时器140的时域，图2中标记为“TV TSF”的时间条可以表示Wi-Fi硬件150的时域，图2中标记为“扬声器TSF”的时间条可以表示Wi-Fi硬件250的时域，以及图2中标记为“扬声器系统时钟”的时间条可以表示定时器240的时域。
在本实施例中，当电视100与无线扬声器200进行时间同步时(为简洁起见，图2中标记为“时间同步”)，TV 100的TSF T0可以与无线扬声器200的TSF T0'相同，以及扬声器控制器110可以请求TSF T0。在TSF T0与TSF T0'同步的时刻，由计时器140指示的时间信息(可称为系统时钟T1)被记录并传送到扬声器控制器110。因此，扬声器控制器110可以得到TSF T0和系统时钟T1，其中扬声器控制器110可以将系统时钟T1映射到TSF T0(为了更好理解，在图2中标记为“GetTsf”)。类似地，扬声器客户端210可以获得TSF T0'和定时器140指示的时间信息，例如系统时钟T1'，其中扬声器客户端210可以将系统时钟T1'映射到TSFT0'(为了更好理解，在图2中标记为“GetTsf”)。当扬声器控制器100在定时器140的时域的时间点T<curr>将音频数据发送到无线扬声器200时，时间映射信息Ts可以连同音频数据一起被发送到无线扬声器。假设要在定时器140的时域的时间点T<acap>播放音频数据，时间映射信息Ts＝T<acap>-T1+T0。为了使音频数据同时在电视100和无线扬声器200上播放，时间偏移值OFFSET可用于无线扬声器200上的音频数据。假设扬声器客户端200在计时器240的时域的时间点T<curr>'接收到来自扬声器控制器100的音频数据，时间偏移值OFFSET＝Ts-(T<curr>'-T1'+T0')。
需要说明的是，由于TV 100中的晶振等参考时钟的频率与无线扬声器200的频率并不完全相同，因此可能需要重复进行TV 100与无线扬声器200之间的时间同步。例如，时间同步可以每秒进行一次，但本发明不限于此。
图3示出根据本发明实施例的视频设备300与无线音频设备400执行AV同步的图。如图3所示，视频设备300可以包括视频处理路径(例如，图3所示的视频路径)、音频处理路径(例如，图3所示的音频路径)和诸如微控制器单元(microcontroller unit，简称MCU)310，其中MCU 310耦接于视频处理路径和音频处理路径。在本实施例中，当MCU 310获得AV数据时，MCU 310可以将AV数据的视频部分(例如，视频数据)发送到视频处理路径，并发送AV数据的音频部分(例如，音频数据)到音频处理路径。视频处理路径用于处理视频数据以供显示，其中视频处理路径可以包括视频解码器320(为简洁起见，在图3中标记为“VDEC”)、至少一个视频处理电路例如视频混合电路330(为简洁起见，在图3中标记为“视频混合”)和视频输出设备340(为简洁起见，在图3中标记为“视频输出”)。音频处理路径用于处理音频数据以供播放，其中音频处理路径可以包括音频解码器350(为简洁起见，在图3中标记为“ADEC”)、至少一个音频处理电路，例如音频混合电路360(为简洁起见，在图3中标记为“音频混合”)和音频输出设备370(为简洁起见，在图3中标记为“音频输出”)。如图3所示，视频设备300还可以包括总线380和无线通信电路，例如Wi-Fi电路390(为了简洁起见，在图3中标记为“Wi-Fi”)，以便通过Wi-Fi通信传输音频数据到无线音频设备400。另外，无线通信设备400可以包括控制器，例如MCU 410、音频输出设备470(为简洁起见，在图3中标记为“音频输出”)、总线(BUS)480、以及无线通信电路，例如Wi-Fi电路490，其中MCU 410通过总线480耦接于Wi-Fi电路490，以执行与视频设备300的无线通信。
在本实施例中，Wi-Fi电路490可接收来自视频设备300(例如，来自其中的W-Fi电路390)的封包，而MCU 410可产生无线音频设备400的通信质量信息，其中可以将通信质量信息报告给视频设备300，以使视频设备300根据通信质量确定视频设备300和无线音频设备400之间的无线通信延迟(例如，图3所示的Wi-Fi路径的无线通信延迟)。例如，无线音频设备的不同通信质量分别对应不同的无线通信延迟值。具体地，MCU 310可以从无线音频设备400接收无线音频设备400的通信质量信息，以根据通信质量确定Wi-Fi路径的无线通信延迟。MCU 310可以根据视频处理路径的视频延迟、音频处理路径的音频延迟和无线通信延迟生成时间映射信息，以允许视频设备300将时间映射信息传送到无线音频设备400用于视频设备300和无线音频设备400之间的AV同步。当无线音频设备400接收到连同音频数据一起的时间映射信息时，MCU 410可以借助时间映射信息来控制播放音频数据的时序，以使音频输出设备470播放的音频数据与视频设备上播放的音频数据(例如，由音频输出设备370播放)和/或视频设备上显示的视频数据(例如，由视频输出设备340播放)。
在该实施例中，视频延迟可以包括由视频解码器320、视频混合电路330和视频输出设备340中的一个或多个引入的延迟。音频延迟可以包括由音频解码器350、音频混合电路360和音频输出设备370中的一个或多个引入的延迟。
图4示出根据本发明实施例的与AV同步相关的一些细节的图。在本实施例中，采样率转换器(sampling rate converter，简称SRC)41可以将音频数据例如在时间点T<0>输出到音频处理路径，该音频处理路径包括解码器42、杜比音频处理(Dolby audioprocessing，简称DAP)电路43(为简洁起见，在图4中标记为“DAP”)、音量控制电路44(为简洁起见，在图4中标记为“音量”)、延迟调整电路45(为简洁起见，在图4中标记为“调整延迟”)、存储设备，例如双倍数据速率(double data rate，简称DDR)同步动态随机存取存储器(SDRAM)46(为简洁起见标记为“DDR 46”)和数字信号处理(digital signalprocessing，简称DSP)电路47(为简洁起见，在图4中标记为“DSP”)。解码器42可以是脉冲编码调制(pulse code modulation，简称PCM)渲染解码器，其可以是图3中所示的音频解码器350的示例，但本发明不限于此。DAP电路43、音量控制电路44和延迟调整电路45的整体可以是音频混合电路360的示例，以及DDR46和DSP电路47的整体可以是音频输出设备370的示例。参照图4，视频路径延迟D1可以在时间点T<0>设置并报告给控制器40C(例如，图1所示的扬声器控制器110和图3所示的MCU 310)，以及处理解码器42、DAP电路43和音量44的延迟在时间点T<sys>完成，在此可以得到由解码器42、DAP电路43和音量44引入的延迟并报告给控制器40C。
在本实施例中，延迟调整电路45被配置为将时间戳映射到音频数据。DDR46耦接延迟调整电路45，用以存储音频数据连同时间戳。DSP电路47耦接于DDR 46，用以存取来自DDR46的音频数据，并处理音频数据以供视频设备(例如，图3所示的视频设备300)的内置扬声器在对应于时间戳的目标时间点T<out>播放。在一个实施例中，音频路径延迟D2可以通过T<sys>-T<0>来计算。在一些实施例中，音频路径延迟D2还可以包括延迟调整电路45、DDR 46和DSP电路47中的一个或多个引入的延迟。例如，从延迟调整电路45到DPS电路47的路径引入的总延迟可被预先估计，以及估计的结果在时间点T<sys>被添加到音频路径延迟D2，但是本发明不限于此。另外，无线扬声器延迟D3可以如前述实施例中说明的那样确定，其中无线扬声器延迟D3可以是图3所示的Wi-Fi路径的延迟的一个示例。
需要注意的是，当视频设备300的Wi-Fi电路390的TSF与无线音频设备400的Wi-Fi电路490的TSF同步时(例如，如图1的实施例，使T0＝T0')，MCU 310(例如控制器40C)可以根据视频设备300的Wi-Fi电路390的TSF产生时间映射信息。具体而言，MCU 310(例如，控制器40C)可以根据视频延迟、音频延迟和无线通信延迟确定目标时间点T<out>(可以是图1实施例中提到的T<acap>的一个例子)。例如，MCU 310(例如，控制器40C)可以确定视频路径延迟D1、音频路径延迟D2(例如，从解码器42到DSP电路47的路径引入的延迟)，以及无线扬声器延迟D3加上本地音频延迟(例如，由从解码器42到延迟调整电路45的路径引入的延迟)中的最大延迟作为流延迟，其中MCU 310(例如，控制器40C)可以根据流延迟产生目标时间点T<out>对应的时间戳，使音频数据在目标时间点T<out>播放，视频数据在目标时间点T<out>显示。此外，MCU 310(例如控制器40C)可根据目标时间点T<out>、视频设备300的Wi-Fi电路390的TSF以及系统时钟值(例如图1实施例中提到的系统时钟T1)。详细而言，目标时间点T<out>表示视频设备300的系统时钟域(例如，定时器140的时间域)中要显示视频数据或要播放音频数据的时间点，以及系统时钟值表示视频设备300的系统时钟域的时间点，在该时间点，视频设备300的Wi-Fi电路390的TSF与无线音频设备400的Wi-Fi电路490的TSF同步。视频设备300可以将音频数据连同时间映射信息(例如，图1的实施例中提到的时间信息Ts)发送到无线音频设备400，以借助时间映射信息，允许在无线音频设备400上播放的音频数据与视频设备300上显示的视频数据或视频设备300上播放的音频数据同步。本领域的技术人员应该可以通过参考图1和图2的实施例了解无线音频设备400如何借助时间映射信息来同步音频数据的播放，相关细节在此省略。
图5示出根据本发明的实施例的用于在视频设备(例如，图3所示的视频设备300)和无线音频设备(例如，图3所示的无线音频设备400)之间执行AV同步的方法的工作流程的图。需要说明的是，图5所示的工作流程仅用于说明目的，并不意味着对本发明的限制。如果可以得到相同的结果，在图5所示的工作流程中可以增加、删除或修改一个或多个步骤，此外，这些步骤不必按照图5所示的确切顺序执行。
在步骤S510中，视频设备可以利用其控制器来确定视频设备的视频处理路径的视频延迟。
在步骤S520中，视频设备可利用其控制器确定视频设备的音频处理路径的音频延迟。
在步骤S530中，视频设备可以利用其控制器从无线音频设备接收无线音频设备的通信质量信息，以根据该通信质量信息确定视频设备与无线音频设备之间的无线通信延迟。
在步骤S540中，视频设备可利用其控制器根据视频延迟、音频延迟和无线通信延迟产生时间映射信息。
在步骤S550中，视频设备可将时间映射信息从视频设备传送至无线音频设备，以在视频设备与无线音频设备之间进行音视频同步。
综上所述，本发明的实施例可以根据本地延迟和无线通信延迟与外部音频设备进行同步。此外，本地音频延迟可被精确估计，从而提高AV同步的精度，从而改善用户体验。另外，本发明实施例不会大幅增加整体成本。因此，本发明可以解决相关技术的问题而不引入任何副作用，或者以不太可能引入副作用的方式解决相关技术的问题。
本领域的技术人员将容易地观察到，在保留本发明的教导的同时，可以对装置和方法进行许多修改和改变。因此，上述公开应被解释为仅受所附权利要求的界限和边界的限制。

Claims (20)

1.一种音视频同步方法，用于在视频设备与无线音频设备之间进行音视频同步，包括：
利用所述视频设备的控制器确定所述视频设备的视频处理路径的视频延迟；
利用所述控制器确定所述视频设备的音频处理路径的音频延迟；
利用所述控制器从所述无线音频设备接收所述无线音频设备的通信质量信息，以根据所述通信质量信息确定所述视频设备与所述无线音频设备之间的无线通信延迟；
利用所述控制器根据所述视频延迟、所述音频延迟和所述无线通信延迟生成时间映射信息；以及
将所述时间映射信息从所述视频设备传输到所述无线音频设备，以在所述视频设备和所述无线音频设备之间进行音视频同步。
2.如权利要求1所述的音视频同步方法，其特征在于，所述视频处理路径包括视频解码器和至少一个视频处理电路，所述至少一个视频处理电路耦接于所述视频解码器的输出，以及所述视频延迟包括由所述视频解码器或所述至少一个视频处理电路引入的延迟。
3.如权利要求1所述的音视频同步方法，其特征在于，所述音频处理路径包括音频解码器和至少一个音频处理电路，所述至少一个音频处理电路耦接于音频解码器的输出，以及所述音频延迟包括由所述音频解码器或所述至少一个音频处理电路引入的延迟。
4.如权利要求3所述的音视频同步方法，其特征在于，所述至少一个音频处理电路包括：
延迟调整电路，用于将时间戳映射到音频数据；
存储设备，耦接于所述延迟调整电路，用于存储所述音频数据连同所述时间戳；以及
数字信号处理电路，耦接于所述存储设备，用以存取所述音频数据，以及处理所述音频数据以在对应所述时间戳的时间点由所述视频设备的内置扬声器播放；
其中，所述音频延迟包括所述延迟调整电路、所述存储设备或所述数字信号处理电路引入的延迟。
5.如权利要求1所述的音视频同步方法，其特征在于，所述无线音频设备根据从所述视频设备接收到的多个数据包生成所述通信质量信息。
6.如权利要求1所述的音视频同步方法，其特征在于，所述无线通信延迟的不同值分别对应于所述无线音频设备的不同通信质量。
7.如权利要求1所述的音视频同步方法，其特征在于，所述视频设备和所述无线音频设备中的每个包括无线保真电路，所述视频设备的所述无线保真电路的时序同步功能与所述无线音频的所述无线保真电路的时序同步功能同步，以及利用所述控制器根据所述视频延迟、所述音频延迟和所述无线通信延迟生成时间映射信息包括：
根据所述视频设备的所述无线保真电路的所述时序同步功能生成所述时间映射信息。
8.如权利要求7所述的音视频同步方法，其特征在于，利用所述控制器根据所述视频延迟、所述音频延迟和所述无线通信延迟生成所述时间映射信息包括：
根据所述视频延迟、所述音频延迟和所述无线通信延迟确定目标时间点；以及
根据所述目标时间点、所述视频设备的所述无线保真电路的所述时序同步功能以及系统时钟值生成所述时间映射信息；
其中，所述目标时间点表示视频设备的系统时钟域的时间点，在所述时间点，视频数据被显示以及所述音频数据被播放，以及所述系统时钟值表示所述视频设备的所述系统时钟域的时间点，在所述时间点，所述视频设备的所述无线保真电路的所述时序同步功能与所述无线音频设备的无线保真电路的所述时序同步功能同步。
9.如权利要求8所述的音视频同步方法，其特征在于，将所述时间映射信息从所述视频设备传输到所述无线音频设备，用于所述视频设备和所述无线音频设备之间的音视频同步包括：
将所述音频数据连同所述时间映射信息发送到所述无线音频设备，以借助所述时间映射信息使所述无线音频设备上播放的所述音频数据与所述视频设备上显示的所述视频数据或所述视频设备上播放的所述音频数据同步。
10.一种视频设备，用于与无线音频设备进行音视频同步，包括：
视频处理路径，用于处理视频数据进行显示；
音频处理路径，用于处理音频数据进行播放；以及
控制器，耦接于所述视频处理路径和所述音频处理路径，用于从所述无线音频设备接收所述无线音频设备的通信质量信息，以根据所述通信质量信息确定所述视频设备和所述无线音频之间的无线通信延迟；
其中，所述控制器根据所述视频处理路径的视频延迟、所述音频处理路径的音频延迟和所述无线通信延迟生成时间映射信息，以允许所述视频设备将所述时间映射信息传送到所述无线音频设备进行所述视频设备和所述无线音频设备之间的音视频同步。
11.如权利要求10所述的视频设备，其特征在于，所述视频处理路径包括视频解码器和至少一个视频处理电路，所述至少一个视频处理电路耦接于所述视频解码器的输出，以及所述视频延迟包括由所述视频解码器或所述至少一个视频处理电路引入的延迟。
12.如权利要求10所述的视频设备，其特征在于，所述音频处理路径包括音频解码器和至少一个音频处理电路，所述至少一个音频处理电路耦接于音频解码器的输出，以及所述音频延迟包括由所述音频解码器或所述至少一个音频处理电路引入的延迟。
13.如权利要求12所述的视频设备，其特征在于，所述至少一个音频处理电路包括：
延迟调整电路，用于将时间戳映射到音频数据；
存储设备，耦接于所述延迟调整电路，用于存储所述音频数据连同所述时间戳；以及
数字信号处理电路，耦接于所述存储设备，用以存取所述音频数据，以及处理所述音频数据以在对应所述时间戳的时间点由所述视频设备的内置扬声器播放；
其中，所述音频延迟包括所述延迟调整电路、所述存储设备或所述数字信号处理电路引入的延迟。
14.如权利要求10所述的视频设备，其特征在于，所述无线音频设备根据从所述视频设备接收到的多个数据包生成所述通信质量信息。
15.如权利要求10所述的用于音视频同步的视频设备，其特征在于，所述无线通信延迟的不同值分别对应于所述无线音频设备的不同通信质量。
16.如权利要求10所述的视频设备，其特征在于，所述视频设备和所述无线音频设备中的每个包括无线保真电路，所述视频设备的所述无线保真电路的时序同步功能与所述无线音频的所述无线保真电路的时序同步功能同步，以及利用所述控制器根据视频设备的所述无线保真电路的时序同步功能生成所述时间映射信息。
17.如权利要求16所述的视频设备，其特征在于，所述控制器根据所述视频延迟、所述音频延迟和所述无线通信延迟生成所述时间映射信息，以及所述时间映射信息根据所述目标时间点、所述视频设备的所述无线保真电路的所述时序同步功能以及系统时钟值生成；其中，所述目标时间点表示视频设备的系统时钟域的时间点，在所述时间点，视频数据被显示以及所述音频数据被播放，以及所述系统时钟值表示所述视频设备的所述系统时钟域的时间点，在所述时间点，所述视频设备的所述无线保真电路的所述时序同步功能与所述无线音频设备的无线保真电路的所述时序同步功能同步。
18.如权利要求17所述的视频设备，其特征在于，所述视频设备将所述音频数据连同所述时间映射信息发送到所述无线音频设备，以借助所述时间映射信息使所述无线音频设备上播放的所述音频数据与所述视频设备上显示的所述视频数据或所述视频设备上播放的所述音频数据同步。
19.一种无线音频设备，用于与视频设备进行音视频同步，包括：
无线通信电路，用于接收来自视频设备的多个数据包；
控制器，耦接于所述无线通信电路，用于生成所述无线音频设备的通信质量信息，其中，将所述通信质量信息报告给所述视频设备，以允许所述视频设备根据所述通信质量信息确定所述视频设备和所述无线音频设备之间的无线通信延迟；以及
音频输出设备，耦接于所述控制器，用于播放从所述视频设备接收的音频数据；
其中，所述视频设备将根据所述无线通信延迟生成的时间映射信息连同所述音频数据传输到所述无线音频设备，以借助所述时间映射信息使所述音频输出设备播放的所述音频数据与所述视频设备上播放的音频数据或所述视频设备显示的视频数据同步。
20.如权利要求19所述的无线音频设备，其特征在于，所述无线音频设备的不同通信质量分别对应于所述无线通信延迟的不同值。
CN202210899993.5A 2022-07-28 2022-07-28 在视频设备和无线音频设备之间进行音视频同步的方法及设备 Pending CN117528163A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210899993.5A CN117528163A (zh) 2022-07-28 2022-07-28 在视频设备和无线音频设备之间进行音视频同步的方法及设备
TW111142741A TWI813499B (zh) 2022-07-28 2022-11-09 在視訊設備和無線音訊設備之間進行音視訊同步的方法及設備
US18/226,794 US20240040065A1 (en) 2022-07-28 2023-07-27 Video device, wireless audio device and method for performing audio and video synchronization between video device and wireless audio device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210899993.5A CN117528163A (zh) 2022-07-28 2022-07-28 在视频设备和无线音频设备之间进行音视频同步的方法及设备

Publications (1)

Publication Number Publication Date
CN117528163A true CN117528163A (zh) 2024-02-06

Family

ID=88585978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210899993.5A Pending CN117528163A (zh) 2022-07-28 2022-07-28 在视频设备和无线音频设备之间进行音视频同步的方法及设备

Country Status (3)

Country Link
US (1) US20240040065A1 (zh)
CN (1) CN117528163A (zh)
TW (1) TWI813499B (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200829009A (en) * 2006-12-22 2008-07-01 Benq Corp Playback system capable of synchronizing playback of video signal and playback of audio signal and method thereof
US8736700B2 (en) * 2010-09-30 2014-05-27 Apple Inc. Techniques for synchronizing audio and video data in an image signal processing system

Also Published As

Publication number Publication date
TWI813499B (zh) 2023-08-21
US20240040065A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
JP7120997B2 (ja) オーディオとビデオのマルチモード同期レンダリング
US9479324B2 (en) Information processing apparatus, synchronization correction method and computer program
US8199780B2 (en) Multimedia apparatus and synchronization method thereof
US8873928B2 (en) Audio and video synchronization apparatus and method in wireless communication network
EP3118855B1 (en) Audio synchronous playing method, device and system
AU2012311373B2 (en) Method and apparatus for time synchronisation in wireless networks
KR100902013B1 (ko) 타일드 디스플레이 시스템 및 상기 시스템에서의 동기화방법
CN108366283B (zh) 多设备间的媒体同步播放方法
US20090180755A1 (en) Video/Audio Reproducing Apparatus
KR20110103332A (ko) 전송 장치 및 전송 방법
US20120159026A1 (en) Synchronous control system including a master device and a slave device, and synchronous control method for controlling the same
US11323766B2 (en) Method and device for providing audio/video content to a rendering device
US20200014969A1 (en) User interface for multimode synchronous rendering of headphone audio and video
CN114040237A (zh) 音频视频同步播放方法、终端、多媒体播放系统及介质
US20080013512A1 (en) Wireless Communication System
JP2015130662A (ja) Ａｖ機器及びその制御方法
KR20150089949A (ko) 복수의 스마트 장치에 의한 동기 재생 방법 및 기기
KR101888464B1 (ko) 다중 동기화를 지원하는 멀티비전 시스템
JP2018074480A (ja) 受信端末及びプログラム
CN117528163A (zh) 在视频设备和无线音频设备之间进行音视频同步的方法及设备
TW202406354A (zh) 在視訊設備和無線音訊設備之間進行音視訊同步的方法及設備
EP1528719A1 (en) Data output device, data transmitting device, data processing system, data output method, data transmitting method, data processing method, their programs and recording media storing these programs
JP2007274623A (ja) 放送受信装置及び放送受信方法
US10917465B2 (en) Synchronization setting device and distribution system
CN108632557B (zh) 一种音视频同步的方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination