CN113286184A - 一种在不同设备上分别播放音频与视频的唇音同步方法 - Google Patents

一种在不同设备上分别播放音频与视频的唇音同步方法 Download PDF

Info

Publication number
CN113286184A
CN113286184A CN202110568007.3A CN202110568007A CN113286184A CN 113286184 A CN113286184 A CN 113286184A CN 202110568007 A CN202110568007 A CN 202110568007A CN 113286184 A CN113286184 A CN 113286184A
Authority
CN
China
Prior art keywords
video
audio
playing
sending end
round trip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110568007.3A
Other languages
English (en)
Other versions
CN113286184B (zh
Inventor
范圣冲
高新媛
白刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sailian Information Technology Co ltd
Original Assignee
Shanghai Sailian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sailian Information Technology Co ltd filed Critical Shanghai Sailian Information Technology Co ltd
Priority to CN202110568007.3A priority Critical patent/CN113286184B/zh
Publication of CN113286184A publication Critical patent/CN113286184A/zh
Application granted granted Critical
Publication of CN113286184B publication Critical patent/CN113286184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Abstract

本发明公开了一种在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，包括使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。本发明设计的唇音同步播放机制，可以应对99％的网络抖动情况，保证在网络质量不稳定时，在不同设备上的音视频仍然可以同步播放。

Description

一种在不同设备上分别播放音频与视频的唇音同步方法
本申请是2018年10月17日提交的，申请号为201811210525.2，名称为“一种在不同设备上分别播放音频与视频的唇音同步方法”的发明专利的分案申请。
技术领域
本发明涉及多媒体技术领域，具体而言，涉及一种在不同设备上分别播放音频与视频的唇音同步方法。
背景技术
在视频会议场景中，每个参会的终端都接收来自于其他参会者的视频和音频码流，并通过本地的图像显示设备(比如显示屏)和声音播放设备(比如扬声器)把接收到的视频和音频进行显示和播放。由于音视频码流是由同一设备接收并且播放的，所以相应的音频和视频图像在播放时是唇音同步的，即视频图像中参会者说话时的口型与对应的声音是一致的。
但在没有人为干预的情况下，声音和视频的播放时间由于IP网络的不稳定性，有可能是不一致的。导致用户感受到的声音和视频不同步，即唇音不同步。
例如在一些特定场景下(如图1-2)，对音视和视频的接收和播放有时需要在不同的设备上进行，比如视频图像的接收是由会议室中的视频终端完成的，而音频的接收，则是由与该终端通过某种方式配对连接的无线麦克风+音箱完成的；或者如智能终端一体机NE60是一款适合桌面或者小型会议室使用的音视频通讯设备，触屏操控，方便易用，它可以同ME终端配对，实现利用桌面上的NE60上的音频设备来播放声音，而通过与ME终端相连接的电视屏幕输出视频图像。在这些场景下，声音和视频就会从不同的设备上接收并进行播放和显示。由于两个独立的设备通过IP网络接收音视频数据码流，而IP网络的不稳定性，声音和视频到达不同设备的时间可能是不同的，如果每个设备直接播放所接收到的音视频码流，就会存在音视频不同步的问题，即所显示的参会者说话时的口型与所对应的声音是不一致的。
本发明解决的就是在使用IP网络条件下分别传输声音和视频数据到不同设备时，进行音视频同步播放的问题。
发明内容
本发明提出了一种在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，其特征在于，所述方法包括，
使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。
进一步的，音频播放设备和视频播放设备为声音和视频各自维护了一个缓冲队列，待缓冲一定数量的数据包之后，再通过所述同步机制进行播放。
进一步的，其还包括将所述声音播放设备在同步机制中设为主动方，其从本地的缓冲队列中均匀地播放声音数据，同时按一时间周期定期地向视频显示设备发送同步消息，把当前正在播放的声音数据的采集时间戳同步给视频显示设备，视频显示设备根据所收到的时间戳来控制视频数据的缓冲队列长度，进行适度播放，从而保证声音和视频的同步
进一步的，所述声音播放设备每播放一所述时间周期的数据，就向视频播放设备发送一个同步消息，所述视频播放设备收到同步消息后，返回一个确认消息至所述发送端，所述确认消息中包括接收到的来自于音频播放设备的当前发送时间戳；当确认消息被发送端接收到时，发送端用当前接收的系统时间减去发送时的系统时间以确认在当前网络下的往返延时值Δ；
所述发送端每隔一加权周期对所述往返延时值Δ进行加权处理后发送至所述声音播放设备，所述声音播放设备将采集时间戳加上当前的加权处理后的往返延时值Δ后发送至所述视频播放设备，所述视频播放设备按照该时间戳进行视频的同步播放。
进一步的，所述对所述往返延时值Δ进行加权处理包括，将往返延时值Δ除以2得到单向延时值并对所述单向延时值采用滤波算法处理。
进一步的，所述滤波算法包括，将一段时间内的单向延时值进行加权平均以得到滤波处理后的单向延时值。
优选或可选的，其还包括将所述视频播放设备在同步机制中设为主动方，并通过视频播放设备收集音视频不同步的差值，并对其进行滤波后将所述差值与一预设阈值进行比较，当所述差值大于所述预设阈值时将此偏差值发送给声音播放设备并根据该偏差值会将声音播放设备的缓冲队列增加相应的长度。
在没有人为干预的情况下，声音和视频的播放时间由于IP网络的不稳定性，有可能是不一致的。导致用户感受到的声音和视频不同步，即唇音不同步。而基于以上方法设计的唇音同步播放机制，可以应对99％的网络抖动情况，保证在网络质量不稳定时，在不同设备上的音视频仍然可以同步播放。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。
图1是本发明的应用场景一示意图；
图2是本发明的应用场景二示意图；
图3是本发明的同步机制—音频播放设备向视频播放设备发送同步消息示意图；
图4是本发明的同步机制—视频播放设备向音频播放设备发送同步消息示意图。
具体实施方式
为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。
实施例一：
本发明提出了一种在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，其特征在于，所述方法包括，
使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。
进一步的，音频播放设备和视频播放设备为声音和视频各自维护了一个缓冲队列，待缓冲一定数量的数据包之后，再通过所述同步机制进行播放。
进一步的，其还包括将所述声音播放设备在同步机制中设为主动方，其从本地的缓冲队列中均匀地播放声音数据，同时按一时间周期定期地向视频显示设备发送同步消息，把当前正在播放的声音数据的采集时间戳同步给视频显示设备，视频显示设备根据所收到的时间戳来控制视频数据的缓冲队列长度，进行适度播放，从而保证声音和视频的同步
进一步的，所述声音播放设备每播放一所述时间周期的数据，就向视频播放设备发送一个同步消息，所述视频播放设备收到同步消息后，返回一个确认消息至所述发送端，所述确认消息中包括接收到的来自于音频播放设备的当前发送时间戳；当确认消息被发送端接收到时，发送端用当前接收的系统时间减去发送时的系统时间以确认在当前网络下的往返延时值Δ；
所述发送端每隔一加权周期对所述往返延时值Δ进行加权处理后发送至所述声音播放设备，所述声音播放设备将采集时间戳加上当前的加权处理后的往返延时值Δ后发送至所述视频播放设备，所述视频播放设备按照该时间戳进行视频的同步播放。
进一步的，所述对所述往返延时值Δ进行加权处理包括，将往返延时值Δ除以2得到单向延时值并对所述单向延时值采用滤波算法处理。所述滤波算法包括，将一段时间内的单向延时值进行加权平均以得到滤波处理后的单向延时值。
当然，所述滤波方法只是一种示例，其他可选用的滤波方法也可以作为替换，但本方法经实验在本实施例中效果较佳或者最佳而作为推荐。
实施例二：
本发明提出了一种在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，其特征在于，所述方法包括，
使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。
进一步的，音频播放设备和视频播放设备为声音和视频各自维护了一个缓冲队列，待缓冲一定数量的数据包之后，再通过所述同步机制进行播放。
在本实施例中，所述方法还包括将所述视频播放设备在同步机制中设为主动方，并通过视频播放设备收集音视频不同步的差值，并对其进行滤波后将所述差值与一预设阈值进行比较，当所述差值大于所述预设阈值时将此偏差值发送给声音播放设备并根据该偏差值会将声音播放设备的缓冲队列增加相应的长度。其中的滤波处理方法类同前一实施例，或者可以采用本领域常见的其他滤波方法，再次不再赘述。
实施例三：
在本实施例中，为解决唇音不同步问题，需要在音视频码流的发送端，对其发送的数据包增加时间戳信息，即在每个发送出去的音视频数据包中都携带其采集时的时间戳信息，在同一时刻Tx采集的音频数据包和视频数据包，其携带的时间戳是相同的，都是TSx。
在接收端，由于音频和视频分别是由不同的设备进行接收和播放，因此在接收端的两个设备都可以分别提取出音频和视频数据包中的采集时间戳。为了应对网络抖动而导致的音视频播放不同步的现象，在接收端的两个不同设备上为声音和视频各自维护了一个缓冲队列，旨在减轻网络抖动的影响，以一定的延时换取播放时的平滑和同步。接收设备在收到音视频码流后，并不是直接无条件播放，而是先放到缓冲队列中，待缓冲一定数量的数据包之后，再通过同步机制进行播放。
本发明把声音播放设备A1在同步机制中设为主动方，它默认会从本地的缓冲队列中均匀地播放声音数据，同时，它还定期地(每隔20ms)向视频显示设备V1发送同步消息，把当前正在播放的声音数据的采集时间戳同步给视频显示设备V1，视频显示设备根据所收到的时间戳来控制视频数据的缓冲队列长度，进行适度播放，从而保证声音和视频的同步。(图三)
由于A1和V1之间的同步消息也是利用IP网络发送传输的，也存在一定的系统延时，以及由于网络抖动而造成的随机延时。因此需要采取如下方法消除同步消息延时所带来的误差：
声音播放设备A1每播放20ms的数据，就向视频播放设备V1发送一个同步消息。同步消息中的数据包中携带这个包在发送时，声音播放设备A1的本地系统时间戳LT1，和本地播放音频数据的原始采集时间戳TS1。视频播放设备V1收到同步消息后，会立刻返回一个确认消息。确认消息中的数据包中携带接收到的来自于音频播放设备A1的发送时间戳LT1。当确认消息被发送端接收到时，发送端用当前接收的系统时间LT2减去发送时的系统时间LT1，即可确认在当前网络下在A1与V1之间的往返延时值Δ。往返延时值Δ除以2，即为单向延时值。在得到了每个包的单向延时值后，采用滤波算法对数据进行处理，比如将一段时间内的单向延时值进行加权平均，用此值作为延时补偿Δ1。在获得了延时值Δ1后，在A1下一次向V1发送同步消息时，将修改数据包中的声音采集时间戳，将其由原始值TS2改为TS2+Δ1。视频播放设备V1将收到修改过的声音数据时间戳TS2+Δ1，将按照这一时间戳进行视频的同步播放。IP网络的传输延时的抖动有时比较大，单次计算的单向延时值Δ可能会变化频繁。但由于通过一段时间内对每个同步数据包都参与延时值的计算，经过滤波后的延时数据可以在速度和精确度上都达到比较好的效果。
正常情况下，由于视频图像数据所占用带宽会比声音数据高很多(即视频数据包要比音视频数据包大很多)，所以在传输过程中，通常是声音数据比图像数据传输得更快，更早被接收端设备接收到并开始播放。在一些极端情况下，比如视频数据包传输过慢，延迟过大，会导致图像设备V1的缓冲队列中已缓存的视频数据全部已被播放，没有新的数据到达，队列完全为空。此时从声音播放设备A1发来的单向同步消息也无法保证音视频同步。因此，需要在视频播放设备V1上收集音视频不同步的差值，并对其进行滤波消除抖动干扰。如果发现较长时间的偏差过大，则会将此偏差值发送给声音播放设备A1。声音播放设备A1会将自己的缓冲队列增加相应的长度，相当于让更多的声音数据包进入缓冲队列，来等待视频数据的成功接收，以保证最终的音视频同步。(图四)
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统或设备等均是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种阶段。而且，关于某些配置描述的特征可以以各种其他配置组合。可以以类似的方式组合配置的不同方面和元素。此外，随着技术的发展许多元素仅是示例而不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路、过程、算法、结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
此外，尽管每个操作可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新排列操作的顺序。一个过程可能有其他步骤。此外，可以通过硬件、软件、固件、中间件、代码、硬件描述语言或其任何组合来实现方法的示例。当在软件、固件、中间件或代码中实现时，用于执行必要任务的程序代码或代码段可以存储在诸如存储介质的非暂时性计算机可读介质中，并通过处理器执行所描述的任务。
综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，所述权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，其特征在于，所述方法包括，
使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息；
其中，所述音频播放设备每播放一时间周期的数据，就向视频播放设备发送一个同步消息，所述视频播放设备收到同步消息后，返回一个确认消息至所述发送端，所述确认消息中包括接收到的来自于音频播放设备的当前发送时间戳；当确认消息被发送端接收到时，发送端用当前接收的系统时间减去发送时的系统时间以确认在当前网络下的往返延时值Δ；
所述发送端每隔一加权周期对所述往返延时值Δ进行加权处理后发送至所述音频播放设备，所述音频播放设备将采集时间戳加上当前的加权处理后的往返延时值Δ后发送至所述视频播放设备，所述视频播放设备按照该时间戳进行视频的同步播放。
2.如权利要求1所述的方法，其特征在于，所述对所述往返延时值Δ进行加权处理包括，将往返延时值Δ除以 2 得到单向延时值并对所述单向延时值采用滤波算法处理。
3.如权利要求 2所述的方法，其特征在于，所述滤波算法包括，将一段时间内的单向延时值进行加权平均以得到滤波处理后的单向延时值。
4.如权利要求1所述的方法，其特征在于，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。
5.如权利要求1所述的方法，其特征在于，音频播放设备和视频播放设备为声音和视频各自维护了一个缓冲队列，待缓冲一定数量的数据包之后，再通过所述同步机制进行播放。
6.如权利要求1所述的方法，其特征在于，其中将所述音频播放设备在同步机制中设为主动方，其从本地的缓冲队列中均匀地播放声音数据，同时按一时间周期定期地向视频显示设备发送同步消息，把当前正在播放的声音数据的采集时间戳同步给视频显示设备，视频显示设备根据所收到的时间戳来控制视频数据的缓冲队列长度进行播放，从而保证声音和视频的同步。
7.在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，其特征在于，所述方法包括，
使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息；
所述音频播放设备每播放一时间周期的数据，就向视频播放设备发送一个同步消息，所述视频播放设备收到同步消息后，返回一个确认消息至所述发送端，所述确认消息中包括接收到的来自于音频播放设备的当前发送时间戳；当确认消息被发送端接收到时，发送端用当前接收的系统时间减去发送时的系统时间以确认在当前网络下的往返延时值Δ；
所述发送端每隔一加权周期对所述往返延时值Δ进行加权处理后发送至所述音频播放设备，所述音频播放设备将采集时间戳加上当前的加权处理后的往返延时值Δ后发送至所述视频播放设备，所述视频播放设备按照该时间戳进行视频的同步播放；其特征在于，其还包括将所述视频播放设备在同步机制中设为主动方，并通过视频播放设备收集音视频不同步的差值，并对其进行滤波后将所述差值与一预设阈值进行比较，当所述差值大于所述预设阈值时将此偏差值发送给音频播放设备并根据该偏差值会将音频播放设备的缓冲队列增加相应的长度。
8.如权利要求6所述的方法，其特征在于，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。
9.如权利要求6所述的方法，其特征在于，音频播放设备和视频播放设备为声音和视频各自维护了一个缓冲队列，待缓冲一定数量的数据包之后，再通过所述同步机制进行播放。
CN202110568007.3A 2018-10-17 2018-10-17 一种在不同设备上分别播放音频与视频的唇音同步方法 Active CN113286184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110568007.3A CN113286184B (zh) 2018-10-17 2018-10-17 一种在不同设备上分别播放音频与视频的唇音同步方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811210525.2A CN109168059B (zh) 2018-10-17 2018-10-17 一种在不同设备上分别播放音频与视频的唇音同步方法
CN202110568007.3A CN113286184B (zh) 2018-10-17 2018-10-17 一种在不同设备上分别播放音频与视频的唇音同步方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811210525.2A Division CN109168059B (zh) 2018-10-17 2018-10-17 一种在不同设备上分别播放音频与视频的唇音同步方法

Publications (2)

Publication Number Publication Date
CN113286184A true CN113286184A (zh) 2021-08-20
CN113286184B CN113286184B (zh) 2024-01-30

Family

ID=64878546

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811210525.2A Active CN109168059B (zh) 2018-10-17 2018-10-17 一种在不同设备上分别播放音频与视频的唇音同步方法
CN202110568007.3A Active CN113286184B (zh) 2018-10-17 2018-10-17 一种在不同设备上分别播放音频与视频的唇音同步方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811210525.2A Active CN109168059B (zh) 2018-10-17 2018-10-17 一种在不同设备上分别播放音频与视频的唇音同步方法

Country Status (1)

Country Link
CN (2) CN109168059B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819303B (zh) * 2019-03-06 2021-04-23 Oppo广东移动通信有限公司 数据输出方法及相关设备
CN114827696B (zh) * 2021-01-29 2023-06-27 华为技术有限公司 一种跨设备的音视频数据同步播放的方法和电子设备
CN114124631B (zh) * 2021-11-15 2023-10-27 四川九洲空管科技有限责任公司 适用于机载客舱嵌入式设备间音频同步控制的处理方法
CN114173208A (zh) * 2021-11-30 2022-03-11 广州番禺巨大汽车音响设备有限公司 基于hdmi接口的音箱系统音视频播放控制方法及装置
CN114554270A (zh) * 2022-02-28 2022-05-27 维沃移动通信有限公司 音视频播放方法及其装置
CN114827681B (zh) * 2022-04-24 2024-03-22 咪咕视讯科技有限公司 视频同步方法、装置、电子设备、终端设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070002902A1 (en) * 2005-06-30 2007-01-04 Nokia Corporation Audio and video synchronization
CN101212690A (zh) * 2006-12-26 2008-07-02 中兴通讯股份有限公司 多媒体视音频流唇音同步的调测方法
CN101237586A (zh) * 2008-02-22 2008-08-06 上海华平信息技术股份有限公司 音视频缓存同步播放的方法
CN103269448A (zh) * 2013-05-24 2013-08-28 浙江工商大学 基于rtp/rtcp反馈预警算法实现音视频同步方法
CN103905878A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备
CN103905880A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 音视频数据的播放方法、智能电视和移动设备
CN104618786A (zh) * 2014-12-22 2015-05-13 深圳市腾讯计算机系统有限公司 音视频同步方法和装置
CN104735470A (zh) * 2015-02-11 2015-06-24 海信集团有限公司 一种流媒体数据传输方法及装置
US20150281524A1 (en) * 2014-03-25 2015-10-01 Hon Hai Precision Industry Co., Ltd. Apparatus and method for synchronizing audio-video
US20160286260A1 (en) * 2015-03-24 2016-09-29 Intel Corporation Distributed media stream synchronization control
CN106792073A (zh) * 2016-12-29 2017-05-31 北京奇艺世纪科技有限公司 跨设备的音视频数据同步播放的方法、播放设备及系统
CN106791271A (zh) * 2016-12-02 2017-05-31 福建星网智慧科技股份有限公司 一种音视频同步方法
CN107801080A (zh) * 2017-11-10 2018-03-13 普联技术有限公司 一种音视频同步方法、装置及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024517A (zh) * 2012-12-17 2013-04-03 四川九洲电器集团有限责任公司 一种基于并行处理的流媒体音视频同步播放方法
CN104853239B (zh) * 2015-04-27 2018-08-31 浙江生辉照明有限公司 音视频同步播放控制方法和系统
US10015103B2 (en) * 2016-05-12 2018-07-03 Getgo, Inc. Interactivity driven error correction for audio communication in lossy packet-switched networks
CN106658135B (zh) * 2016-12-28 2019-08-09 北京奇艺世纪科技有限公司 一种音视频播放方法及装置
CN108377406B (zh) * 2018-04-24 2020-12-22 海信视像科技股份有限公司 一种调整音画同步的方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070002902A1 (en) * 2005-06-30 2007-01-04 Nokia Corporation Audio and video synchronization
CN101212690A (zh) * 2006-12-26 2008-07-02 中兴通讯股份有限公司 多媒体视音频流唇音同步的调测方法
CN101237586A (zh) * 2008-02-22 2008-08-06 上海华平信息技术股份有限公司 音视频缓存同步播放的方法
CN103269448A (zh) * 2013-05-24 2013-08-28 浙江工商大学 基于rtp/rtcp反馈预警算法实现音视频同步方法
CN103905878A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备
CN103905880A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 音视频数据的播放方法、智能电视和移动设备
US20150281524A1 (en) * 2014-03-25 2015-10-01 Hon Hai Precision Industry Co., Ltd. Apparatus and method for synchronizing audio-video
CN104618786A (zh) * 2014-12-22 2015-05-13 深圳市腾讯计算机系统有限公司 音视频同步方法和装置
CN104735470A (zh) * 2015-02-11 2015-06-24 海信集团有限公司 一种流媒体数据传输方法及装置
US20160286260A1 (en) * 2015-03-24 2016-09-29 Intel Corporation Distributed media stream synchronization control
CN106791271A (zh) * 2016-12-02 2017-05-31 福建星网智慧科技股份有限公司 一种音视频同步方法
CN106792073A (zh) * 2016-12-29 2017-05-31 北京奇艺世纪科技有限公司 跨设备的音视频数据同步播放的方法、播放设备及系统
CN107801080A (zh) * 2017-11-10 2018-03-13 普联技术有限公司 一种音视频同步方法、装置及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIANYU DONG: "AVP: a highly efficient real-time protocol for multimedia communications on Internet", 《 PROCEEDINGS INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY: CODING AND COMPUTING》 *
刘丽霞;边金松;张;穆森;: "基于FFMPEG解码的音视频同步实现", 计算机工程与设计, no. 06 *
张宇: "基于RTSP的音视频传输系统研究与实现", 《中国优秀硕士论文电子期刊网》 *
贾世杰, 王茹香, 邵玉琴: "软件视频会议中录播功能实现方案浅析", 计算机与现代化, no. 09 *

Also Published As

Publication number Publication date
CN109168059B (zh) 2021-06-18
CN109168059A (zh) 2019-01-08
CN113286184B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN109168059B (zh) 一种在不同设备上分别播放音频与视频的唇音同步方法
CN106686438B (zh) 一种跨设备的音频图像同步播放的方法、装置及系统
CN111010614A (zh) 一种显示直播字幕的方法、装置、服务器及介质
CN112351294A (zh) 一种云导播多机位间帧同步方法及系统
EP2538689A1 (en) Adaptive media delay matching
US10362173B2 (en) Web real-time communication from an audiovisual file
CN109379619A (zh) 音画同步方法及装置
AU2022252735B2 (en) Method and apparatus for synchronizing applications' consumption of remote data
US11368634B2 (en) Audio stream and video stream synchronous switching method and apparatus
CN107438990B (zh) 用于递送定时信息的方法和设备
CN112291498A (zh) 音视频数据传输的方法、装置和存储介质
CN106331820B (zh) 音视频的同步处理方法和装置
US10382810B2 (en) Method and device for implementing synchronous playing
CN101137066B (zh) 一种多媒体数据流同步控制的方法及装置
JP2017147594A (ja) オーディオ機器
CN112995720B (zh) 一种音视频同步方法和装置
JP2015012557A (ja) 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム
CN102932673B (zh) 一种视频信号和音频信号的传输合成方法、系统及装置
JP5186094B2 (ja) 通信端末、マルチメディア再生制御方法、およびプログラム
CN116112720A (zh) 一种基于ptp网络同步的超高清音视频同步系统
JP5340880B2 (ja) 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム
CN113645491A (zh) 一种多个直播播放端实现实时同步播放的方法
CN114095771B (zh) 一种音视频同步方法、存储介质及电子设备
CN115174978B (zh) 一种3d数字人的音画同步方法及电子设备
JP2010219783A (ja) 通信端末、通信方法およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant