CN111726669A - 一种分布式解码设备及其音视频同步的方法 - Google Patents

一种分布式解码设备及其音视频同步的方法 Download PDF

Info

Publication number
CN111726669A
CN111726669A CN201910204274.5A CN201910204274A CN111726669A CN 111726669 A CN111726669 A CN 111726669A CN 201910204274 A CN201910204274 A CN 201910204274A CN 111726669 A CN111726669 A CN 111726669A
Authority
CN
China
Prior art keywords
audio
video
data
time
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910204274.5A
Other languages
English (en)
Other versions
CN111726669B (zh
Inventor
薛烽
乔莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201910204274.5A priority Critical patent/CN111726669B/zh
Publication of CN111726669A publication Critical patent/CN111726669A/zh
Application granted granted Critical
Publication of CN111726669B publication Critical patent/CN111726669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种分布式解码设备及其音视频同步的方法，当分布式解码设备内部分CPU不支持音频输出时，可将该路码流发送到支持音频输出的CPU上进行解码，视频数据仍由之前所属的CPU去解码。可以达到不同CPU之间的音视频同步，这样只要整个分布式解码设备内有一个CPU支持音频输出则可保证整个分布式解码设备支持音频输出，在实现该路码流音视频同步的同时，极大的降低了硬件成本。外接扩音设备只要始终连接在该CPU所属的音频输出通道上即可，配置上更加简单易用。

Description

一种分布式解码设备及其音视频同步的方法
技术领域
本发明属于音视频解码技术领域，尤其涉及一种分布式解码设备及其音视频同步的方法。
背景技术
在视频监控系统中，经常需要通过解码设备，将某一相机采集的音视频信号进行解码输出，为了增加解码设备的解码能力，会采用分布式系统将多个CPU集成在同一设备中，或将多台解码设备进行级联，从而增加整个系统的解码及输出性能。在分布式解码设备中，包括一个主CPU和多个从CPU，所有CPU的业务都由主CPU分发配置，主CPU和从CPU之间可以通过某种方式进行通信(如PCIE，网路通信)。
在这种情况下，为了保证音视频的同步，传统做法是保证音视频在同一个设备的同一个CPU进行解码，若想实现任意输出通道的视音频同步输出，必须保证每一个CPU或每一个解码设备都支持音频输出，否则该CPU或该设备上只能输出视频，无法输出音频，对设备要求较高，使用限制较多，且配置比较复杂(音箱必须连接到支持音频输出的指定设备的指定通道才可输出音频，若要更换解码CPU则必须将音箱重新连接到指定的CPU通道上)。
现有技术为了保证音视频同步，在同一解码设备上，将新到的音频帧的时间戳作为同步的基准与视频帧的时间戳进行比较，如果它们之间的差值小于设定阈值时，音频帧和视频帧达到同步，顺序播放视频帧；否则对视频帧进行丢帧或者重复播放的操作使得音视频帧之间同步。但是这种技术方案只能应用于音视频在同一CPU上进行解码的情况，无法应用于分布式系统中，并且只有一级同步操作，同步性较差。特别在丢包环境下，音视频同步性较差。
发明内容
本发明的目的是提供一种分布式解码设备及其音视频同步的方法，解决了现有技术只能在同一CPU上进行音视频解码，而导致在分布式解码设备中音视频同步性较差的问题。
为了实现上述目的，本发明技术方案如下：
一种分布式解码设备音视频同步的方法，所述分布式解码设备包括主CPU和从CPU，所述分布式解码设备音视频同步的方法，包括：
分布式解码设备的主CPU接收音视频码流，以收到的第一个音视频帧或丢包后的第一个音视频帧为基准帧，根据主CPU的时间和音视频码流自带时间戳为每个收到的音视频帧重新设定时间戳；
分布式解码设备的主CPU将音频数据发送到支持音频输出的CPU去解码，将视频数据发送到视频输出口所属的CPU去解码；
处理音频数据和视频数据的CPU接收到数据后，根据自己的时间与主CPU的时间差值，重新调整时间戳。
进一步地，所述分布式解码设备音视频同步的方法，还包括：
处理音频数据和视频数据的CPU分别对接收到的数据进行解码后，将解码后的数据存入缓存，计算刚进入缓存的音频或视频的时间戳与即将播放的音频或视频的时间戳的差值，若该差值与缓存内音频或视频的可播放时长的差的绝对值小于等于预设的阈值，则依次播放缓存内的各个音视频帧，否则填充静音数据或丢掉视频帧后进行播放。
进一步地，所述根据主CPU的时间和音视频码流自带时间戳为每个收到的音视频帧重新设定时间戳，包括：
将基准帧对应的主CPU的时间T0乘以转换参数K，转化为以Tick为单位，记为Tick0＝T0*K；
设置基准帧的时间戳为PTS0＝Tick0+DelayTick，DelayTick为延时时间戳；
设置第n个音视频帧的时间戳为PTSn＝PTS0+△Tickn，其中△Tickn＝(Tsn-Ts0)*K/F，F为视频采样频率，Tsn为第n个音视频帧对应的自带时间戳，Ts0为基准帧对应的自带时间戳。
进一步地，所述若该差值与缓存内音频或视频的可播放时长的差的绝对值小于等于预设的阈值，则依次播放缓存内的各个音视频帧，否则填充静音数据或丢掉音频帧后进行播放，包括：
将刚进入缓存的音频或视频的时间戳与即将播放的音频或视频的时间戳的差值表示为△t；
若△t减去缓存内音频或视频的可播放时长的差大于预设的阈值，则填充静音数据后进行播放；
若缓存内音频或视频的可播放时长减去△t的差大于预设的阈值，则丢掉音频帧后进行播放。
进一步地，所述填充静音数据，填充的数据量为△t减去缓存内音频或视频的可播放时长的差乘以单位时间播放的字节数；所述丢掉音频帧，丢掉的数据量为缓存内音频或视频的可播放时长减去△t的差乘以单位时间播放的字节数。
本发明还提出了一种分布式解码设备，其特征在于，所述分布式解码设备包括主CPU和从CPU，其中：
分布式解码设备的主CPU接收音视频码流，以收到的第一个音视频帧或丢包后的第一个音视频帧为基准帧，根据主CPU的时间和音视频码流自带时间戳为每个收到的音视频帧重新设定时间戳；
分布式解码设备的主CPU将音频数据发送到支持音频输出的CPU去解码，将视频数据发送到视频输出口所属的CPU去解码；
处理音频数据和视频数据的CPU接收到数据后，根据自己的时间与主CPU的时间差值，重新调整时间戳。
本发明提出的一种分布式解码设备及其音视频同步的方法，当分布式解码设备内部分CPU不支持音频输出时，可将该路码流发送到支持音频输出的CPU上进行解码，视频数据仍由之前所属的CPU去解码。可以达到不同CPU之间的音视频同步，这样只要整个分布式解码设备内有一个CPU支持音频输出则可保证整个分布式解码设备支持音频输出，在实现该路码流音视频同步的同时，极大的降低了硬件成本。外接扩音设备只要始终连接在该CPU所属的音频输出通道上即可，配置上更加简单易用。
附图说明
图1为本发明实施例分布式解码设备的一种结构示意图；
图2为本发明实施例分布式解码设备的另一种结构示意图；
图3为本发明实施例分布式解码设备音视频同步的方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请提供的一种分布式解码设备音视频同步的方法，可以应用于如图1、图2所示的分布式解码设备中。在图1中，多个CPU集成在一个解码设备中，形成分布式解码设备，此时选取该设备的其中一个CPU作为主CPU，这个设备中只需要有一个CPU支持音频输出即可。在图2中，多个解码设备进行级联，形成分布式解码设备(或称为分布式解码系统)，此时选择多个解码设备其中某台设备的某个CPU作为主CPU，其余CPU均作为从CPU，整个分布式解码设备中只需要有一个CPU支持音频输出即可。
在一个实施例中，如图3所示，一种分布式解码设备音视频同步的方法，其中的分布式解码设备包括主CPU和从CPU，该方法包括：
分布式解码设备的主CPU接收音视频码流，以收到的第一个音视频帧或丢包后的第一个音视频帧为基准帧，根据主CPU的时间和音视频码流自带的时间戳为每个收到的音视频帧重新设定时间戳；
分布式解码设备的主CPU将音频数据发送到支持音频输出的CPU，将视频数据发送到视频输出口所属的CPU去解码；
处理音频数据和视频数据的CPU接收到数据后，根据自己的时间与主CPU的时间差值，重新调整时间戳。
在本实施例中，分布式解码设备从网络接收音视频码流，解码后从视频输出口输出，分布式解码设备上的视频输出口都有其所属的CPU，主CPU接收音视频数据后根据最终要输出的视频输出口选择对应的CPU进行解码，也即将视频数据发送到视频输出口所属的CPU去解码。
主CPU接收音视频码流，以收到的第一个音视频帧或丢包后的第一个音视频帧为基准帧，根据主CPU的时间和音视频码流自带时间戳为每个收到的音视频帧重新设定时间戳，是本申请分布式解码设备音视频同步的方法的第一级调整。
在第一级调整中，主CPU依据自身系统时间，重新打时间戳，保证音视频播放的流畅性，特别是网络状态不好时，音视频的流畅性。具体地，音视频码流发送到主CPU上，主CPU可以获得该音视频码流内自带时间戳记为Tsn。当设备收到第一个音视频帧时，主CPU的时间记为T0，以T0作为基准，对收到的音视频码流重新打时间戳。计算方法如下：
将基准帧对应的主CPU的时间T0乘以转换参数K，转化为以Tick为单位，记为Tick0＝T0*K；
设置基准帧的时间戳为PTS0＝Tick0+DelayTick，DelayTick为延时时间戳；
设置第n个音视频帧的时间戳为PTSn＝PTS0+△Tickn，其中△Tickn＝(Tsn-Ts0)*K/F，F为视频采样频率，Tsn为第n个音视频帧对应的自带时间戳，Ts0为基准帧对应的自带时间戳。
本实施例第一个音视频帧为基准帧，此时计算其时间戳。当前视频输出口输出的视频输出帧率大多数是每秒60帧，所以本实施例以1秒＝60tick为例，tick是系统的相对时间单位，也称为系统的时基，来源于定时器的周期性中断，即K＝60。本实施例将T0转化为以Tick为单位，记Tick0＝T0*60，则基准帧时间戳PTS0＝Tick0+DelayTick(DelayTick为延时时间戳，为一个经验值，用于保证在送显前该帧数据已完成解码)。
后续第n个音视频帧的时间戳计算方法如下：
PTSn＝PTS0+△Tickn
其中△Tickn＝(Tsn-Ts0)*60/F，F为视频采样频率，例如为90000赫兹。
需要说明的是，当主CPU依据Tsn判断出其丢包时，则丢包后新收到的第一帧作为基准帧，对后续收到的音视频帧重新打时间戳。
音视频重新打完时间戳后，主CPU将音频数据发送到支持音频输出的CPU，将视频数据发送到视频输出口所属的CPU去解码。
容易理解的是，在第一级调整中，目的是对音视频帧重新设定时间戳，上述实施例以主CPU的时间及音视频帧自带时间戳的帧间差值来进行设定，也可以直接根据视频流自带时间戳与主CPU的时间的差值来重新设定时间戳，这里不再赘述。
在本实施例中，第二级调整由处理音频数据和视频数据的CPU接收到数据后，根据自己的时间与主CPU的时间差值，重新调整时间戳。
各个从CPU重新调整时间戳，保证各个解码CPU的时间戳一致，从而保证音频和视频不在同一CPU解码时的同步性。音频和视频的CPU分别接收到数据后，需要依据自己所属的CPU与主控CPU的系统时间差值去重新调整时间戳。
视频所属的解码CPU与音频所属的CPU分别向主控CPU获得主控CPU时间t主，比较与自己当前系统时间tN(N为从CPU序号)的差值，得到△tN(△tN＝t主-tN)，则第N个从CPU的视音频基准帧PTS大小PTSN为码流内获取的PTS主+△tN*60，则视频所属的从CPU解码完视频数据后，需要以时间戳PTSN为基准去播放视频帧，音频所在的CPU也同样以新的时间戳去播放音频。
在一个实施例中，本申请一种分布式解码设备音视频同步的方法，还包括：
处理音频数据和视频数据的CPU分别对接收到的数据进行解码后，将解码后的数据存入缓存，计算刚进入缓存的音频或视频的时间戳与即将播放的音频或视频的时间戳的差值，若该差值与缓存内音频或视频的可播放时长的差的绝对值小于等于预设的阈值，则依次播放缓存内的各个音视频帧，否则填充静音数据或丢掉音频帧后进行播放。
即本申请还包括第三级调整，在第三级调整中，播放前对缓存内的音频数据播放时间再次进行调整，从而去除因为播放速度等原因造成的音视频不同步性。
音视频所属的CPU分别对接收到的音视频数据进行解码，解完码之后的数据存入缓存待播放，音视频分别按照时间戳进行播放。但可能会出现音视频播放速度不一致等原因导致音视频不同步的问题。具体判断方法如下：
每路音频解完码之后都会存入一定大小的缓存内，每路视频解完码之后也会存入一定大小的缓存内。记视频缓存内存放的帧数为Nf，音频的缓存大小为B，视频帧率为R，则缓存内视频可播放的时长为tv＝Nf/R*1000(单位为毫秒)；音频每毫秒播放的字节数为音频采样率fs*音频通道数Cn*采样字节数fB/1000，即每毫秒播放的字节数Bms＝fs*Cn*fB/1000，则音频缓存内数据的可播放的时长ta＝B/Bms。
由于音视频不断播放，需要判断刚进入缓存的数据的时间戳与缓存内的未播时长是否对应。若刚进入缓存音频(或视频)的时间戳与即将播放的帧的时间戳差值△ta(△tv)和ta(tv)不相等，则按如下情况处理：
各个解码CPU上的视频帧直接按照时间戳播放即可。
若|△ta-ta|≤β，则可认为音视频是同步的，依次播放缓存内的各个音频帧即可；
若△ta-ta>β，则填充静音数据进入缓存，静音数据量＝(△ta-ta)*Bms；
若ta-△ta>β，则从缓存内丢掉部分音频数据帧，丢掉的数据量＝(ta-△ta)*Bms；
其中，β设为90ms，该数值由大量实验数据得到，在90ms以内。
需要说明的是，通常在分布式解码设备上，客户更加关注视频的流畅性显示，对音频的流畅性容忍度较好。所以本申请主要填充静音数据或丢掉音频帧，来实现同步。
应该理解的是，虽然图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，本申请还提供了一种分布式解码设备，所述分布式解码设备包括主CPU和从CPU，其中：
分布式解码设备的主CPU接收音视频码流，以收到的第一个音视频帧或丢包后的第一个音视频帧为基准帧，根据主CPU的时间和音视频码流自带时间戳为每个收到的音视频帧重新设定时间戳；
分布式解码设备的主CPU将音频数据发送到支持音频输出的CPU去解码，将视频数据发送到视频输出口所属的CPU去解码；
处理音频数据和视频数据的CPU接收到数据后，根据自己的时间与主CPU的时间差值，重新调整时间戳。
关于分布式解码设备的具体限定可以参见上文中对于一种分布式解码设备音视频同步的方法的限定，在此不再赘述。在本实施例分布式解码设备中除了主CPU外，其他的CPU都是从CPU。当然，处理音频数据和视频数据的CPU可能是主CPU也可能是从CPU。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种分布式解码设备音视频同步的方法，所述分布式解码设备包括主CPU和从CPU，其特征在于，所述分布式解码设备音视频同步的方法，包括：
分布式解码设备的主CPU接收音视频码流，以收到的第一个音视频帧或丢包后的第一个音视频帧为基准帧，根据主CPU的时间和音视频码流自带时间戳为每个收到的音视频帧重新设定时间戳；
分布式解码设备的主CPU将音频数据发送到支持音频输出的CPU去解码，将视频数据发送到视频输出口所属的CPU去解码；
处理音频数据和视频数据的CPU接收到数据后，根据自己的时间与主CPU的时间差值，重新调整时间戳。
2.根据权利要求1所述的分布式解码设备音视频同步的方法，其特征在于，所述分布式解码设备音视频同步的方法，还包括：
处理音频数据和视频数据的CPU分别对接收到的数据进行解码后，将解码后的数据存入缓存，计算刚进入缓存的音频或视频的时间戳与即将播放的音频或视频的时间戳的差值，若该差值与缓存内音频或视频的可播放时长的差的绝对值小于等于预设的阈值，则依次播放缓存内的各个音视频帧，否则填充静音数据或丢掉视频帧后进行播放。
3.根据权利要求1所述的分布式解码设备音视频同步的方法，其特征在于，所述根据主CPU的时间和音视频码流自带时间戳为每个收到的音视频帧重新设定时间戳，包括：
将基准帧对应的主CPU的时间T0乘以转换参数K，转化为以Tick为单位，记为Tick0＝T0*K；
设置基准帧的时间戳为PTS0＝Tick0+DelayTick，DelayTick为延时时间戳；
设置第n个音视频帧的时间戳为PTSn＝PTS0+△Tickn，其中△Tickn＝(Tsn-Ts0)*K/F，F为视频采样频率，Tsn为第n个音视频帧对应的自带时间戳，Ts0为基准帧对应的自带时间戳。
4.根据权利要求1所述的分布式解码设备音视频同步的方法，其特征在于，所述若该差值与缓存内音频或视频的可播放时长的差的绝对值小于等于预设的阈值，则依次播放缓存内的各个音视频帧，否则填充静音数据或丢掉音频帧后进行播放，包括：
将刚进入缓存的音频或视频的时间戳与即将播放的音频或视频的时间戳的差值表示为△t；
若△t减去缓存内音频或视频的可播放时长的差大于预设的阈值，则填充静音数据后进行播放；
若缓存内音频或视频的可播放时长减去△t的差大于预设的阈值，则丢掉音频帧后进行播放。
5.根据权利要求4所述的分布式解码设备音视频同步的方法，其特征在于，所述填充静音数据，填充的数据量为△t减去缓存内音频或视频的可播放时长的差乘以单位时间播放的字节数；所述丢掉音频帧，丢掉的数据量为缓存内音频或视频的可播放时长减去△t的差乘以单位时间播放的字节数。
6.一种分布式解码设备，其特征在于，所述分布式解码设备包括主CPU和从CPU，其中：
分布式解码设备的主CPU接收音视频码流，以收到的第一个音视频帧或丢包后的第一个音视频帧为基准帧，根据主CPU的时间和音视频码流自带时间戳为每个收到的音视频帧重新设定时间戳；
分布式解码设备的主CPU将音频数据发送到支持音频输出的CPU去解码，将视频数据发送到视频输出口所属的CPU去解码；
处理音频数据和视频数据的CPU接收到数据后，根据自己的时间与主CPU的时间差值，重新调整时间戳。
7.根据权利要求6所述的分布式解码设备，其特征在于，所述分布式解码设备，还包括：
处理音频数据和视频数据的CPU分别对接收到的数据进行解码后，将解码后的数据存入缓存，计算刚进入缓存的音频或视频的时间戳与即将播放的音频或视频的时间戳的差值，若该差值与缓存内音频或视频的可播放时长的差的绝对值小于等于预设的阈值，则依次播放缓存内的各个音视频帧，否则填充静音数据或丢掉视频帧后进行播放。
8.根据权利要求6所述的分布式解码设备，其特征在于，所述根据主CPU的时间和音视频码流自带时间戳为每个收到的音视频帧重新设定时间戳，包括：
将基准帧对应的主CPU的时间T0乘以转换参数K，转化为以Tick为单位，记为Tick0＝T0*K；
设置基准帧的时间戳为PTS0＝Tick0+DelayTick，DelayTick为延时时间戳；
设置第n个音视频帧的时间戳为PTSn＝PTS0+△Tickn，其中△Tickn＝(Tsn-Ts0)*K/F，F为视频采样频率，Tsn为第n个音视频帧对应的自带时间戳，Ts0为基准帧对应的自带时间戳。
9.根据权利要求6所述的分布式解码设备，其特征在于，所述若该差值与缓存内音频或视频的可播放时长的差的绝对值小于等于预设的阈值，则依次播放缓存内的各个音视频帧，否则填充静音数据或丢掉音频帧后进行播放，包括：
将刚进入缓存的音频或视频的时间戳与即将播放的音频或视频的时间戳的差值表示为△t；
若△t减去缓存内音频或视频的可播放时长的差大于预设的阈值，则填充静音数据后进行播放；
若缓存内音频或视频的可播放时长减去△t的差大于预设的阈值，则丢掉音频帧后进行播放。
10.根据权利要求9所述的分布式解码设备，其特征在于，所述填充静音数据，填充的数据量为△t减去缓存内音频或视频的可播放时长的差乘以单位时间播放的字节数；所述丢掉音频帧，丢掉的数据量为缓存内音频或视频的可播放时长减去△t的差乘以单位时间播放的字节数。
CN201910204274.5A 2019-03-18 2019-03-18 一种分布式解码设备及其音视频同步的方法 Active CN111726669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910204274.5A CN111726669B (zh) 2019-03-18 2019-03-18 一种分布式解码设备及其音视频同步的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910204274.5A CN111726669B (zh) 2019-03-18 2019-03-18 一种分布式解码设备及其音视频同步的方法

Publications (2)

Publication Number Publication Date
CN111726669A true CN111726669A (zh) 2020-09-29
CN111726669B CN111726669B (zh) 2022-12-23

Family

ID=72563072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910204274.5A Active CN111726669B (zh) 2019-03-18 2019-03-18 一种分布式解码设备及其音视频同步的方法

Country Status (1)

Country Link
CN (1) CN111726669B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114173208A (zh) * 2021-11-30 2022-03-11 广州番禺巨大汽车音响设备有限公司 基于hdmi接口的音箱系统音视频播放控制方法及装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596420A (en) * 1994-12-14 1997-01-21 Cirrus Logic, Inc. Auto latency correction method and apparatus for MPEG playback system
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US20020023120A1 (en) * 2000-08-16 2002-02-21 Philippe Gentric Method of playing multimedia data
CN1436001A (zh) * 2002-01-28 2003-08-13 北京华诺信息技术有限公司 解码系统中实现视频与音频同步的方法
US20070064108A1 (en) * 2005-09-16 2007-03-22 Haler Robert D Rear view mirror with integrated video system
JP2007323718A (ja) * 2006-05-31 2007-12-13 Matsushita Electric Ind Co Ltd 映像記録媒体再生方法および再生装置
CN201252612Y (zh) * 2008-07-15 2009-06-03 张旭 视频会议系统
US20100031302A1 (en) * 2008-07-30 2010-02-04 Kabushiki Kaisha Toshiba Stream distribution system, stream receiving device, and stream reproduction method
CN101674486A (zh) * 2009-09-29 2010-03-17 深圳市融创天下科技发展有限公司 一种流媒体音视频同步方法及系统
CN101888560A (zh) * 2009-05-15 2010-11-17 成都宇达电通有限公司 Pts修正方法
US20110235722A1 (en) * 2010-03-26 2011-09-29 Novatek Microelectronics Corp. Computer system architecture
WO2013006342A1 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation Synchronization and switchover methods and systems for an adaptive audio system
CN103402140A (zh) * 2013-08-01 2013-11-20 深圳英飞拓科技股份有限公司 一种分布式ip视频解码器同步拼接上墙的方法和系统
CN103491333A (zh) * 2013-09-11 2014-01-01 江苏中科梦兰电子科技有限公司 一种兼容性较佳、抗网络干扰、画面同步的视频分流方法
CN103576617A (zh) * 2012-07-19 2014-02-12 容讯智能科技(上海)有限公司 基于移动终端的分布式环境网络中控系统
CN106534762A (zh) * 2016-11-16 2017-03-22 深圳市捷视飞通科技股份有限公司 低延时分布式音频处理方法及系统
CN107801080A (zh) * 2017-11-10 2018-03-13 普联技术有限公司 一种音视频同步方法、装置及设备
CN109217965A (zh) * 2018-09-26 2019-01-15 杭州当虹科技股份有限公司 一种基于时间戳的SDIOverIP接收系统间同步方法
CN109275008A (zh) * 2018-09-17 2019-01-25 青岛海信电器股份有限公司 一种音视频同步的方法和装置
CN109379624A (zh) * 2018-11-27 2019-02-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596420A (en) * 1994-12-14 1997-01-21 Cirrus Logic, Inc. Auto latency correction method and apparatus for MPEG playback system
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US20020023120A1 (en) * 2000-08-16 2002-02-21 Philippe Gentric Method of playing multimedia data
CN1436001A (zh) * 2002-01-28 2003-08-13 北京华诺信息技术有限公司 解码系统中实现视频与音频同步的方法
US20070064108A1 (en) * 2005-09-16 2007-03-22 Haler Robert D Rear view mirror with integrated video system
JP2007323718A (ja) * 2006-05-31 2007-12-13 Matsushita Electric Ind Co Ltd 映像記録媒体再生方法および再生装置
CN201252612Y (zh) * 2008-07-15 2009-06-03 张旭 视频会议系统
US20100031302A1 (en) * 2008-07-30 2010-02-04 Kabushiki Kaisha Toshiba Stream distribution system, stream receiving device, and stream reproduction method
CN101888560A (zh) * 2009-05-15 2010-11-17 成都宇达电通有限公司 Pts修正方法
CN101674486A (zh) * 2009-09-29 2010-03-17 深圳市融创天下科技发展有限公司 一种流媒体音视频同步方法及系统
US20110235722A1 (en) * 2010-03-26 2011-09-29 Novatek Microelectronics Corp. Computer system architecture
WO2013006342A1 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation Synchronization and switchover methods and systems for an adaptive audio system
CN103576617A (zh) * 2012-07-19 2014-02-12 容讯智能科技(上海)有限公司 基于移动终端的分布式环境网络中控系统
CN103402140A (zh) * 2013-08-01 2013-11-20 深圳英飞拓科技股份有限公司 一种分布式ip视频解码器同步拼接上墙的方法和系统
CN103491333A (zh) * 2013-09-11 2014-01-01 江苏中科梦兰电子科技有限公司 一种兼容性较佳、抗网络干扰、画面同步的视频分流方法
CN106534762A (zh) * 2016-11-16 2017-03-22 深圳市捷视飞通科技股份有限公司 低延时分布式音频处理方法及系统
CN107801080A (zh) * 2017-11-10 2018-03-13 普联技术有限公司 一种音视频同步方法、装置及设备
CN109275008A (zh) * 2018-09-17 2019-01-25 青岛海信电器股份有限公司 一种音视频同步的方法和装置
CN109217965A (zh) * 2018-09-26 2019-01-15 杭州当虹科技股份有限公司 一种基于时间戳的SDIOverIP接收系统间同步方法
CN109379624A (zh) * 2018-11-27 2019-02-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
O.V.VARLAMOV: "《Organization of single frequency DRM digital radio broadcasting networks.Features and results of practical test》", 《2018 SYSTEMS OF SIGNAL SYNCHRONIZATION，GENERATING AND PROCESSING IN TELECOMMUNICATIONS》 *
董春兵: "《音视频同步的研究与实现》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114173208A (zh) * 2021-11-30 2022-03-11 广州番禺巨大汽车音响设备有限公司 基于hdmi接口的音箱系统音视频播放控制方法及装置

Also Published As

Publication number Publication date
CN111726669B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN113225598B (zh) 移动端音视频同步的方法、装置、设备及存储介质
JP3633972B2 (ja) 音声信号と映像信号を同期させる装置
JP5259588B2 (ja) オーディオ復号のためのクロック補償技術
US8526501B2 (en) Decoder and decoding method based on video and audio time information
JP2008506282A (ja) インターネットプロトコルに用いるストリーミングオーディオとストリーミングビデオとの同期保持
CN113286184B (zh) 一种在不同设备上分别播放音频与视频的唇音同步方法
CN103338386A (zh) 基于简化时间戳的音视频同步方法
CN101710997A (zh) 基于mpeg-2系统实现视、音频同步的方法及系统
JP2013026787A (ja) 送信装置、受信システム、通信システム、送信方法、受信方法、及びプログラム
CN108259964B (zh) 一种视频播放速率调整方法及系统
WO2020125153A1 (zh) 一种基于流媒体技术的网络视频流畅播放控制方法
KR100981378B1 (ko) 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스 및 방법, 및 이와 연관된 제품
WO2008028361A1 (fr) Procédé de lecture synchrone de données audio et vidéo en diffusion multimédia mobile
CN112073751B (zh) 视频播放方法、装置、设备及可读存储介质
JPH11215083A (ja) ディジタル信号多重化装置及び方法、ディジタル信号伝送装置及び方法、ディジタル信号記録装置及び方法、並びに、記録媒体
CN111726669B (zh) 一种分布式解码设备及其音视频同步的方法
CN108540855B (zh) 一种适用于网络直播场景下的自适应低延时流媒体播放方法
US8606953B2 (en) Adjusting audio and video synchronization of 3G TDM streams
CN108933768B (zh) 视频帧的发送帧率的获取方法和装置
JP3556381B2 (ja) 情報多重化装置
JP4903930B2 (ja) 信号処理装置
CN110177294A (zh) 播放器音视频同步方法及系统、存储介质及终端
US20090154347A1 (en) Pacing of transport stream to compensate for timestamp jitter
KR100698182B1 (ko) 디지털 방송 시스템의 ａｖ 출력 방법 및 장치
KR100207687B1 (ko) 앰펙(mpeg) 시스템 복호기 및 오디오/비디오 동기 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant