CN106658065A - 音视频同步方法、装置及系统 - Google Patents
音视频同步方法、装置及系统 Download PDFInfo
- Publication number
- CN106658065A CN106658065A CN201510730966.5A CN201510730966A CN106658065A CN 106658065 A CN106658065 A CN 106658065A CN 201510730966 A CN201510730966 A CN 201510730966A CN 106658065 A CN106658065 A CN 106658065A
- Authority
- CN
- China
- Prior art keywords
- equipment
- code stream
- top box
- set top
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 230000008569 process Effects 0.000 claims description 57
- 230000001360 synchronised effect Effects 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 7
- 230000004048 modification Effects 0.000 abstract description 6
- 238000012986 modification Methods 0.000 abstract description 6
- 230000008521 reorganization Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 description 11
- 102000057593 human F8 Human genes 0.000 description 11
- 229940047431 recombinate Drugs 0.000 description 11
- 230000006872 improvement Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4383—Accessing a communication channel
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了一种音视频同步方法、装置及系统。其中，该方法包括：第一设备对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，其中，重组码流用于机顶盒执行音视频同步处理；第一设备将重组码流发送至机顶盒。通过本发明，解决了相关技术中在STB切换频道时，音视频码流同步效果差的问题，进而不需对机顶盒做任何的修改，即可在频道切换时快速实现音视频同步，大大提高了用户体验。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种音视频同步方法、装置及系统。
背景技术
随着STB(Set Top Box，机顶盒)技术日益成熟，如何提高用户体验成为亟待解决的问题。通常，在STB切换频道时，为了实现视频音频同步输出，一般会采用如下两种同步机制：
(1)慢同步：STB收到视频就开始输出视频(不等与音频同步)，在播放过程中，视频通过重放或者丢帧，逐步实现与音频之间的同步。这种方式的优点是视频播出速度快，频道切换速度快，但会在切入频道的前几秒看到慢动作现象，从而影响用户体验。
(2)快同步：STB在实现视频和音频同步后才输出视频画面。采用该方式，用户不会看到视音频同步的过程，但由于同步后才有视频输出，因此导致频道切换时间长，进而也影响到用户体验。
因此，无论采用上述哪一种方案都无法规避音视频码流不同步带来的影响。
针对相关技术中在STB切换频道时，音视频码流同步效果差的问题，目前尚未提出有效的解决方案。
发明内容
本发明提供了一种音视频同步方法、装置及系统，以至少解决相关技术中在STB切换频道时，音视频码流同步效果差的问题。
根据本发明的一个方面，提供了一种音视频同步方法，包括：第一设备获取编码器发送的原始码流；第一设备对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，其中，重组码流用于机顶盒执行音视频同步处理；第一设备将重组码流发送至机顶盒。
可选地，第一设备对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理包括：第一设备检测原始码流中的音频包和视频包的PTS的差值是否超过200ms；如果检测出原始码流中的音频包和视频包的PTS的差值超过200ms，则第一设备对原始码流中的音频包和视频包的PTS的差值执行缩小处理。
可选地，在第一设备将重组码流发送至机顶盒之后，该方法还包括：机顶盒根据重组码流执行音视频同步处理，并检测是否同步成功；如果检测出同步成功，则机顶盒向第一设备发送终止指令，其中，终止指令用于指示第一设备停止发送重组码流；和/或，如果在第一预设时长内未检测出同步成功，则机顶盒向第一设备发送终止指令。
可选地，在第一设备将重组码流发送至机顶盒之后，该方法还包括：机顶盒在接收重组码流达到第二预设时长之后，开始接收原始码流，在接收原始码流的时长达到第三预设时长之后，停止接收重组码流，其中，在机顶盒接收原始码流的第三预设时长内，机顶盒对重组码流和原始码流执行融合处理。
可选地，机顶盒对重组码流和原始码流执行融合处理包括：机顶盒根据重组码流和原始码流分别携带的实时传输协议RTP包序号对重组码流和原始码流执行融合处理。
可选地，第一设备获取编码器发送的原始码流包括：第一设备经由内容分发网络CDN设备获取编码器发送的原始码流。
可选地，第一设备将重组码流发送至机顶盒包括：第一设备经由CDN设备将重组码流发送至机顶盒。
可选地，在第一设备将重组码流发送至机顶盒之前，该方法还包括：机顶盒接收频道切换指令；根据频道切换指令，机顶盒向第一设备发送请求消息，其中，请求消息用于请求第一设备发送重组码流。
可选地，第一设备为CDN设备，其中，CDN设备包括以下之一：骨干CDN设备，边缘CDN设备。
根据本发明的另一方面，提供了一种音视频同步装置，包括：获取模块，用于获取编码器发送的原始码流；处理模块，用于对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，其中，重组码流用于机顶盒执行音视频同步处理；发送模块，用于将重组码流发送至机顶盒。
根据本发明的另一方面，提供了一种音视频同步系统，包括：编码器，用于发送原始码流；第一设备，用于获取编码器发送的原始码流，对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，以及将重组码流发送至机顶盒，其中，重组码流用于机顶盒执行音视频同步处理；机顶盒，用于接收重组码流，并根据重组码流执行音视频同步处理。
本发明，通过第一设备获取编码器发送的原始码流；第一设备对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，其中，重组码流用于机顶盒执行音视频同步处理；第一设备将重组码流发送至机顶盒，解决了相关技术中在STB切换频道时，音视频码流同步效果差的问题，进而不需对机顶盒做任何的修改，即可在频道切换时快速实现音视频同步，大大提高了用户体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明第一实施例的音视频同步方法的流程图；
图2是音视频传输网络的拓扑结构的示意图；
图3是根据本发明第二实施例的音视频同步方法的示意图；
图4是根据本发明第三实施例的音视频同步方法的示意图；
图5是根据本发明第四实施例的音视频同步方法的示意图；
图6是根据本发明第五实施例的音视频同步方法的示意图；
图7是根据本发明实施例的音视频同步装置的示意图；以及
图8是根据本发明实施例的音视频同步系统的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本实施例中提供了一种音视频同步方法，图1是根据本发明第一实施例的音视频同步方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，第一设备获取编码器发送的原始码流。
在该步骤中，第一设备可以直接与编码器连接，也即直接接收编码器发送的原始码流，或者第一设备也可以间接与编码器连接，例如，第一设备和编码器之间可以设置有其他的设备，比如CDN设备等，这样第一设备可以间接接收编码器发送的原始码流。
步骤S104，第一设备对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，其中，重组码流用于机顶盒执行音视频同步处理。
PTS为指示音视频显示时间的时间标签。显示时间标签PTS可以携带于原始码流的PES头信息之中，用于确定音视频显示的次序。
在该实施例中，编码器生成的原始码流的显示时间标签PTS的差值可能较小，也可能较大。可选地，可以预先设置一个参考阈值，当原始码流的PTS的差值超过该参考阈值时，认为该原始码流的PTS的差值较大，反之，认为该原始码流的PTS的差值较小。第一设备对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理包括：第一设备对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，使得PTS的差值不超过上述的参考阈值，也得到重组码流。需要说明的是，该重组码流具有但不限于具有以下特征：音频包和视频包的PTS的差值不超过上述的参考阈值。
为了使得重组码流可以更准确地适用于机顶盒执行音视频同步，可选地，可将上述的参考阈值设置为200ms，则第一设备对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理包括：第一设备检测原始码流中的音频包和视频包的PTS的差值是否超过200ms；如果检测出原始码流中的音频包和视频包的PTS的差值超过200ms，则第一设备对原始码流中的音频包和视频包的PTS的差值执行缩小处理。
需要说明的是，第一设备设置于编码器和机顶盒之间，可以是音视频传输网络之外引入的一个设备，或者，也可以是音视频传输网络中的某个设备兼任的设备角色。例如，第一设备可以是传输网络中的CDN设备，该CDN设备区别于传统的CDN设备之处在于，在该CDN设备中设置有用于执行PTS差值缩小处理的处理模块。因此，在本发明中，不对第一设备的实体形式做具体的限定，但是该第一设备需具有如下功能：
在接收到原始编码器的码流后，对音视频内容进行提取分析，判断视频与音频PTS是否差值过大(例如，如果同一时刻STB接受到的视频包和音频包的PTS值超过200ms，就会对音视频同步造成一定的影响)，如果是，则对码流的内容进行二次重组，重组后的码流需使得音频包与视频包的PTS差值足够小(例如小于200ms)。
另外，需要说明的是，本发明中对音频包和视频包的PTS的差值的缩小处理，可采用的具体的缩小方法较多，本发明不对此做具体的限定。
步骤S106，第一设备将重组码流发送至机顶盒。
在该步骤中，第一设备可以直接将重组码流发送至机顶盒，也即第一设备和机顶盒直接相连接，或者第一设备和机顶盒之间也可以设置有其他的设备，例如，第一设备和机顶盒之间设置有CDN设备，可以是骨干CDN或者边缘CDN设备，通过CDN设备将第一设备生成的重组码流传送至机顶盒。
这里，机顶盒在接收到第一设备发送的重组码流之后，基于该重组码流，执行对音视频的同步。由于重组码流的音频包和视频包的PTS的差值相比原始码流进行了缩小处理，因此，在机顶盒接收到PTS差值缩小的原始码流(重组码流)之后，可以根据该重组码流快速实现音视频同步，进而缩短了机顶盒侧同步处理的时间，提高了频道切换用户的用户体验。
需要说明的是，机顶盒执行音视频同步的过程，可以一直基于重组码流执行，也即机顶盒控制播放音视频的过程中，重组码流不断地产生，并被发送至机顶盒；或者，也可以在最初进行音视频同步时，借助于重组码流，在音视频同步成功后，转而接收原始码流，从而实现音视频的同步播出。
该实施例，通过第一设备获取编码器发送的原始码流；第一设备对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，其中，重组码流用于机顶盒执行音视频同步处理；第一设备将重组码流发送至机顶盒，解决了相关技术中在STB切换频道时，音视频码流同步效果差的问题，进而不需对机顶盒做任何的修改，即可在频道切换时快速实现音视频同步，大大提高了用户体验。
可选地，在第一设备将重组码流发送至机顶盒之后，该方法还包括：机顶盒根据重组码流执行音视频同步处理，并检测是否同步成功；如果检测出同步成功，则机顶盒向第一设备发送终止指令，其中，终止指令用于指示第一设备停止发送重组码流；和/或，如果在第一预设时长内未检测出同步成功，则机顶盒向第一设备发送终止指令。
为了提高音视频同步的执行效率，可选地，可以在对音视频同步是否成功进行检测，如果检测出同步成功，则机顶盒指示第一设备停止发送重组码流，也即在快速实现音视频同步后，不再利用第一设备执行PTS差值缩小处理；或者，也可以预先在为机顶盒的音视频同步过程设定定时器，定时器在机顶盒接收到重组码流开始进行计时，并在预设时长后停止计时。同时，在计时过程中检测音视频同步是否执行成功，如果在预设时长内机顶盒未检测出音视频同步成功，则在计时终止时，向第一设备发送终止指令；如果在计时时长内检测出音视频同步成功，则在检测到同步成功时，向第一设备发送终止指令。
需要说明的是，机顶盒播放音视频过程中，可以全程利用重组码流。或者，也可以在指示第一设备停止发送重组码流之前的预设时长内，开始接收编码器发送的原始码流，经过原始码流与重组码流的融合，使得原始码流同步，这样后续可以只接收原始码流，而不再需要接收重组码流；也即，重组码流只在一段较短的时长内为原始码流的音视频同步奠定基础，而后续在音视频播放过程中利用的还是原始码流。
为了提高音视频同步的执行效率，可选地，在第一设备将重组码流发送至机顶盒之后，该方法还包括：机顶盒在接收重组码流达到第二预设时长之后，开始接收原始码流，在接收原始码流的时长达到第三预设时长之后，停止接收重组码流，其中，在机顶盒接收原始码流的第三预设时长内，机顶盒对重组码流和原始码流执行融合处理。
在该实施例中，机顶盒最初只接收重组码流，在接收重组码流第二预设时长之后，开始同时接收重组码流和编码器发送的原始码流(其中，可以是第一设备进行计时，在达到第二预设时长之后，通知机顶盒接收编码器发送的原始码流)。机顶盒对两路码流执行融合处理。可选地，机顶盒对重组码流和原始码流执行融合处理可以通过以下方式实现：机顶盒根据重组码流和原始码流分别携带的实时传输协议RTP包序号对重组码流和原始码流执行融合处理。具体地，机顶盒根据接收到的原始码流和之前接收的重组码流的RTP头包序进行两条码流的融合，当原始码流的包序号赶上重组码流的包序号，则可以指示第一设备停止发送重组码流。其中，可以在机顶盒中设置一定时器，如果超过该定时器的定时时长尚未实现融合成功，也可以指示终止第一设备发送重组码流，而只接收原始码流。
需要说明的是，对于本发明中重组码流和原始码流的融合处理，可采用的具体的融合方法较多，这里不再做具体的限定。
可选地，第一设备获取编码器发送的原始码流包括：第一设备经由内容分发网络CDN设备获取编码器发送的原始码流。
在该实施例中，第一设备可以直接与机顶盒相连接，以将重组码流发送至机顶盒；或者，第一设备可以经由其他设备与机顶盒相连接。
可选地，第一设备将重组码流发送至机顶盒包括：第一设备经由CDN设备将重组码流发送至机顶盒。
在该实施例中，第一设备可以直接与编码器向连接，以接收编码器发送的原始码流；或者第一设备也可以经由其他设备与编码器相连接。
可选地，在第一设备将重组码流发送至机顶盒之前，该方法还包括：机顶盒接收频道切换指令；根据频道切换指令，机顶盒向第一设备发送请求消息，其中，请求消息用于请求第一设备发送重组码流。
为了对音视频同步执行有效地控制，可选地，可以以频道切换指令(例如，用户通过遥控设备输入的频道切换指令)为触发信号，当接收到该触发信号时，机顶盒会自动向第一设备发送重组码流的请求消息，第一设备按照请求消息将重组码流发送至机顶盒。
可选地，第一设备为CDN设备，其中，CDN设备包括以下之一：骨干CDN设备，边缘CDN设备。
在上述实施例中，通过在编码器与机顶盒之间引入一个装置(该装置部署在码流传输网络中的某个节点服务器上，或者为码流传输网络中另外引入的一台服务器)，该装置输入编码器输出的原始码流(首先提取音视频的PTS信息，判断PTS差值是否过大例如同一时刻终端接受到的视频包和音频包的PTS值超过200ms即为过大，如果过大即对音视频包的PTS差值执行缩小处理)，输出音视频PTS重组后的码流，机顶盒接收到重组后的码流并快速实现音视频同步。上述实施例不需要机顶盒做任何改进，即可在切换频道时快速实现音视频同步，大大提高了用户的观感体验。
图2是音视频传输网络的拓扑结构的示意图。如图2所示，该拓扑结构包括：编码器传输原始码流至骨干CDN设备，骨干CDN设备经边缘CDN设备将原始码流发送至机顶盒终端，机顶盒终端进行相应的音视频同步控制。
图3是根据本发明第二实施例的音视频同步方法的示意图。如图3所示，在音视频传输网络的拓扑结构的基础上增加了PTS重组服务器。该PTS重组服务器设置于CDN设备和机顶盒终端之间。编码器经由CDN设备将原始码流发送至PTS重组服务器，PTS重组服务器对原始码流中的视频包和音频包的PTS的差值进行分析，在该差值超过参考阈值时，将PTS执行缩小处理，并获取PTS重组码流(也即上述实施例中的重组码流)。PTS重组服务器将PTS重组码流发送至机顶盒终端，机顶盒终端根据接收到的PTS重组码流快速实现音视频同步，并在同步成功后指示PTS重组服务器停止发送PTS重组码流，并转而接收经由CDN设备转发的编码器生成的原始码流，进而将原始码流与PTS重组码流进行融合，实现音视频的同步输出。
具体地，该过程主要包括：
步骤S31，在传输网络部署一台PTS重组服务器，PTS重组服务器的功能是接收原始编码器的码流，并进行缓存，对音频视频信息进行分析，重新整理音视频PTS的差值，并将差值缩小。
步骤S32，当切换频道的时候，机顶盒(STB)首先与这台PTS重组服务器进行通信，请求PTS重组码流，PTS重组服务器接收的码流来源于CDN中心节点，并进行了较短时间的缓存，这段缓存足以让STB快速实现音视频同步。
步骤S33，PTS重组服务器接收到STB的请求命令后，将自己重组后的码流发送给STB。
步骤S34，STB接收到PTS重组服务器的码流后，快速进行音视频同步。
步骤S35，STB同步成功后，立即给PTS重组服务器发送停止请求重组码流的命令(也即上述的终止指令)，转而接受CDN原始码流，并进行两条流的融合。
步骤S36，如果STB超时没有同步成功，也会立即停止接收重组码流，转而接收CDN原始码流。
通过该实施例，通过在CDN设备和机顶盒终端之间设置一个PTS重组服务器，以将重组码流发送至机顶盒终端，用于机顶盒终端快速实现音视频的同步，不需对机顶盒终端作任何改进，就可在切换频道时快速实现音视频同步，大大提高了用户的观感体验。
图4是根据本发明第三实施例的音视频同步方法的示意图。如图4所示，在音视频传输网络的拓扑结构的基础上增加了PTS重组服务器。该PTS重组服务器设置于编码器和骨干CDN设备之间，PTS重组服务器接收编码器发送的原始码流，并对原始码流执行PTS差值缩小的处理，得到PTS重组码流，将PTS重组码流发送至骨干CDN设备，骨干CDN设备经由边缘CDN设备将PTS重组码流发送至机顶盒终端。
具体地，该过程主要包括：
步骤S41，在编码器的后端部署一台PTS重组服务器。
步骤S42，PTS重组服务器接受编码器出来的原始码流，对码流进行分析，并对音视频PTS进行重组。
步骤S43，重组后的码流会经过CDN设备，传输到STB。
步骤S44，STB可以依靠重组后的码流进行快速同步。
通过该实施例，通过在CDN设备和编码器之间设置一个PTS重组服务器，以将重组码流经CDN设备发送至机顶盒终端，用于机顶盒终端快速实现音视频的同步，不需对机顶盒终端作任何改进，就可在切换频道时快速实现音视频同步，大大提高了用户的观感体验。
图5是根据本发明第四实施例的音视频同步方法的示意图。如图5所示，在音视频传输网络的拓扑结构的基础上，在骨干CDN设备上部署了PTS重组码流模块，用于对原始码流的PTS的差值执行缩小处理。其中，编码器发送原始码流至骨干CDN设备，骨干CDN设备通过自身部署的PTS重组码流模块，对原始码流的PTS的差值执行缩小处理，得到PTS重组码流，并将PTS重组码流经由边缘CDN发送至机顶盒终端，机顶盒终端基于PTS重组码流实现音视频同步。
具体地，该过程主要包括：
步骤S51，直接在某个骨干CDN设备上部署PTS重组码流模块。
步骤S52，PTS重组码流模块分析视音频信息，并对音视频PTS进行重组。
步骤S53，重组后的码流会经过骨干CDN设备发出。
步骤S54，STB经过边缘CDN设备接收到骨干CDN设备的PTS重组码流以实现音视频的快速同步。
通过该实施例，通过在骨干CDN设备中设置一个PTS重组码流模块，以将重组码流经CDN设备发送至机顶盒终端，用于机顶盒终端快速实现音视频的同步，不需对机顶盒终端作任何改进，就可在切换频道时快速实现音视频同步，大大提高了用户的观感体验。
图6是根据本发明第五实施例的音视频同步方法的示意图。如图6所示，在音视频传输网络的拓扑结构的基础上，在边缘CDN设备上部署了PTS重组码流模块，用于对原始码流的PTS的差值执行缩小处理。其中，编码器生成原始码流，将通过骨干CDN设备将其发送至边缘CDN设备，边缘CDN设备中部署有PTS重组码流模块，该模块对原始码流的PTS的差值执行缩小处理，得到PTS重组码流，并将该PTS重组码流发送至机顶盒终端。机顶盒终端基于PTS重组码流执行音视频的同步。
具体地，该过程主要包括：
S61，在某个边缘CDN设备上部署PTS重组码流模块。
S62，PTS重组码流模块分析视音频信息，并对音视频PTS进行重组。
S63，重组后的码流会经过边缘CDN设备发出。
S64，STB接受到边缘CDN设备的PTS重组码流以实现音视频的快速同步。
通过该实施例，通过在边缘CDN设备中设置一个PTS重组码流模块，以将重组码流经CDN设备发送至机顶盒终端，用于机顶盒终端快速实现音视频的同步，缩小了重组范围，并且不需对机顶盒终端作任何改进，就可在切换频道时快速实现音视频同步，大大提高了用户的观感体验。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种音视频同步装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本发明实施例的音视频同步装置的示意图。如图7所示，该装置包括：获取模块70、处理模块72和发送模块74。
获取模块70，用于获取编码器发送的原始码流。
处理模块72，用于对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，其中，重组码流用于机顶盒执行音视频同步处理。
发送模块74，用于将重组码流发送至机顶盒。
该实施例，通过获取模块70获取编码器发送的原始码流；处理模块72对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，其中，重组码流用于机顶盒执行音视频同步处理；发送模块74将重组码流发送至机顶盒，解决了相关技术中在STB切换频道时，音视频码流同步效果差的问题，进而不需对机顶盒做任何的修改，即可在频道切换时快速实现音视频同步，大大提高了用户体验。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述模块分别位于多个处理器中。
在本实施例中还提供了一种音视频同步系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。
图8是根据本发明实施例的音视频同步系统的示意图。如图8所示，该系统包括：编码器80、第一设备82和机顶盒84。
编码器80，用于发送原始码流。
第一设备82，用于获取编码器发送的原始码流，对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，以及将重组码流发送至机顶盒，其中，重组码流用于机顶盒执行音视频同步处理。
机顶盒84，用于接收重组码流，并根据重组码流执行音视频同步处理。
该实施例，通过编码器80发送原始码流；第一设备82获取编码器发送的原始码流，对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，以及将重组码流发送至机顶盒，其中，重组码流用于机顶盒执行音视频同步处理；机顶盒84接收重组码流，并根据重组码流执行音视频同步处理，解决了相关技术中在STB切换频道时，音视频码流同步效果差的问题，进而不需对机顶盒做任何的修改，即可在频道切换时快速实现音视频同步，大大提高了用户体验。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，获取编码器发送的原始码流。
S2，对原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，其中，重组码流用于机顶盒执行音视频同步处理。
S3，将重组码流发送至机顶盒。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种音视频同步方法，其特征在于，包括：
第一设备获取编码器发送的原始码流；
所述第一设备对所述原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，其中，所述重组码流用于机顶盒执行音视频同步处理；
所述第一设备将所述重组码流发送至所述机顶盒。
2.根据权利要求1所述的方法，其特征在于，所述第一设备对所述原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理包括：
所述第一设备检测所述原始码流中的音频包和视频包的PTS的差值是否超过200ms；
如果检测出所述原始码流中的音频包和视频包的PTS的差值超过200ms，则所述第一设备对所述原始码流中的音频包和视频包的PTS的差值执行缩小处理。
3.根据权利要求1所述的方法，其特征在于，在所述第一设备将所述重组码流发送至所述机顶盒之后，所述方法还包括：
所述机顶盒根据所述重组码流执行音视频同步处理，并检测是否同步成功；
如果检测出同步成功，则所述机顶盒向所述第一设备发送终止指令，其中，所述终止指令用于指示所述第一设备停止发送所述重组码流；和/或，
如果在第一预设时长内未检测出同步成功，则所述机顶盒向所述第一设备发送所述终止指令。
4.根据权利要求1所述的方法，其特征在于，在所述第一设备将所述重组码流发送至所述机顶盒之后，所述方法还包括：
所述机顶盒在接收所述重组码流达到第二预设时长之后，开始接收所述原始码流，在接收所述原始码流的时长达到第三预设时长之后，停止接收所述重组码流，其中，在所述机顶盒接收所述原始码流的第三预设时长内，所述机顶盒对所述重组码流和所述原始码流执行融合处理。
5.根据权利要求4所述的方法，其特征在于，所述机顶盒对所述重组码流和所述原始码流执行融合处理包括：
所述机顶盒根据所述重组码流和所述原始码流分别携带的实时传输协议RTP包序号对所述重组码流和所述原始码流执行融合处理。
6.根据权利要求1所述的方法，其特征在于，第一设备获取编码器发送的原始码流包括：
所述第一设备经由内容分发网络CDN设备获取所述编码器发送的原始码流。
7.根据权利要求1所述的方法，其特征在于，所述第一设备将所述重组码流发送至所述机顶盒包括：
所述第一设备经由CDN设备将所述重组码流发送至所述机顶盒。
8.根据权利要求1所述的方法，其特征在于，在所述第一设备将所述重组码流发送至所述机顶盒之前，所述方法还包括：
所述机顶盒接收频道切换指令；
根据所述频道切换指令，所述机顶盒向所述第一设备发送请求消息，其中，所述请求消息用于请求所述第一设备发送所述重组码流。
9.根据权利要求1所述的方法，其特征在于，所述第一设备为CDN设备，其中，所述CDN设备包括以下之一：骨干CDN设备，边缘CDN设备。
10.一种音视频同步装置，其特征在于，包括：
获取模块，用于获取编码器发送的原始码流；
处理模块，用于对所述原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，其中，所述重组码流用于机顶盒执行音视频同步处理；
发送模块，用于将所述重组码流发送至机顶盒。
11.一种音视频同步系统，其特征在于，包括：
编码器，用于发送原始码流；
第一设备，用于获取所述编码器发送的原始码流，对所述原始码流中的音频包和视频包的显示时间标签PTS的差值执行缩小处理，得到重组码流，以及将所述重组码流发送至机顶盒，其中，所述重组码流用于所述机顶盒执行音视频同步处理；
所述机顶盒，用于接收所述重组码流，并根据所述重组码流执行所述音视频同步处理。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510730966.5A CN106658065B (zh) | 2015-10-30 | 2015-10-30 | 音视频同步方法、装置及系统 |
| PCT/CN2016/104028 WO2017071670A1 (zh) | 2015-10-30 | 2016-10-31 | 音视频同步方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510730966.5A CN106658065B (zh) | 2015-10-30 | 2015-10-30 | 音视频同步方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106658065A true CN106658065A (zh) | 2017-05-10 |
| CN106658065B CN106658065B (zh) | 2021-10-22 |
Family
ID=58629920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510730966.5A Active CN106658065B (zh) | 2015-10-30 | 2015-10-30 | 音视频同步方法、装置及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106658065B (zh) |
| WO (1) | WO2017071670A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109257641A (zh) * | 2018-09-05 | 2019-01-22 | 福建星网智慧科技股份有限公司 | 无线传屏中音频与视频同步方法及系统 |
| CN111988645A (zh) * | 2020-08-27 | 2020-11-24 | 上海七牛信息技术有限公司 | 音视频传输带宽自适应方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113747209B (zh) * | 2021-08-02 | 2023-09-19 | 北京数字电视国家工程实验室有限公司 | 多路ts流节目的重组方法及装置 |
| CN114339302B (zh) * | 2021-12-31 | 2024-05-07 | 咪咕文化科技有限公司 | 导播方法、装置、设备以及计算机存储介质 |
| CN115334344B (zh) * | 2022-08-08 | 2023-08-18 | 青岛海信宽带多媒体技术有限公司 | 一种应用于智能机顶盒的频道切换方法及装置 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101340591A (zh) * | 2008-08-11 | 2009-01-07 | 深圳华为通信技术有限公司 | 解码系统中接收视音频数据的处理方法及装置 |
| CN101394469A (zh) * | 2008-10-29 | 2009-03-25 | 北京创毅视讯科技有限公司 | 一种音视频同步方法、装置及一种数字电视芯片 |
| CN101536497A (zh) * | 2006-11-07 | 2009-09-16 | 汤姆森许可贸易公司 | 用于减少频道变化时间以及在频道变化期间同步音频/视频内容的方法 |
| CN101662689A (zh) * | 2008-08-25 | 2010-03-03 | 华为技术有限公司 | 交互电视频道切换方法及系统、音视频流发送方法及装置 |
| US20100142624A1 (en) * | 2007-08-27 | 2010-06-10 | Fujitsu Limited | Decoder and decoding method |
| CN101778269A (zh) * | 2009-01-14 | 2010-07-14 | 扬智电子（上海）有限公司 | 机顶盒的音视频帧的同步方法 |
| US20100295993A1 (en) * | 2009-05-20 | 2010-11-25 | Samsung Electronics Co., Ltd. | Apparatus and method for synchronization between video and audio in mobile communication terminal |
| CN102075806A (zh) * | 2011-01-26 | 2011-05-25 | 四川长虹电器股份有限公司 | 一种数字电视音视频同步方法 |
| CN102724559A (zh) * | 2012-06-13 | 2012-10-10 | 天脉聚源(北京)传媒科技有限公司 | 一种音视频编码同步方法和系统 |
| CN103167342A (zh) * | 2013-03-29 | 2013-06-19 | 天脉聚源(北京)传媒科技有限公司 | 一种音视频同步处理装置及方法 |
| CN103237255A (zh) * | 2013-04-24 | 2013-08-07 | 南京龙渊微电子科技有限公司 | 一种多线程的音视频同步控制方法及系统 |
| US20130279888A1 (en) * | 2011-05-12 | 2013-10-24 | Shanjun Oak Zeng | Techniques for synchronization of audio and video |
| CN103581730A (zh) * | 2013-10-28 | 2014-02-12 | 南京熊猫电子股份有限公司 | 在数字机顶盒上实现音视频同步的方法 |
| CN103747316A (zh) * | 2013-12-23 | 2014-04-23 | 乐视致新电子科技（天津）有限公司 | 一种音视频同步方法和电子设备 |
| CN104618786A (zh) * | 2014-12-22 | 2015-05-13 | 深圳市腾讯计算机系统有限公司 | 音视频同步方法和装置 |
| US20150195427A1 (en) * | 2014-01-03 | 2015-07-09 | Mstar Semiconductor, Inc. | Decoder and decoding method for audio video stream synchronization |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5594660A (en) * | 1994-09-30 | 1997-01-14 | Cirrus Logic, Inc. | Programmable audio-video synchronization method and apparatus for multimedia systems |
| KR20060065436A (ko) * | 2004-12-10 | 2006-06-14 | 한국전자통신연구원 | 디지털 멀티미디어 방송 수신 장치에서의 오디오 및 비디오동기화 방법 및 장치 |
| JP2008061010A (ja) * | 2006-08-31 | 2008-03-13 | Toshiba Corp | 映像音声送信装置 |
| CN101271720B (zh) * | 2008-04-22 | 2011-06-22 | 中兴通讯股份有限公司 | 一种手机流媒体音视频的同步方法 |
| CN102868939A (zh) * | 2012-09-10 | 2013-01-09 | 杭州电子科技大学 | 一种实时视频监控系统中音视频数据的同步方法 |
-
2015
- 2015-10-30 CN CN201510730966.5A patent/CN106658065B/zh active Active
-
2016
- 2016-10-31 WO PCT/CN2016/104028 patent/WO2017071670A1/zh active Application Filing
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101536497A (zh) * | 2006-11-07 | 2009-09-16 | 汤姆森许可贸易公司 | 用于减少频道变化时间以及在频道变化期间同步音频/视频内容的方法 |
| US20100142624A1 (en) * | 2007-08-27 | 2010-06-10 | Fujitsu Limited | Decoder and decoding method |
| CN101340591A (zh) * | 2008-08-11 | 2009-01-07 | 深圳华为通信技术有限公司 | 解码系统中接收视音频数据的处理方法及装置 |
| CN101662689A (zh) * | 2008-08-25 | 2010-03-03 | 华为技术有限公司 | 交互电视频道切换方法及系统、音视频流发送方法及装置 |
| CN101394469A (zh) * | 2008-10-29 | 2009-03-25 | 北京创毅视讯科技有限公司 | 一种音视频同步方法、装置及一种数字电视芯片 |
| CN101778269A (zh) * | 2009-01-14 | 2010-07-14 | 扬智电子（上海）有限公司 | 机顶盒的音视频帧的同步方法 |
| US20100295993A1 (en) * | 2009-05-20 | 2010-11-25 | Samsung Electronics Co., Ltd. | Apparatus and method for synchronization between video and audio in mobile communication terminal |
| CN102075806A (zh) * | 2011-01-26 | 2011-05-25 | 四川长虹电器股份有限公司 | 一种数字电视音视频同步方法 |
| US20130279888A1 (en) * | 2011-05-12 | 2013-10-24 | Shanjun Oak Zeng | Techniques for synchronization of audio and video |
| CN102724559A (zh) * | 2012-06-13 | 2012-10-10 | 天脉聚源(北京)传媒科技有限公司 | 一种音视频编码同步方法和系统 |
| CN103167342A (zh) * | 2013-03-29 | 2013-06-19 | 天脉聚源(北京)传媒科技有限公司 | 一种音视频同步处理装置及方法 |
| CN103237255A (zh) * | 2013-04-24 | 2013-08-07 | 南京龙渊微电子科技有限公司 | 一种多线程的音视频同步控制方法及系统 |
| CN103581730A (zh) * | 2013-10-28 | 2014-02-12 | 南京熊猫电子股份有限公司 | 在数字机顶盒上实现音视频同步的方法 |
| CN103747316A (zh) * | 2013-12-23 | 2014-04-23 | 乐视致新电子科技（天津）有限公司 | 一种音视频同步方法和电子设备 |
| US20150195427A1 (en) * | 2014-01-03 | 2015-07-09 | Mstar Semiconductor, Inc. | Decoder and decoding method for audio video stream synchronization |
| CN104618786A (zh) * | 2014-12-22 | 2015-05-13 | 深圳市腾讯计算机系统有限公司 | 音视频同步方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| LEI WANG等: ""Pre-synchronization of AVS audio-video based on Real-Time Transport Protocol"", 《2012 INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS AND SIGNAL PROCESSING (WCSP)》 * |
| 李宇: ""基于音频嵌入视频的立体音视频同步方法研究"", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109257641A (zh) * | 2018-09-05 | 2019-01-22 | 福建星网智慧科技股份有限公司 | 无线传屏中音频与视频同步方法及系统 |
| CN109257641B (zh) * | 2018-09-05 | 2021-03-16 | 福建星网智慧科技股份有限公司 | 无线传屏中音频与视频同步方法及系统 |
| CN111988645A (zh) * | 2020-08-27 | 2020-11-24 | 上海七牛信息技术有限公司 | 音视频传输带宽自适应方法 |
| CN111988645B (zh) * | 2020-08-27 | 2022-07-19 | 上海七牛信息技术有限公司 | 音视频传输带宽自适应方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017071670A1 (zh) | 2017-05-04 |
| CN106658065B (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106658065A (zh) | 音视频同步方法、装置及系统 | |
| US8813160B2 (en) | Method, system and user device for obtaining a key frame in a streaming media service | |
| CN103686325B (zh) | 一种多屏互动中媒体连续播放的方法及系统 | |
| US10771832B2 (en) | Information processing apparatus, information processing method, program, application information table supplying apparatus, and application information table supplying method | |
| US20180098111A1 (en) | Method and apparatus for transmitting or receiving service signaling for broadcasting service | |
| CN106803974A (zh) | 直播视频流实时转发方法 | |
| CN103442259B (zh) | 媒体数据的重组方法和装置 | |
| CN107172443A (zh) | 视频直播方法、装置和系统 | |
| CN106303682B (zh) | 频道切换的方法、装置、终端及服务器 | |
| CN112203106B (zh) | 直播教学方法、装置、计算机设备和存储介质 | |
| CN102752669A (zh) | 多通道实时流媒体文件的传送处理方法与系统、接收装置 | |
| CN106470352A (zh) | 直播频道播放方法、装置及系统 | |
| CN108810579A (zh) | 一种视频数据请求方法、协转服务器以及视联网服务器 | |
| CN109218759A (zh) | 推送媒体流的方法、装置、服务器及存储介质 | |
| US20230045876A1 (en) | Video Playing Method, Apparatus, and System, and Computer Storage Medium | |
| CN102469346B (zh) | 在单向数字电视接收终端播放的互动影片生成方法及系统 | |
| KR102457526B1 (ko) | 미디어 스트림 송신 방법, 장치, 시스템, 및 디바이스 | |
| Xu et al. | Smart media transport: A burgeoning intelligent system for next generation multimedia convergence service over heterogeneous networks in China | |
| CN106790030A (zh) | 多屏协同音频传输服务端、客户端、系统及其处理方法 | |
| KR102349451B1 (ko) | 멀티미디어의 전송 또는 수신 방법 및 그 장치 | |
| CN104093089A (zh) | 一种影院直播节目的系统及方法 | |
| CN104284239A (zh) | 一种视频播放方法、装置、视频播放客户端和多媒体服务器 | |
| CN114900707B (zh) | 一种直播方法及系统 | |
| US20150172734A1 (en) | Multi-angle view processing apparatus | |
| US9148648B2 (en) | Apparatus and method for providing images in wireless communication system and portable display apparatus and method for displaying images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |