CN110062277A - 一种音视频自动同步方法及同步系统 - Google Patents
一种音视频自动同步方法及同步系统 Download PDFInfo
- Publication number
- CN110062277A CN110062277A CN201910189637.2A CN201910189637A CN110062277A CN 110062277 A CN110062277 A CN 110062277A CN 201910189637 A CN201910189637 A CN 201910189637A CN 110062277 A CN110062277 A CN 110062277A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- audio
- key
- timestamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 33
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 206010039740 Screaming Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种音视频自动同步方法及同步系统，用于网络直播，包括以下步骤：接收音频流和视频流；从缓存的视频流中提取关键帧；对关键帧进行编码，判断该关键帧是否编码成功，若是，则选取该关键帧作为初始帧；以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应，丢弃初始帧时间戳前的音频流和视频流；对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流。本发明能够从缓存的视频流中选取初始帧、以初始帧为起点，根据缓存的视频流按序播放视频帧和与其对应的音频帧，避免视频或音频丢帧，以防视频跳过。
Description
技术领域
本发明涉及网络直播技术领域，尤其涉及一种音视频自动同步方法及同步系统。
背景技术
每一帧音频或视频都有一个持续时间，采样频率是指将模拟声音波形进行数字化时，每秒钟抽取声波幅度样本的次数。正常人听觉的频率范围大约在20Hz～20kHz之间，根据奈奎斯特采样理论，为了保证声音不失真，采样频率应该在40kHz左右。常用的音频采样频率有8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz等，如果采用更高的采样频率，还可以达到DVD的音质对采样率为44.1kHz的AAC(Advanced Audio Coding，高级音频编码)音频进行解码时，一帧的解码时间须控制在23.22毫秒内。一个AAC原始帧包含一段时间内1024个采样及相关数据。
音频帧的播放时间＝一个AAC帧对应的采样样本的个数/采样频率，单位为s，一帧1024个样本。采样率44100Hz，每秒44100个样本，所以根据公式：音频帧的播放时间＝一个AAC帧对应的采样样本的个数/采样频率，当前AAC一帧的播放时间是＝1024*1000000/44100＝22.32ms(单位为ms)。
H264，视频的播放时间跟帧率有关frame_duration＝1000/fps，例如：fps＝25.00，计算出来的时常为40ms，这就是同行所说的40ms一帧视频数据。理论上的音视频(播放)同步是这样的：
由此得到了每一帧数据的持续时间，音视频交叉存储在容器中：一个时间轴：
时间轴：
0 22.32 40 44.62 66.96 80 89.16 111.48 120 ......
音频：
0 22.32 44.62 66.96 89.16 111.48 ......
视频：
0 40 80 120 ......
即视频的持续时间相加和音频的持续时间相加作比较，谁小写入哪个。
但实际情况(播放)是不成立的。
1.首先解决一个问题
为什么不音频播音频的视频播视频的，即上面的到第22.32ms播一帧音频，到40ms播一帧视频。
因为这个22.32ms或40ms是算不准的或者说和声卡播的时间是不一样的。这里就需要知道声卡播一帧/或者说播放一个音频需要多长时间。
2.声卡每次播一个采样点而不是一帧。声音当一个采样点丢失了都可以听出来，视频则不然。
3.音视频同步方式：第一，回调方式；第二，阻塞方式。
然而，音视频在实际编码过程中是一个比较复杂的过程，不仅要指定什么时候编码，还要指定什么时候播放，只有音视频编码时间戳一致且播放时间戳一致，音视频才会同步，以上处理方法虽然在理论状态下能保证微小音视频播放差异，但在网络状态稍有一点不稳定的状态下会产生不同步。当视频帧出现差错时，而音频帧没有问题时，会音频先于视频，这就是有时声音先于视频的原因。
另外，视频画面太依赖于关键帧，而关键帧一般比较少，摄像头启动向设备传送画面需要一个时间差，会导致第一个关键帧丢失，所以第二个关键帧之前的所有数据都是无效的，但音频的数据确全部有效，这里处理不好会导致整个过程中音频先于视频。
在传统音视频传送过程中，音视频不同步的可能性比较小，就算出现差异也是比较小的，但在网络直播兴起后，视频中各种特效处理，音频变声处理，甚至有使用机器人语音包识别文字生成声音等情况，音视频时间差距很大，并且有很大不固定性，有时视频处理快，有时音频处理快，人工手动调整无法使音视频同步，以上音视频同步方法也不适用这些情况。
因此，提供一种音视频自动同步方法及自动同步系统。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的音视频自动同步方法及自动同步系统，能够在网络状态不稳定时确保音视频的同步。
根据本发明的一个方面，提供一种音视频自动同步方法，用于网络直播，包括以下步骤：
接收音频流和视频流，其中，音频流包括多个带有时间戳的音频帧，视频流包括多个带有时间戳的视频帧，视频帧包括关键帧和非关键帧；
缓存音频流和视频流；
从缓存的视频流中提取关键帧；
对关键帧进行编码，判断该关键帧是否编码成功，若是，则选取该关键帧作为初始帧；
以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应，并丢弃初始帧时间戳前的音频流和视频流；
对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流。
进一步地，采用队列作为缓冲区缓存音视频数据。
进一步地，上述音视频自动同步方法，还包括：若从视频流中提取的关键帧编码不成功，则重新从缓存的视频流中提取关键帧，直到关键帧编码成功，才选取该关键帧作为初始帧。
进一步地，上述音视频自动同步方法，还包括：当对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流时，若视频帧编码不成功，则直接丢弃该视频帧，并丢弃与该视频帧对应的音频帧。
进一步地，上述音视频自动同步方法，还包括：对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流时，若音频帧编码不成功，则丢弃该音频帧，仅对与该音频帧对应的视频帧进行推流。
进一步地，上述音视频自动同步方法，还包括：当推流时间延长时，对音频帧和视频帧的时间戳加延时值，使音频帧和视频帧的时间戳与推流时间一致。
进一步地，上述音视频自动同步方法，还包括：当对音频帧和视频帧进行处理时，时间戳不变。
根据本发明的另一方面，提供一种音视频自动同步系统，用于网络直播，包括：
音视频流接收模块，用于接收音频流和视频流，其中，音频流包括多个带有时间戳的音频帧，视频流包括多个视频帧，视频帧包括带有时间戳的关键帧和带有时间戳的非关键帧；
音视频缓存模块，用于缓存音频流和视频流；
关键帧提取模块，用于从缓存的视频流中提取关键帧；
初始帧选取模块，用于对关键帧进行编码，判断该关键帧是否编码成功，若是，则选取该关键帧作为初始帧；
音视频同步模块，用于以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应，丢弃初始帧时间戳前的音频流和视频流；
音视频编码模块，用于对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流。
进一步地，在音视频缓存模块中，采用队列作为缓冲区缓存音视频数据。
进一步地，关键帧提取模块，还用于若从视频流中提取的关键帧编码不成功，则重新从缓存的视频流中提取关键帧，直到关键帧编码成功，才选取该关键帧作为初始帧。
本发明与现有技术相比具有以下的优点：
1.本发明的音视频自动同步方法及同步系统选取初始帧并以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应，丢弃初始帧时间戳前的音频流和视频流，并缓存音频流和视频流，能够从缓存的视频流中选取初始帧、以初始帧为起点，根据缓存的视频流按序播放视频帧和与其对应的音频帧，避免视频或音频丢帧，以防视频跳过；
2.本发明的音视频自动同步方法及同步系统以视频帧为基础，一帧视频对应一段音频，若视频帧丢失，则相应的音频帧也会丢弃，保证绝对同步，防止出现尖叫、没有视频有声音、声音正常播放视频画面慢动作等异常情况出现。
附图说明
以下结合附图和实施例对本发明作进一步说明。
图1是本发明的音视频自动同步方法步骤图；
图2是本发明的音视频自动同步系统框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
图1是本发明的音视频自动同步方法步骤图，参见图1，本发明提供的音视频自动同步方法，用于网络直播，包括以下步骤：
S110，接收音频流和视频流，其中，音频流包括多个带有时间戳的音频帧，视频流包括多个带有时间戳的视频帧，视频帧包括关键帧和非关键帧。
在实际应用中，与现实中声音动作不同，在音频帧和视频帧的采集中，视频是画面，声音是声波，声音通过打点采样，在对应频率下保存点的数据即可画出波形图，波形图的精确程度随采样多少而定，采点占用空间少，保存快，数量多。相应视频的每一秒动作都24帧以上的画面组成，画面数量不多但每张画面很大，占用的内存多，保存成文件就大，传输到网络上占用的带宽就多，以原画的数据传到网络上，传送速度是绝对不够的，便对这些数据进行整理，即编码，视频的一张完整画面可做关键帧，后面的帧只记录这张画面改变的地方，因此编码后的视频数据会极大缩小空间，且很小失真。问题在于视频编码中若关键帧丢失，则在下一关键帧之前的数据都是无用的，因此需要在一段时间内，音视频的数据时间戳统一，还要确保视频数据可用。
视频帧数量少，音频帧数量多，以视频帧为基础单位，一帧视频对应多帧音频，有画面就有声音，没有画面就没有声音，避免声音追画面而产生的尖叫，多帧声音数据在短时间内播放会产生尖叫噪音，播放了也听不懂，播放无益，或者有声音没画面也没有太大意义，同一时间段内，音频数据不到视频数据容量的万分之一，且音频丢了一些数据仍能播放，视频丢半帧，半秒甚至一秒的数据就没了，因此，要针对音视频同步，要在开始读取数据时和因网络波动或者硬件设备出现短暂异常而丢帧时处理好，音视频同步就没问题了。
本发明旨在处理好音视频最初时的同步和推流过程中的丢帧同步，以视频帧为基础单位，在实际网络直播中要比其他非网络直播过程中复杂的多，比如监控和安防，基本上就是一个局域网，甚至有些监控摄像头之间连接显示器，都不使用服务器。在直播中，原始数据经过网线和服务器处理在经过网络传送出来，原始的数据已有很大变化，此时要捕获视频帧，以视频帧为基础，一帧视频对应一段声音，若视频帧丢失，则音频也会丢弃，保证绝对同步，防止出现尖叫、没有视频有声音有、声音正常播放视频画面慢动作等异常情况出现。
S120，缓存音频流和视频流。
具体地，采用队列作为缓冲区缓存音视频数据。
在这里，将接收的音频帧放到音频帧队列里并缓存，将接收的视频帧放到视频帧队列里并缓存，其中，音频帧和视频帧的时间戳作为每一帧的原始数据。缓存音频流和视频流，防止视频跳过。
S130，从缓存的视频流中提取关键帧。
具体地，从视频流中提取第一个完整图像，即关键帧，并记录下相应的时间戳。
S140，对关键帧进行编码，判断该关键帧是否编码成功，若是，则选取该关键帧作为初始帧。
具体地，若从视频流中提取的关键帧编码不成功，则重新从缓存的视频流中提取关键帧，直到关键帧编码成功，才选取该关键帧作为初始帧。仅对关键帧进行编码，编码成功后则推流，编码失败则丢弃编码错误后生成的错误数据，无论编码成功与否，都进入下一帧的处理。
S150，以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应，丢弃初始帧时间戳前的音频流和视频流。
具体地，以视频帧为基础单位，一个视频帧对应多个音频帧，以便视频帧无法播放时，直接删除该视频帧，并删除对应的多个音频帧，另外，视频流队列里的初始帧时间戳之前的数据均丢弃，并且音频流队列里初始帧时间戳之前的数据也均丢弃，这会让初始帧的画面没有声音，一帧画面没有声音基本没有影响，这样使得音视频一开始就同步，否则会让初始帧画面对应数秒前的声音。
S160，对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流。
具体地，对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流时，若视频帧编码不成功，则直接丢弃该视频帧，并丢弃与该视频帧对应的音频帧；对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流时，若音频帧编码不成功，则丢弃该音频帧，仅对与该音频帧对应的视频帧进行推流。
本发明的音视频自动同步方法选取初始帧并以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应，丢弃初始帧时间戳前的音频流和视频流，并缓存音频流和视频流，能够从缓存的视频流中选取初始帧、以初始帧为起点，根据缓存的视频流按序播放视频帧和与其对应的音频帧，避免视频或音频丢帧，以防视频跳过。
本发明的音视频自动同步方法以视频帧为基础，一帧视频对应一段音频，若视频帧丢失，则相应的音频帧也会丢弃，保证绝对同步，防止出现尖叫、没有视频有声音、声音正常播放视频画面慢动作等异常情况出现。
进一步地，上述音视频自动同步方法，还包括：当推流时间延长时，对音频帧和视频帧的时间戳加延时值，使音频帧和视频帧的时间戳与推流时间一致。
理论上，音频帧和视频帧在时间戳这一时间点接收，本应该在时间戳这一时间点播放，在所有音频帧和视频帧延时的情况下，在所有音频帧和视频帧的时间戳上加一个延时值。
进一步地，上述音视频自动同步方法，还包括：当对音频帧和视频帧进行处理时，时间戳不变。
具体地，音视频处理后，即对音视频施加各种特效后，时间戳不变，如果改变时间戳，则对视频流程度同步造成影响，也会音视频同步造成影响。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图2是本发明的音视频自动同步系统框图，参见图2，本发明提供的音视频自动同步系统，用于网络直播，包括：
音视频流接收模块，用于接收音频流和视频流，其中，音频流包括多个带有时间戳的音频帧，视频流包括多个视频帧，视频帧包括带有时间戳的关键帧和带有时间戳的非关键帧；
音视频缓存模块，用于缓存音频流和视频流；
关键帧提取模块，用于从缓存的视频流中提取关键帧；
初始帧选取模块，用于对关键帧进行编码，判断该关键帧是否编码成功，若是，则选取该关键帧作为初始帧；
音视频同步模块，用于以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应，丢弃初始帧时间戳前的音频流和视频流；
音视频编码模块，用于对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流。
本发明的音视频自动同步系统选取初始帧并以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应，丢弃初始帧时间戳前的音频流和视频流，并缓存音频流和视频流，能够从缓存的视频流中选取初始帧、以初始帧为起点，根据缓存的视频流按序播放视频帧和与其对应的音频帧，避免视频或音频丢帧，以防视频跳过。
进一步地，在音视频缓存模块中，采用队列作为缓冲区缓存音视频数据。
进一步地，关键帧提取模块，还用于若从视频流中提取的关键帧编码不成功，则重新从缓存的视频流中提取关键帧，直到关键帧编码成功，才选取该关键帧作为初始帧。
进一步地，在音视频编码模块中，当对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流时，若视频帧编码不成功，则直接丢弃该视频帧，并丢弃与该视频帧对应的音频帧；对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流时，若音频帧编码不成功，则丢弃该音频帧，仅对与该音频帧对应的视频帧进行推流。
本发明的音视频自动同步系统以视频帧为基础，一帧视频对应一段音频，若视频帧丢失，则相应的音频帧也会丢弃，保证绝对同步，防止出现尖叫、没有视频有声音、声音正常播放视频画面慢动作等异常情况出现。
进一步地，上述音视频自动同步系统，还包括：时间戳计算模块，用于在推流时间延长时，对音频帧和视频帧的时间戳加延时值，使音频帧和视频帧的时间戳与推流时间一致；在对音频帧和视频帧进行处理时，时间戳不变。
对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明针对音视频处理后的音频流和视频流不在同一时间上做的处理，在传统的音视频传送中一般不会对音视频进行处理，同步也比较简单，甚至有人手动调整至大体能接受的情况。本发明为处理直播过程中，音频滤波后，视频只能检测识别后，音视频不同步而做的处理，经过测试，不仅对音视频处理后的流自动同步，更能兼容传统的音视频推流，而且还能适应网络波动。
通过大量的拔插网线、连接断开网络、视频音频不同时打开等多种情况，音视频均能自动同步，人口型和声音一致，秒表报时和时间一致，理论和实践结果均能够证明本发明的可靠性与稳定性。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种音视频自动同步方法，用于网络直播，其特征在于，包括以下步骤：
接收音频流和视频流，其中，音频流包括多个带有时间戳的音频帧，视频流包括多个带有时间戳的视频帧，视频帧包括关键帧和非关键帧；
缓存音频流和视频流；
从缓存的视频流中提取关键帧；
对关键帧进行编码，判断该关键帧是否编码成功，若是，则选取该关键帧作为初始帧；
以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应，丢弃初始帧时间戳前的音频流和视频流；
对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流。
2.根据权利要求1所述的音视频自动同步方法，其特征在于，采用队列作为缓冲区缓存音视频数据。
3.根据权利要求2所述的音视频自动同步方法，其特征在于，还包括：若从视频流中提取的关键帧编码不成功，则重新从缓存的视频流中提取关键帧，直到关键帧编码成功，才选取该关键帧作为初始帧。
4.根据权利要求3所述的音视频自动同步方法，其特征在于，还包括：当对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流时，若视频帧编码不成功，则直接丢弃该视频帧，并丢弃与该视频帧对应的音频帧。
5.根据权利要求4所述的音视频自动同步方法，其特征在于，还包括：对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流时，若音频帧编码不成功，则丢弃该音频帧，仅对与该音频帧对应的视频帧进行推流。
6.根据权利要求1所述的音视频自动同步方法，其特征在于，还包括：当推流时间延长时，对音频帧和视频帧的时间戳加延时值，使音频帧和视频帧的时间戳与推流时间一致。
7.根据权利要求1所述的音视频自动同步方法，其特征在于，还包括：当对音频帧和视频帧进行处理时，时间戳不变。
8.一种音视频自动同步系统，用于网络直播，其特征在于，包括：
音视频流接收模块，用于接收音频流和视频流，其中，音频流包括多个带有时间戳的音频帧，视频流包括多个视频帧，视频帧包括带有时间戳的关键帧和带有时间戳的非关键帧；
音视频缓存模块，用于缓存音频流和视频流；
关键帧提取模块，用于从缓存的视频流中提取关键帧；
初始帧选取模块，用于对关键帧进行编码，判断该关键帧是否编码成功，若是，则选取该关键帧作为初始帧；
音视频同步模块，用于以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应，并丢弃初始帧时间戳前的音频流和视频流；
音视频编码模块，用于对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流。
9.根据权利要求8所述的音视频自动同步系统，其特征在于，还包括：在音视频缓存模块中，采用队列作为缓冲区缓存音视频数据。
10.根据权利要求9所述的音视频自动同步系统，其特征在于，关键帧提取模块，还用于若从视频流中提取的关键帧编码不成功，则重新从缓存的视频流中提取关键帧，直到关键帧编码成功，才选取该关键帧作为初始帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910189637.2A CN110062277A (zh) | 2019-03-13 | 2019-03-13 | 一种音视频自动同步方法及同步系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910189637.2A CN110062277A (zh) | 2019-03-13 | 2019-03-13 | 一种音视频自动同步方法及同步系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110062277A true CN110062277A (zh) | 2019-07-26 |
Family
ID=67316856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910189637.2A Pending CN110062277A (zh) | 2019-03-13 | 2019-03-13 | 一种音视频自动同步方法及同步系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110062277A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111654736A (zh) * | 2020-06-10 | 2020-09-11 | 北京百度网讯科技有限公司 | 音视频同步误差的确定方法、装置、电子设备和存储介质 |
| CN111918093A (zh) * | 2020-08-13 | 2020-11-10 | 腾讯科技（深圳）有限公司 | 直播数据处理方法、装置、计算机设备和存储介质 |
| CN112235597A (zh) * | 2020-09-17 | 2021-01-15 | 深圳市捷视飞通科技股份有限公司 | 流媒体直播音视频同步保护方法、装置、计算机设备 |
| CN112985583A (zh) * | 2021-05-20 | 2021-06-18 | 杭州兆华电子有限公司 | 结合短时脉冲检测的声学成像方法和系统 |
| CN112995720A (zh) * | 2019-12-16 | 2021-06-18 | 成都鼎桥通信技术有限公司 | 一种音视频同步方法和装置 |
| US11122321B1 (en) | 2020-04-06 | 2021-09-14 | International Business Machines Corporation | Stream synchronization using an automated digital clapperboard |
| CN113891132A (zh) * | 2021-10-25 | 2022-01-04 | 北京字节跳动网络技术有限公司 | 一种音视频同步监控方法、装置、电子设备及存储介质 |
| CN114666636A (zh) * | 2022-03-01 | 2022-06-24 | 阿里巴巴（中国）有限公司 | 音画同步检测方法及计算机可读存储介质 |
| CN115589450A (zh) * | 2022-09-01 | 2023-01-10 | 荣耀终端有限公司 | 一种视频录制的方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030046348A1 (en) * | 2001-08-29 | 2003-03-06 | Pinto Albert Gregory | System and method of converting video to bitmap animation for use in electronic mail |
| CN106488265A (zh) * | 2016-10-12 | 2017-03-08 | 广州酷狗计算机科技有限公司 | 一种发送媒体流的方法和装置 |
| CN107438192A (zh) * | 2017-07-26 | 2017-12-05 | 武汉烽火众智数字技术有限责任公司 | 音视频播放同步的方法及相关系统和多媒体播放终端 |
-
2019
- 2019-03-13 CN CN201910189637.2A patent/CN110062277A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030046348A1 (en) * | 2001-08-29 | 2003-03-06 | Pinto Albert Gregory | System and method of converting video to bitmap animation for use in electronic mail |
| CN106488265A (zh) * | 2016-10-12 | 2017-03-08 | 广州酷狗计算机科技有限公司 | 一种发送媒体流的方法和装置 |
| CN107438192A (zh) * | 2017-07-26 | 2017-12-05 | 武汉烽火众智数字技术有限责任公司 | 音视频播放同步的方法及相关系统和多媒体播放终端 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112995720B (zh) * | 2019-12-16 | 2022-11-18 | 成都鼎桥通信技术有限公司 | 一种音视频同步方法和装置 |
| CN112995720A (zh) * | 2019-12-16 | 2021-06-18 | 成都鼎桥通信技术有限公司 | 一种音视频同步方法和装置 |
| US11122321B1 (en) | 2020-04-06 | 2021-09-14 | International Business Machines Corporation | Stream synchronization using an automated digital clapperboard |
| CN111654736A (zh) * | 2020-06-10 | 2020-09-11 | 北京百度网讯科技有限公司 | 音视频同步误差的确定方法、装置、电子设备和存储介质 |
| CN111918093B (zh) * | 2020-08-13 | 2021-10-26 | 腾讯科技（深圳）有限公司 | 直播数据处理方法、装置、计算机设备和存储介质 |
| CN111918093A (zh) * | 2020-08-13 | 2020-11-10 | 腾讯科技（深圳）有限公司 | 直播数据处理方法、装置、计算机设备和存储介质 |
| CN112235597B (zh) * | 2020-09-17 | 2022-07-29 | 深圳市捷视飞通科技股份有限公司 | 流媒体直播音视频同步保护方法、装置、计算机设备 |
| CN112235597A (zh) * | 2020-09-17 | 2021-01-15 | 深圳市捷视飞通科技股份有限公司 | 流媒体直播音视频同步保护方法、装置、计算机设备 |
| CN112985583A (zh) * | 2021-05-20 | 2021-06-18 | 杭州兆华电子有限公司 | 结合短时脉冲检测的声学成像方法和系统 |
| CN113891132A (zh) * | 2021-10-25 | 2022-01-04 | 北京字节跳动网络技术有限公司 | 一种音视频同步监控方法、装置、电子设备及存储介质 |
| CN114666636A (zh) * | 2022-03-01 | 2022-06-24 | 阿里巴巴（中国）有限公司 | 音画同步检测方法及计算机可读存储介质 |
| CN115589450A (zh) * | 2022-09-01 | 2023-01-10 | 荣耀终端有限公司 | 一种视频录制的方法和装置 |
| CN115589450B (zh) * | 2022-09-01 | 2024-04-05 | 荣耀终端有限公司 | 一种视频录制的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110062277A (zh) | 一种音视频自动同步方法及同步系统 | |
| CN109862384A (zh) | 一种音视频自动同步方法及同步系统 | |
| CN1933590B (zh) | 用于将分离的压缩视频和文本流同步的方法和装置 | |
| CN105959772B (zh) | 流媒体与字幕即时同步显示、匹配处理方法、装置及系统 | |
| KR100968928B1 (ko) | 오디오 스트림 및 비디오 스트림의 동기화 장치 및 방법 | |
| CN110324643B (zh) | 一种视频录制方法及系统 | |
| CN107018466B (zh) | 增强音频记录 | |
| EP3011691B1 (en) | System and method to assist synchronization of distributed play out of control | |
| KR20030078354A (ko) | 디지털 데이터 방송을 위한 동기화 데이터 삽입 장치 및그 방법 | |
| US20060227813A1 (en) | Method and system for synchronized video recording/delivery | |
| JP2007295578A (ja) | 音声データのフレームを含む音声ストリームを通す複数の通信モジュールを含む通信システムのための方法 | |
| CN107659538A (zh) | 一种视频处理的方法及设备 | |
| KR20100030663A (ko) | 디코더 장치 및 디코드 방법 | |
| US20040143675A1 (en) | Resynchronizing drifted data streams with a minimum of noticeable artifacts | |
| CN110519627B (zh) | 一种音频数据的同步方法和装置 | |
| CN112565224B (zh) | 一种视频处理方法及装置 | |
| CN110139128B (zh) | 一种信息处理方法、拦截器、电子设备及存储介质 | |
| CN109040818B (zh) | 直播时的音视频同步方法、存储介质、电子设备及系统 | |
| CN101540871B (zh) | 基于电路域可视电话同步录制对端声音图像的方法和终端 | |
| CN110545447B (zh) | 一种音视频同步的方法及装置 | |
| WO2007110822A1 (en) | Method and apparatus for synchronising recording of multiple cameras | |
| CN105187688A (zh) | 一种对手机采集的实时视频和音频进行同步的方法及系统 | |
| JP4242581B2 (ja) | データ変換装置 | |
| CN112437316A (zh) | 即时消息与直播视频流同步播放的方法、装置 | |
| JP6883214B2 (ja) | 受信装置および方法、送信装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |
|
| RJ01 | Rejection of invention patent application after publication |