CN109660805A - 解码播放中音视频同步优化方法、存储介质、设备及系统 - Google Patents
解码播放中音视频同步优化方法、存储介质、设备及系统 Download PDFInfo
- Publication number
- CN109660805A CN109660805A CN201710936642.6A CN201710936642A CN109660805A CN 109660805 A CN109660805 A CN 109660805A CN 201710936642 A CN201710936642 A CN 201710936642A CN 109660805 A CN109660805 A CN 109660805A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- decoded
- audio
- video bag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005457 optimization Methods 0.000 title claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004321 preservation Methods 0.000 claims 1
- 230000007812 deficiency Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种解码播放中音视频同步优化方法、存储介质、设备及系统，涉及视频解码领域，该方法包括新建一变量，所述变量用于保存每一个解码的音频帧的解码时间戳；从视频待解码队列中依次取出视频包，判断取出的视频包的解码时间戳是否小于变量中保存的正在进行解码的音频帧的解码时间戳，若否，则解码当前取出视频包；若是，则判断当前取出的视频包的帧类型是否是B帧，若不是B帧，则解码当前取出的视频包，若是B帧，则进一步判断上次取出的视频包的帧类型是否是B帧，若不是，则丢弃当前取出的视频包，若是，则解码当前取出的视频包。本发明能够有效解决视频播放中音视频不同步的现象。
Description
技术领域
本发明涉及视频解码领域，具体涉及一种解码播放中音视频同步优化方法、存储介质、设备及系统。
背景技术
无论是存储在本地磁盘文件中的视频文件，还是在网络上传输的视频流文件，均是通过相关的视频解码器编码压缩后进行存储和传输，其中H246编码器为常用的视频编码器。在对编码压缩后的视频文件解码播放时，需保证音频和视频的同步播放，对于音视频的同步，常用的方法有三种：一种是视频同步到音频，一种是音频同步到视频，再一种就是音频和视频均同步到系统时钟，其中视频同步到音频为最为常见的一种方式。当在解码视频时，视频分辨率越大、帧率越大，其所要耗费的CPU资源也就越多，即视频的分辨率和帧率同CPU的消耗是成正比的。
上述的三种音视频同步方法，均是以当前CPU性能足以解码该视频为前提，但是，若当前CPU性能较低，如要解码一个分辨率为1920*1080，60FPS的视频，而当前CPU一秒钟只能解码部分帧视频，那么每秒便会剩下一部分帧的视频没有解码，从而造成视频流的累积，时间一长，便会出现音频和视频不同步的现象，影响用户对视频的观看体验。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种解码播放中音视频同步优化方法，有效解决视频播放中音视频不同步的现象。
为达到以上目的，本发明采取的技术方案是，包括：
新建一变量，所述变量用于保存每一个解码的音频帧的解码时间戳；
从视频待解码队列中依次取出视频包，判断取出的视频包的解码时间戳是否小于变量中保存的正在进行解码的音频帧的解码时间戳，若否，则解码当前取出视频包；若是，
则判断当前取出的视频包的帧类型是否是B帧，若不是B帧，则解码当前取出的视频包，若是B帧，则进一步判断上次取出的视频包的帧类型是否是B帧，若不是，则丢弃当前取出的视频包，若是，则解码当前取出的视频包。
在上述技术方案的基础上，
依次解码音频帧，并将当前进行解码的音频帧的解码时间戳保存至新建的变量中。
在上述技术方案的基础上，
所述视频包的帧类型包括I帧、P帧和B帧；
所述I帧为帧内编码帧，所述P帧为前向预测帧，所述B帧为双向预测内插编码帧。
在上述技术方案的基础上，
从视频待解码队列中取出的视频包均对应有解码时间戳；
新建视频包解码时间戳变量和视频包帧类型变量，所述视频包解码时间戳变量用于保存从视频待解码队列中取出的视频包的解码时间戳，所述视频包帧类型变量用于从视频待解码队列中取出的视频包的帧类型。
在上述技术方案的基础上，当从视频待解码队列中取出视频包的解码时间戳小于变量中保存的对应音频帧的解码时间戳，且当前取出的视频包的帧类型是B帧，则根据视频包帧类型变量中记录的视频包帧类型，判断上次取出的视频包的帧类型是否是B帧。
本发明还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法。
本发明还提供一种解码播放中音视频同步优化设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的方法。
本发明还提供一种解码播放中音视频同步优化系统，包括：
创建模块，其用于新建用于保存每一个解码的音频帧的解码时间戳的变量；
执行模块，其用于从视频待解码队列中依次取出视频包。
判断模块，其用于判断取出的视频包的解码时间戳是否小于变量中保存的正在进行解码的音频帧的解码时间戳，若否，则解码当前取出视频包；若是，则进一步判断当前取出的视频包的帧类型是否是B帧，若不是B帧，则解码当前取出的视频包，若是B帧，则进一步判断上次取出的视频包的帧类型是否是B帧，若不是，则丢弃当前取出的视频包，若是，则解码当前取出的视频包。
在上述技术方案的基础上，依次解码音频帧，并将当前进行解码的音频帧的解码时间戳保存至新建的变量中；视频文件中，每一个视频帧均对应有一音频帧。
在上述技术方案的基础上，所述视频包的帧类型包括I帧、P帧和B帧；所述I帧为帧内编码帧，所述P帧为前向预测帧，所述B帧为双向预测内插编码帧。
与现有技术相比，本发明的优点在于：当CPU性能不足，不足以足数解码视频包时，将从视频待解码队列中取出的视频包的解码时间戳与当前正在进行解码的音频帧的解码时间戳的大小进行比对，若小于，则说明当前取出的视频包的解码已经落后于音频帧的解码，已发生音视频不同步的现象，此时进行B帧舍弃的判断，采用丢弃B帧的策略，有效解决在较低配置的机器上，播放大分辨率、大帧率的视频时，因CPU性能问题，出现音视频不同步的现象，有效保证用户对视频的观看体验。
附图说明
图1为本发明实施例中一种解码播放中音视频同步优化方法的流程图；
图2为本发明实施例中一种解码播放中音视频同步优化设备的结构示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图1所示，本发明实施例提供一种解码播放中音视频同步优化方法，适用于H264编码的视频文件，保证视频同步到音频，针对CPU性能不足，对视频帧解码可能存在延误的使用场景，保证视频和音频的同步，确保用户对视频的观看体验。本发明实施例的解码播放中音视频同步优化方法具体包括：
S1：新建一变量，该变量用于保存每一个解码的音频帧的解码时间戳。H264编码的视频文件中，每一个视频包均对应有个解码时间戳，每一个音频帧均对应有个解码时间戳，解码时间戳用以记录每一个视频包或音频帧的解码时间，DTS(Decode Time Stamp，解码时间戳)是一个递增的时间戳。依次解码音频帧，并将当前进行解码的音频帧的解码时间戳保存至新建的变量m_currentDecodingTime中。本发明实施例中，视频包即为视频帧。
S2：从视频待解码队列中依次取出视频包，判断取出的视频包的解码时间戳是否小于变量中保存的正在进行解码的音频帧的解码时间戳，若否，则说明视频的解码没有落后音频的解码，则解码当前取出视频包；若是，则说明视频的解码已经落后音频的解码，则转到S3。对于H264编码器编码的视频文件，视频包按照解码的先后顺序，在视频待解码队列m_videoPackets中进行排列，本发明实施例的音视频同步优化方法是使视频同步到音频，因此，音频帧按照顺序进行依次解码，而由于CPU性能问题，视频包的解码可能存在延迟，因此在从视频待解码队列中取出视频包进行解码时，需对取出的视频包的解码时间戳与当前正在进行解码的音频帧的解码时间戳的大小进行比对，若小于，则说明当前取出的视频包的解码已经落后于音频帧的解码，已发生音视频不同步的现象，若不小于，则说明当前取出的视频包的解码没有落后音频帧的解码。
因音频帧的解码所占用的CPU资源较少，而本发明实施例是实现视频同步到音频，故不会存在取出的视频包的解码时间戳大于当前正在进行解码的音频帧的解码时间戳，仅会存在取出的视频包的解码时间戳小于或等于当前正在进行解码的音频帧的解码时间戳。每个音频帧的解码间隔一般为200毫秒。
S3：判断当前取出的视频包的帧类型是否是B帧，若不是B帧，则解码当前取出的视频包，若是B帧，则进一步判断上次取出的视频包的帧类型是否是B帧，若不是，则丢弃当前取出的视频包，若是，则解码当前取出的视频包。
视频包的帧类型包括I帧、P帧和B帧；I帧为帧内编码帧，I帧即为关键帧，I帧的压缩比最低，但是I帧在视频解码的时候不需要依赖于其它的帧，当其它的帧被丢弃时，仍然能够正常的解码出图像，且I帧是解码P帧图像时的参考帧。P帧为前向预测帧，它的压缩率比I帧要高，在解码第一个P帧时，该第一个P帧依赖于I帧，而当在解码第二个P帧时，该P帧要依赖于其前面的一个P帧，所以在解码时，如果有一个P帧被丢弃了，会导致其后面的P帧因为找不到该P帧而引起花屏。B帧为双向预测内插编码帧，它的压缩率是最高的，所以在相同的码率条件下，有B帧的视频，其清晰度更好，B帧保留了当前帧前面图像与后面图像的差异，所以B帧依赖于其前后的P帧和B帧，因为B帧保留的视频的一些并不是非常重要的细节，所以丢弃相关的B帧，并不会对视频产生比较大的影响，并且由于B帧的压缩比最高，相应的在解码时，所消耗的CPU资源也是最大的。故B帧是可以被丢弃，但在丢弃B帧时，需考虑上一个解码的帧是否为B帧，若上一个解码的帧为B帧，丢弃下一个B帧，则会导致上一个B因找不到下一个B帧而造成画面的花屏。
因从视频待解码队列中取出的视频包均对应有解码时间戳，为方便管理，还可以新建视频包解码时间戳变量和视频包帧类型变量，视频包解码时间戳变量用于保存从视频待解码队列中取出的视频包的解码时间戳，视频包帧类型变量用于从视频待解码队列中取出的视频包的帧类型。当从视频待解码队列中取出视频包的解码时间戳小于变量中保存的对应音频帧的解码时间戳，且当前取出的视频包的帧类型是B帧，则根据视频包帧类型变量中记录的视频包帧类型，判断上次取出的视频包的帧类型是否是B帧。
当视频的解码落后音频的解码时，丢弃一个B帧，可能视频的解码依旧落后音频的解码，但本发明实施例的解码播放中音视频同步优化方法为一循环过程，随着音频帧解码和视频包解码的进行，会将取出的视频包的解码时间戳与音频帧的解码时间戳一直进行比对，从而决定是否进行B帧的取舍，随着B帧丢弃数的增多，取出的视频包的解码时间戳会不小于音频帧的解码时间戳，此时则不再进行B帧的丢弃，直至取出的视频包的解码时间戳再次小于音频帧的解码时间戳，则进行B帧的丢弃，因此类推，保证视频和音频的同步。如解码一个60FPS的视频，在一秒内的视频帧为IPBBPBBPBBPBBPBBPBBPBBPBBPBBPBBPBBPBBPBBPBBPBBPBBPBBPBBPBBP，第一个视频帧是I帧，紧接着的是P帧，然后是两个连续的B帧，然后又是P帧，然后又是两个连续的B帧，依此循环，当检测出CPU性能不够，不足以解码指定帧率的视频时，可以进行B帧的丢弃，从而缓解CPU解码压力，最为重要的是不会造成视频帧的累积，进而造成音视频不同步的问题，对于上述的60FPS视频，如果CPU一秒内只能解码30帧，那么最终解码的视频帧可能如下IPBBPPBBPPBBPPBBPBBPPPBBPBBPPP，可以看出，丢弃了部分B帧，并且最终播放后的效果也没有造成画面的花屏，保证了音视频的同步，但因为毕竟丢弃了一半的画面，可能肉眼看上去会有些许卡顿感。
对于取出的视频包的帧类型的判断，具体为：
A：获取H264编码的视频文件的裸数据。本发明视频文件基于第三方开源的音视频库FFmpeg，上述的视频待解码队列中存储的是AVPacket数据包结构的视频包，所以在判断视频包的帧类型前，需要先从AVPacket数据中解析出原始的H264裸数据。AVPacket数据的data字段中存储的格式是{4字节+NAL+4字节+NAL……}，其中4字节用于标识NAL(网络抽象层面)的数据长度。
B：从NAL中解析出帧数据。因为一个AVPacket结构中，可能带有多个NAL原始数据，所以必须区分哪个NAL才是H264的帧数据，取NAL数据中的第一个字节，得到NAL的类型单元NALU，然后将NALU与0x1F进行与运算，如果结果等于NAL_SLICE(值为1)或者NAL_SLICE_IDR(值为5)，则该NAL就是帧数据。
C：从帧数据中解析帧类型。上述从AVPacket中得到一个H264的帧数据之后，按照如下的算法，获取该帧类型。
1)获取NALU的下一个字节标记start；
2)从start的最低位开始，判断该位是否等于1，如果等于1，则进入步骤3)，并将当前的循环次数计入到变量i中，并且当前剩余未读取的比特位数计入到i_left变量中，若不等于1，则读取下一位，计数器i加一，如果超过为start的最高位，则start加一，即读取其下一个字节，依此类推。
3)获取需要右移的位数，具体的，取i_shr为需要右移的位数，则有i_shr＝i_left–i。
4)获取帧类型数据，具体的，取帧类型数据为i_result，如果i_shr大于0，则i_result＝(start>>i_shr)&(2^i–1)，如果i_shr小于0则i_result＝(start&2^i_left-1)<<-i_shr，根据上述的两个算法公式，获取到帧类型数据值。
5)根据类型数据值，判断I、P、B帧.根据上步中获取到的i_result值，根据其值的不同，判断出不同的帧类型值，如果i_result等于2,4,7,9则该帧为I帧，如果等于0,3,5,8则为P帧，如果等于1,6则为B帧。
本发明的解码播放中音视频同步优化方法的原理在于，当CPU性能不足，不足以足数解码视频包时，将从视频待解码队列中取出的视频包的解码时间戳与当前正在进行解码的音频帧的解码时间戳的大小进行比对，若小于，则说明当前取出的视频包的解码已经落后于音频帧的解码，已发生音视频不同步的现象，此时进行B帧舍弃的判断，若当前解码的为B帧，而上一个解码的帧为B帧，则当前解码的视频帧不能被舍弃，避免导致上一个B因找不到下一个B帧而造成画面的花屏，而上一个解码的帧不为B帧，则可以丢弃当前解码的B帧，若不小于，则说明当前取出的视频包的解码没有落后音频帧的解码，采用丢弃B帧的策略，有效解决在较低配置的机器上，播放大分辨率、大帧率的视频时，因CPU性能问题，出现音视频不同步的现象，有效保证用户对视频的观看体验。
另外，对应上述解码播放中音视频同步优化方法，本发明还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例所述的解码播放中音视频同步优化方法的步骤。需要说明的是，所述存储介质包括U盘、移动硬盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
参见图2所示，对应上述解码播放中音视频同步优化方法，本发明还提供一种解码播放中音视频同步优化设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例的解码播放中音视频同步优化方法。
本发明还提供一种基于上述解码播放中音视频同步优化方法的解码播放中音视频同步优化系统，包括创建模块、执行模块和判断模块。
创建模块用于新建用于保存每一个解码的音频帧的解码时间戳的变量；执行模块用于从视频待解码队列中依次取出视频包。判断模块用于判断取出的视频包的解码时间戳是否小于变量中保存的正在进行解码的音频帧的解码时间戳，若否，则解码当前取出视频包；若是，则进一步判断当前取出的视频包的帧类型是否是B帧，若不是B帧，则解码当前取出的视频包，若是B帧，则进一步判断上次取出的视频包的帧类型是否是B帧，若不是，则丢弃当前取出的视频包，若是，则解码当前取出的视频包。
依次解码音频帧，并将当前进行解码的音频帧的解码时间戳保存至新建的变量中；视频文件中，每一个视频帧均对应有一音频帧。视频包的帧类型包括I帧、P帧和B帧；所述I帧为帧内编码帧，P帧为前向预测帧，所述B帧为双向预测内插编码帧。
本本发明实施例的解码播放中音视频同步优化系统的原理在于，当CPU性能不足，不足以足数解码视频包时，判断模块将从视频待解码队列中取出的视频包的解码时间戳与当前正在进行解码的音频帧的解码时间戳的大小进行比对，若小于，则说明当前取出的视频包的解码已经落后于音频帧的解码，已发生音视频不同步的现象，此时进行B帧舍弃的判断，若不小于，则说明当前取出的视频包的解码没有落后音频帧的解码，采用丢弃B帧的策略，有效解决在较低配置的机器上，播放大分辨率、大帧率的视频时，因CPU性能问题，出现音视频不同步的现象，有效保证用户对视频的观看体验。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (10)
1.一种解码播放中音视频同步优化方法，适用于H264编码的视频文件，其特征在于，包括：
新建一变量，所述变量用于保存每一个解码的音频帧的解码时间戳；
从视频待解码队列中依次取出视频包，判断取出的视频包的解码时间戳是否小于变量中保存的正在进行解码的音频帧的解码时间戳，若否，则解码当前取出视频包；若是，
则判断当前取出的视频包的帧类型是否是B帧，若不是B帧，则解码当前取出的视频包，若是B帧，则进一步判断上次取出的视频包的帧类型是否是B帧，若不是，则丢弃当前取出的视频包，若是，则解码当前取出的视频包。
2.如权利要求1所述的一种解码播放中音视频同步优化方法，其特征在于：
依次解码音频帧，并将当前进行解码的音频帧的解码时间戳保存至新建的变量中。
3.如权利要求1所述的一种解码播放中音视频同步优化方法，其特征在于：
所述视频包的帧类型包括I帧、P帧和B帧；
所述I帧为帧内编码帧，所述P帧为前向预测帧，所述B帧为双向预测内插编码帧。
4.如权利要求1所述的一种解码播放中音视频同步优化方法，其特征在于：
从视频待解码队列中取出的视频包均对应有解码时间戳；
新建视频包解码时间戳变量和视频包帧类型变量，所述视频包解码时间戳变量用于保存从视频待解码队列中取出的视频包的解码时间戳，所述视频包帧类型变量用于从视频待解码队列中取出的视频包的帧类型。
5.如权利要求2所述的一种解码播放中音视频同步优化方法，其特征在于：当从视频待解码队列中取出视频包的解码时间戳小于变量中保存的对应音频帧的解码时间戳，且当前取出的视频包的帧类型是B帧，则根据视频包帧类型变量中记录的视频包帧类型，判断上次取出的视频包的帧类型是否是B帧。
6.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至5任一项所述的方法。
7.一种解码播放中音视频同步优化设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的方法。
8.一种解码播放中音视频同步优化系统，其特征在于，包括：
创建模块，其用于新建用于保存每一个解码的音频帧的解码时间戳的变量；
执行模块，其用于从视频待解码队列中依次取出视频包。
判断模块，其用于判断取出的视频包的解码时间戳是否小于变量中保存的正在进行解码的音频帧的解码时间戳，若否，则解码当前取出视频包；若是，则进一步判断当前取出的视频包的帧类型是否是B帧，若不是B帧，则解码当前取出的视频包，若是B帧，则进一步判断上次取出的视频包的帧类型是否是B帧，若不是，则丢弃当前取出的视频包，若是，则解码当前取出的视频包。
9.如权利要求8所述的一种解码播放中音视频同步优化系统，其特征在于：依次解码音频帧，并将当前进行解码的音频帧的解码时间戳保存至新建的变量中；视频文件中，每一个视频帧均对应有一音频帧。
10.如权利要求8所述的一种解码播放中音视频同步优化系统，其特征在于：所述视频包的帧类型包括I帧、P帧和B帧；所述I帧为帧内编码帧，所述P帧为前向预测帧，所述B帧为双向预测内插编码帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710936642.6A CN109660805B (zh) | 2017-10-10 | 2017-10-10 | 解码播放中音视频同步优化方法、存储介质、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710936642.6A CN109660805B (zh) | 2017-10-10 | 2017-10-10 | 解码播放中音视频同步优化方法、存储介质、设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109660805A true CN109660805A (zh) | 2019-04-19 |
| CN109660805B CN109660805B (zh) | 2020-07-31 |
Family
ID=66109462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710936642.6A Active CN109660805B (zh) | 2017-10-10 | 2017-10-10 | 解码播放中音视频同步优化方法、存储介质、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109660805B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110113630A (zh) * | 2019-06-19 | 2019-08-09 | 北京达佳互联信息技术有限公司 | 视频检测方法、装置、电子设备及存储介质 |
| CN112073823A (zh) * | 2020-09-02 | 2020-12-11 | 深圳创维数字技术有限公司 | 丢帧处理方法、视频播放终端及计算机可读存储介质 |
| CN112235597A (zh) * | 2020-09-17 | 2021-01-15 | 深圳市捷视飞通科技股份有限公司 | 流媒体直播音视频同步保护方法、装置、计算机设备 |
| CN113726778A (zh) * | 2021-08-30 | 2021-11-30 | 咪咕视讯科技有限公司 | 流媒体seek方法、装置、计算设备及计算机存储介质 |
| CN114095784A (zh) * | 2021-11-19 | 2022-02-25 | 浩云科技股份有限公司 | H.265格式视频流转码播放方法、系统、设备及介质 |
| CN117596432A (zh) * | 2023-12-08 | 2024-02-23 | 广东保伦电子股份有限公司 | 音视频同步播放方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0482888A2 (en) * | 1990-10-25 | 1992-04-29 | Matsushita Electric Industrial Co., Ltd. | Video signal recording/reproducing apparatus |
| US6016166A (en) * | 1998-08-31 | 2000-01-18 | Lucent Technologies Inc. | Method and apparatus for adaptive synchronization of digital video and audio playback in a multimedia playback system |
| CN101193311A (zh) * | 2006-12-21 | 2008-06-04 | 腾讯科技（深圳）有限公司 | 一种p2p系统中音视频数据的同步方法 |
| CN102368823A (zh) * | 2011-06-28 | 2012-03-07 | 上海盈方微电子有限公司 | 一种基于分级机制的视频丢帧策略 |
| CN103873952A (zh) * | 2012-12-18 | 2014-06-18 | 风网科技（北京）有限公司 | 一种高效的视频播放丢帧控制系统及其方法 |
| CN105933800A (zh) * | 2016-04-29 | 2016-09-07 | 联发科技（新加坡）私人有限公司 | 一种视频播放方法及其控制终端 |
-
2017
- 2017-10-10 CN CN201710936642.6A patent/CN109660805B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0482888A2 (en) * | 1990-10-25 | 1992-04-29 | Matsushita Electric Industrial Co., Ltd. | Video signal recording/reproducing apparatus |
| US6016166A (en) * | 1998-08-31 | 2000-01-18 | Lucent Technologies Inc. | Method and apparatus for adaptive synchronization of digital video and audio playback in a multimedia playback system |
| CN101193311A (zh) * | 2006-12-21 | 2008-06-04 | 腾讯科技（深圳）有限公司 | 一种p2p系统中音视频数据的同步方法 |
| CN102368823A (zh) * | 2011-06-28 | 2012-03-07 | 上海盈方微电子有限公司 | 一种基于分级机制的视频丢帧策略 |
| CN103873952A (zh) * | 2012-12-18 | 2014-06-18 | 风网科技（北京）有限公司 | 一种高效的视频播放丢帧控制系统及其方法 |
| CN105933800A (zh) * | 2016-04-29 | 2016-09-07 | 联发科技（新加坡）私人有限公司 | 一种视频播放方法及其控制终端 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110113630A (zh) * | 2019-06-19 | 2019-08-09 | 北京达佳互联信息技术有限公司 | 视频检测方法、装置、电子设备及存储介质 |
| CN110113630B (zh) * | 2019-06-19 | 2021-05-18 | 北京达佳互联信息技术有限公司 | 视频检测方法、装置、电子设备及存储介质 |
| CN112073823A (zh) * | 2020-09-02 | 2020-12-11 | 深圳创维数字技术有限公司 | 丢帧处理方法、视频播放终端及计算机可读存储介质 |
| CN112073823B (zh) * | 2020-09-02 | 2022-07-12 | 深圳创维数字技术有限公司 | 丢帧处理方法、视频播放终端及计算机可读存储介质 |
| CN112235597A (zh) * | 2020-09-17 | 2021-01-15 | 深圳市捷视飞通科技股份有限公司 | 流媒体直播音视频同步保护方法、装置、计算机设备 |
| CN112235597B (zh) * | 2020-09-17 | 2022-07-29 | 深圳市捷视飞通科技股份有限公司 | 流媒体直播音视频同步保护方法、装置、计算机设备 |
| CN113726778A (zh) * | 2021-08-30 | 2021-11-30 | 咪咕视讯科技有限公司 | 流媒体seek方法、装置、计算设备及计算机存储介质 |
| CN114095784A (zh) * | 2021-11-19 | 2022-02-25 | 浩云科技股份有限公司 | H.265格式视频流转码播放方法、系统、设备及介质 |
| CN114095784B (zh) * | 2021-11-19 | 2024-02-09 | 浩云科技股份有限公司 | H.265格式视频流转码播放方法、系统、设备及介质 |
| CN117596432A (zh) * | 2023-12-08 | 2024-02-23 | 广东保伦电子股份有限公司 | 音视频同步播放方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109660805B (zh) | 2020-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109660805A (zh) | 解码播放中音视频同步优化方法、存储介质、设备及系统 | |
| TWI623225B (zh) | 視訊播放方法及其控制終端 | |
| CN104410807B (zh) | 一种多路视频同步回放方法及装置 | |
| CN101193311B (zh) | 一种p2p系统中音视频数据的同步方法 | |
| US8249110B2 (en) | Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream | |
| CN101292532B (zh) | 用于在移动广播系统中接收多个流的设备和方法 | |
| TWI313992B (en) | Digital multimedia transfer rate controlling | |
| US20070067472A1 (en) | Accurate and error resilient time stamping method and/or apparatus for the audio-video interleaved (AVI) format | |
| KR100448220B1 (ko) | 디지털 방송 송신 시스템에서의 널 패킷 삽입 방법 및 그장치 | |
| KR100718351B1 (ko) | 동영상 파일의 요약 재생 시스템 및 이를 탑재한 이동통신단말기 | |
| CN101600107A (zh) | 调整视频录像播放速度的方法、系统及装置 | |
| US20100008420A1 (en) | Method and decoder for realizing random access in compressed code stream using multi-reference images | |
| CN109168083A (zh) | 一种流媒体实时播放方法及装置 | |
| TW200400761A (en) | System for random access to content | |
| CN114189711A (zh) | 视频处理方法和装置、电子设备、存储介质 | |
| JP2004505519A (ja) | Ｍｐｅｇ−４符号器及び斯様な符号器の出力符号化信号 | |
| US6600787B2 (en) | MPEG decoding device | |
| US20060215711A1 (en) | Apparatus for receiving packet stream | |
| CN1095288C (zh) | 数字电视系统的传送处理器接口和视频记录/重放装置 | |
| WO2011029369A1 (zh) | 一种视频编解码方法、系统及视频监控系统 | |
| US8259789B2 (en) | Methods and systems for picture rate reduction of stored video while under continuous record load | |
| JP2000331421A (ja) | 情報記録装置及び情報再生装置 | |
| CN115278313A (zh) | 一种高倍率多路数的视频并发倍速方法 | |
| TWI610560B (zh) | 控制位元流解碼的方法及相關之位元流解碼電路 | |
| JP5120322B2 (ja) | データ信号記録装置およびデータ信号再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240324 Address after: Room 601, 6th Floor, Building 5, Lianhuayuan, Haidian District, Beijing, 100080 Patentee after: Aerospace Guosheng Technology Co.,Ltd. Country or region after: China Address before: 430000 East Lake Development Zone, Wuhan City, Hubei Province, No. 1 Software Park East Road 4.1 Phase B1 Building 11 Building Patentee before: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd. Country or region before: China |