CN110012295A - 一种avs2解码器参考图像管理的容错方法 - Google Patents
一种avs2解码器参考图像管理的容错方法 Download PDFInfo
- Publication number
- CN110012295A CN110012295A CN201910374993.1A CN201910374993A CN110012295A CN 110012295 A CN110012295 A CN 110012295A CN 201910374993 A CN201910374993 A CN 201910374993A CN 110012295 A CN110012295 A CN 110012295A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- buffering area
- picture frame
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种AVS2解码器参考图像管理的容错方法。它在每个图像头中都传递该图像对应的参考配置信息，具体操作方法如下：(1)针对某图像帧丢失，导致后面参考该图像帧的图像不能解码，采用从解码图像缓冲区中任意选择一个空闲图像帧当作该丢失图像帧的方法来处理；(2)针对因某图像帧丢失，导致参考配置信息中指定的应该移出解码图像缓冲区的图像帧不能及时移除，采用加大解码图像缓冲区大小，并移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧这两个方法相结合来处理。本发明的有益效果是：使得即使码流出现错误，导致某些帧丢失时，AVS2解码器仍能继续工作，并将对解码器输出的影响尽可能减小，使其能够保证仍能长时间稳定运行。
Description
技术领域
本发明涉及数字视频解码相关技术领域，尤其是指一种AVS2解码器参考图像管理的容错方法。
背景技术
AVS2参考解码器能在输入码流正常时，正确地解码。但当收到的码流出现错误时，比如当网络丢包时，参考解码器就会因为发生错误而停止工作。AVS2采用参考配置集技术RCS(Reference Configuration Set)来实现参考图像管理。每个图像头中传递该图像对应的配置信息，以表明当前图像参考哪些图像以及解码图像缓冲区中的哪些图像需要移出缓冲区。当AVS2码流在实际网络传输过程中，偶尔会有网络丢包的情况，这就会导致某些图像帧的丢失。不仅丢失的图像帧不能解码，还会使参考丢失帧的所有图像帧都不能解码。另一个更严重的问题是图像头中的参考配置信息会标明哪些图像需要移出解码图像缓冲区，那么某一帧的丢失会导致某些图像帧不能及时从解码图像缓冲区中移除，而解码图像缓冲区的大小是固定的，这必然会导致新来的图像帧因为不能获得可用的图像资源而导致解码器没有响应。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种能长时间稳定运行的AVS2解码器参考图像管理的容错方法。
为了实现上述目的，本发明采用以下技术方案：
一种AVS2解码器参考图像管理的容错方法，在每个图像头中都传递该图像对应的参考配置信息，具体操作方法如下：
(1)针对某图像帧丢失，导致后面参考该图像帧的图像不能解码，采用从解码图像缓冲区中任意选择一个空闲图像帧当作该丢失图像帧的方法来处理；
(2)针对因某图像帧丢失，导致参考配置信息中指定的应该移出解码图像缓冲区的图像帧不能及时移除，采用加大解码图像缓冲区大小，并移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧这两个方法相结合来处理。
本发明针对AVS2参考图像管理方法，实现了容错，使得即使码流出现错误，导致某些帧丢失时，AVS2解码器仍能继续工作，并在输入码流正常后，恢复正常工作，并将对解码器输出的影响尽可能减小，使其能够保证仍能长时间稳定运行。
作为优选，所述的参考配置信息包括当前图像可用做参考图像标志、当前图像的参考图像数量、参考图像解码顺序偏移量、待移出图像数量以及待移出图像解码顺序偏移量。
作为优选，在步骤(2)中，增加解码图像缓冲区的大小为15％，解码图像缓冲区是用于缓存图像帧的，解码图像缓冲区中的图像帧是动态变化的，解码图像缓冲区的大小是指码流正确情况下，所需缓存的最大图像帧数。增加解码图像缓冲区的大小，增加15％可以达到目的。解码图像缓冲区是用于缓存图像帧的，比如有些帧要被后面解码的帧参考，所以要保留在解码图像缓冲区中，有些帧解码好了，但要延时输出，也需要保留在解码图像缓冲区中，缓冲区中的图像帧是动态变化的。解码图像缓冲区的大小是指码流正确情况下，所需缓存的最大图像帧数，这个信息是编码器写在码流中的，如果不考虑容错，解码器在实现时，可以用这个值来作为解码器中图像缓冲区的大小。但当码流出现错误时，有些帧本应及时从图像缓冲区中移除，但由于没有及时移除会导致后来的帧就不能放到图像缓冲区内，从而影响解码。那么通过适当地增加图像缓冲区的大小，结合方法二，就可以实现容错了。
作为优选，在步骤(2)中，移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧方法如下：当有新来的图像帧要放入解码图像缓冲区时，如果解码图像缓冲区中还有空闲的图像帧，则新来的图像帧占用空闲的图像帧就可以了；如果没有空闲的图像帧，则查询解码图像缓冲区中的所有图像帧，找到所有已输出且不被其它图像参考的图像帧，选择其中解码顺序值最小的图像帧，认为这一帧图像不可能再被后面的图像帧参考了，把这一帧从解码图像缓冲区中移除，则解码图像缓冲区中就腾出了空位，新来的图像帧就可以放入到解码图像缓冲区中了，以保证后续解码过程的正确执行。
本发明的有益效果是：实现了容错，使得即使码流出现错误，导致某些帧丢失时，AVS2解码器仍能继续工作，并在输入码流正常后，恢复正常工作，并将对解码器输出的影响尽可能减小，使其能够保证仍能长时间稳定运行。
具体实施方式
下面结合具体实施方式对本发明做进一步的描述。
一种AVS2解码器参考图像管理的容错方法，在每个图像头中都传递该图像对应的参考配置信息，参考配置信息包括当前图像可用做参考图像标志、当前图像的参考图像数量、参考图像解码顺序偏移量、待移出图像数量以及待移出图像解码顺序偏移量。以下是参考图像配置集的定义：
具体操作方法如下：
(1)针对某图像帧丢失，导致后面参考该图像帧的图像不能解码，采用从解码图像缓冲区中任意选择一个空闲图像帧当作该丢失图像帧的方法来处理；这样虽然解出来的图像是错误的，用户看到的现象是马赛克，但可以保证解码过程不中断，待信源恢复正常后，解码输出恢复正常。
(2)针对因某图像帧丢失，导致参考配置信息中指定的应该移出解码图像缓冲区的图像帧不能及时移除，采用加大解码图像缓冲区大小，并移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧这两个方法相结合来处理。
增加解码图像缓冲区的大小为15％；增加解码图像缓冲区的大小，增加15％可以达到目的。解码图像缓冲区是用于缓存图像帧的，比如有些帧要被后面解码的帧参考，所以要保留在解码图像缓冲区中，有些帧解码好了，但要延时输出，也需要保留在解码图像缓冲区中，缓冲区中的图像帧是动态变化的。解码图像缓冲区的大小是指码流正确情况下，所需缓存的最大图像帧数，这个信息是编码器写在码流中的，如果不考虑容错，解码器在实现时，可以用这个值来作为解码器中图像缓冲区的大小。但当码流出现错误时，有些帧本应及时从图像缓冲区中移除，但由于没有及时移除会导致后来的帧就不能放到图像缓冲区内，从而影响解码。那么通过适当地增加图像缓冲区的大小，结合移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧方法，就可以实现容错了。
移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧方法如下：当有新来的图像帧要放入解码图像缓冲区时，如果解码图像缓冲区中还有空闲的图像帧，则新来的图像帧占用空闲的图像帧就可以了；如果没有空闲的图像帧，则查询解码图像缓冲区中的所有图像帧，找到所有已输出且不被其它图像参考的图像帧，选择其中解码顺序值最小的图像帧，认为这一帧图像不可能再被后面的图像帧参考了，把这一帧从解码图像缓冲区中移除，则解码图像缓冲区中就腾出了空位，新来的图像帧就可以放入到解码图像缓冲区中了，以保证后续解码过程的正确执行。通过这两个方法结合，我们把本应该移出解码图像缓冲区的图像想办法移除了，有效地解决了新到来的图像帧因为不能获得图像资源而导致的解码器没响应问题。
本公司ArcVideo转码设备中的AVS2解码器应用了本发明中的方法实现参考帧管理容错，得到了很好的效果。结合其它方面的容错措施，使得即便网络出现丢包、错误等情况，仍能长时间稳定运行。
Claims (4)
1.一种AVS2解码器参考图像管理的容错方法，其特征是，在每个图像头中都传递该图像对应的参考配置信息，具体操作方法如下：
(1)针对某图像帧丢失，导致后面参考该图像帧的图像不能解码，采用从解码图像缓冲区中任意选择一个空闲图像帧当作该丢失图像帧的方法来处理；
(2)针对因某图像帧丢失，导致参考配置信息中指定的应该移出解码图像缓冲区的图像帧不能及时移除，采用加大解码图像缓冲区大小，并移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧这两个方法相结合来处理。
2.根据权利要求1所述的一种AVS2解码器参考图像管理的容错方法，其特征是，所述的参考配置信息包括当前图像可用做参考图像标志、当前图像的参考图像数量、参考图像解码顺序偏移量、待移出图像数量以及待移出图像解码顺序偏移量。
3.根据权利要求1或2所述的一种AVS2解码器参考图像管理的容错方法，其特征是，在步骤(2)中，增加解码图像缓冲区的大小为15％，解码图像缓冲区是用于缓存图像帧的，解码图像缓冲区中的图像帧是动态变化的，解码图像缓冲区的大小是指码流正确情况下，所需缓存的最大图像帧数。
4.根据权利要求1或2所述的一种AVS2解码器参考图像管理的容错方法，其特征是，在步骤(2)中，移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧方法如下：当有新来的图像帧要放入解码图像缓冲区时，如果解码图像缓冲区中还有空闲的图像帧，则新来的图像帧占用空闲的图像帧就可以了；如果没有空闲的图像帧，则查询解码图像缓冲区中的所有图像帧，找到所有已输出且不被其它图像参考的图像帧，选择其中解码顺序值最小的图像帧，认为这一帧图像不可能再被后面的图像帧参考了，把这一帧从解码图像缓冲区中移除，则解码图像缓冲区中就腾出了空位，新来的图像帧就可以放入到解码图像缓冲区中了，以保证后续解码过程的正确执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910374993.1A CN110012295B (zh) | 2019-05-07 | 2019-05-07 | 一种avs2解码器参考图像管理的容错方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910374993.1A CN110012295B (zh) | 2019-05-07 | 2019-05-07 | 一种avs2解码器参考图像管理的容错方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110012295A true CN110012295A (zh) | 2019-07-12 |
| CN110012295B CN110012295B (zh) | 2021-05-25 |
Family
ID=67175933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910374993.1A Active CN110012295B (zh) | 2019-05-07 | 2019-05-07 | 一种avs2解码器参考图像管理的容错方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110012295B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103493479A (zh) * | 2010-10-04 | 2014-01-01 | 布鲁珍视网络有限公司 | 低延迟h.264视频编码的抗误码的系统和方法 |
| US9247262B2 (en) * | 2011-06-30 | 2016-01-26 | Telefonaktiebolaget L M Ericsson (Publ) | Absolute or explicit reference picture signaling |
| EP3014885A1 (en) * | 2013-06-24 | 2016-05-04 | Microsoft Technology Licensing, LLC | Picture referencing control for video decoding using a graphics processor |
| CN108322754A (zh) * | 2017-01-16 | 2018-07-24 | 联发科技股份有限公司 | 编码方法与相对应的编码器以及解码器 |
| CN108668132A (zh) * | 2018-05-07 | 2018-10-16 | 联发科技（新加坡）私人有限公司 | 管理解码图像缓冲区的方法、图像解码器以及存储介质 |
-
2019
- 2019-05-07 CN CN201910374993.1A patent/CN110012295B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103493479A (zh) * | 2010-10-04 | 2014-01-01 | 布鲁珍视网络有限公司 | 低延迟h.264视频编码的抗误码的系统和方法 |
| US9247262B2 (en) * | 2011-06-30 | 2016-01-26 | Telefonaktiebolaget L M Ericsson (Publ) | Absolute or explicit reference picture signaling |
| EP3014885A1 (en) * | 2013-06-24 | 2016-05-04 | Microsoft Technology Licensing, LLC | Picture referencing control for video decoding using a graphics processor |
| CN108322754A (zh) * | 2017-01-16 | 2018-07-24 | 联发科技股份有限公司 | 编码方法与相对应的编码器以及解码器 |
| CN108668132A (zh) * | 2018-05-07 | 2018-10-16 | 联发科技（新加坡）私人有限公司 | 管理解码图像缓冲区的方法、图像解码器以及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| P. BACCICHET等: "Frame concealment for H.264/AVC decoders", 《2005 DIGEST OF TECHNICAL PAPERS. INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS, 2005. ICCE.》 * |
| 贺词: "可伸缩视频编码标准中的差错控制", 《通信技术》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110012295B (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8239901B2 (en) | Buffer control method, relay apparatus, and communication system | |
| US20100321469A1 (en) | Video Processing in a Multi-Participant Video Conference | |
| CN107529069A (zh) | 一种视频流传输方法及装置 | |
| CN110113662B (zh) | 一种适应多种网络状况的视频监控客户端系统 | |
| RU2009116472A (ru) | Динамическая модификация свойств видео | |
| CN102130886B (zh) | 网络视频流媒体系统及传输处理方法、发送端 | |
| CN101917612A (zh) | 一种流媒体视频编码方法及装置 | |
| CN106993190B (zh) | 软硬件协同编码方法及系统 | |
| CN107147916B (zh) | 一种在传输层上传输h.265编码视频数据的方法 | |
| EP2712660A3 (en) | Video compression system and method for compensating for bandwidth limitations for a communication channel | |
| JP2006229977A (ja) | インターネットプロトコルを用いたシリアルバスを介したデータ電送を実行するための方法及び当該方法を利用するための装置 | |
| CN107835424A (zh) | 一种基于数据感知的媒体同步传输播放方法 | |
| CN107743252A (zh) | 一种降低直播延迟的方法 | |
| CN105245914A (zh) | 云桌面高清视频传输协议及架构 | |
| CN103369299A (zh) | 一种基于h.264编码技术的视频监控方法 | |
| CN101699867A (zh) | 一种视频数据传输速率动态调整方法 | |
| CN102905128A (zh) | 编解码处理器在无线视频传输过程中码率控制的方法 | |
| CN106162257B (zh) | 一种实时视频的自适应网络传输优化方法 | |
| WO2023226915A1 (zh) | 视频传输方法、系统、设备及存储介质 | |
| US20070280294A1 (en) | Constrained Fidelity Constant Bit Rate Video Encoding Systems and Methods | |
| CN105120276A (zh) | 自适应Motion JPEG编码方法和系统 | |
| CN112087631A (zh) | 基于gpu同步并行视频编解码与流媒体传输系统及方法 | |
| WO2018229697A1 (en) | Regrouping of video data by a network interface controller | |
| CN102223539A (zh) | 图像编码丢帧花屏的处理方法 | |
| CN112995214B (zh) | 一种实时视频传输系统、方法及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |