CN110012295B - 一种avs2解码器参考图像管理的容错方法 - Google Patents

一种avs2解码器参考图像管理的容错方法 Download PDF

Info

Publication number
CN110012295B
CN110012295B CN201910374993.1A CN201910374993A CN110012295B CN 110012295 B CN110012295 B CN 110012295B CN 201910374993 A CN201910374993 A CN 201910374993A CN 110012295 B CN110012295 B CN 110012295B
Authority
CN
China
Prior art keywords
image
image frame
decoded
decoding
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910374993.1A
Other languages
English (en)
Other versions
CN110012295A (zh
Inventor
车蓉
朱建国
孙伟涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN201910374993.1A priority Critical patent/CN110012295B/zh
Publication of CN110012295A publication Critical patent/CN110012295A/zh
Application granted granted Critical
Publication of CN110012295B publication Critical patent/CN110012295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种AVS2解码器参考图像管理的容错方法。它在每个图像头中都传递该图像对应的参考配置信息，具体操作方法如下：(1)针对某图像帧丢失，导致后面参考该图像帧的图像不能解码，采用从解码图像缓冲区中任意选择一个空闲图像帧当作该丢失图像帧的方法来处理；(2)针对因某图像帧丢失，导致参考配置信息中指定的应该移出解码图像缓冲区的图像帧不能及时移除，采用加大解码图像缓冲区大小，并移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧这两个方法相结合来处理。本发明的有益效果是：使得即使码流出现错误，导致某些帧丢失时，AVS2解码器仍能继续工作，并将对解码器输出的影响尽可能减小，使其能够保证仍能长时间稳定运行。

Description

一种AVS2解码器参考图像管理的容错方法
技术领域
本发明涉及数字视频解码相关技术领域，尤其是指一种AVS2解码器参考图像管理的容错方法。
背景技术
AVS2参考解码器能在输入码流正常时，正确地解码。但当收到的码流出现错误时，比如当网络丢包时，参考解码器就会因为发生错误而停止工作。AVS2采用参考配置集技术RCS(Reference Configuration Set)来实现参考图像管理。每个图像头中传递该图像对应的配置信息，以表明当前图像参考哪些图像以及解码图像缓冲区中的哪些图像需要移出缓冲区。当AVS2码流在实际网络传输过程中，偶尔会有网络丢包的情况，这就会导致某些图像帧的丢失。不仅丢失的图像帧不能解码，还会使参考丢失帧的所有图像帧都不能解码。另一个更严重的问题是图像头中的参考配置信息会标明哪些图像需要移出解码图像缓冲区，那么某一帧的丢失会导致某些图像帧不能及时从解码图像缓冲区中移除，而解码图像缓冲区的大小是固定的，这必然会导致新来的图像帧因为不能获得可用的图像资源而导致解码器没有响应。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种能长时间稳定运行的AVS2解码器参考图像管理的容错方法。
为了实现上述目的，本发明采用以下技术方案：
一种AVS2解码器参考图像管理的容错方法，在每个图像头中都传递该图像对应的参考配置信息，具体操作方法如下：
(1)针对某图像帧丢失，导致后面参考该图像帧的图像不能解码，采用从解码图像缓冲区中任意选择一个空闲图像帧当作该丢失图像帧的方法来处理；
(2)针对因某图像帧丢失，导致参考配置信息中指定的应该移出解码图像缓冲区的图像帧不能及时移除，采用加大解码图像缓冲区大小，并移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧这两个方法相结合来处理。
本发明针对AVS2参考图像管理方法，实现了容错，使得即使码流出现错误，导致某些帧丢失时，AVS2解码器仍能继续工作，并在输入码流正常后，恢复正常工作，并将对解码器输出的影响尽可能减小，使其能够保证仍能长时间稳定运行。
作为优选，所述的参考配置信息包括当前图像可用做参考图像标志、当前图像的参考图像数量、参考图像解码顺序偏移量、待移出图像数量以及待移出图像解码顺序偏移量。
作为优选，在步骤(2)中，增加解码图像缓冲区的大小为15％，解码图像缓冲区是用于缓存图像帧的，解码图像缓冲区中的图像帧是动态变化的，解码图像缓冲区的大小是指码流正确情况下，所需缓存的最大图像帧数。增加解码图像缓冲区的大小，增加15％可以达到目的。解码图像缓冲区是用于缓存图像帧的，比如有些帧要被后面解码的帧参考，所以要保留在解码图像缓冲区中，有些帧解码好了，但要延时输出，也需要保留在解码图像缓冲区中，缓冲区中的图像帧是动态变化的。解码图像缓冲区的大小是指码流正确情况下，所需缓存的最大图像帧数，这个信息是编码器写在码流中的，如果不考虑容错，解码器在实现时，可以用这个值来作为解码器中图像缓冲区的大小。但当码流出现错误时，有些帧本应及时从图像缓冲区中移除，但由于没有及时移除会导致后来的帧就不能放到图像缓冲区内，从而影响解码。那么通过适当地增加图像缓冲区的大小，结合方法二，就可以实现容错了。
作为优选，在步骤(2)中，移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧方法如下：当有新来的图像帧要放入解码图像缓冲区时，如果解码图像缓冲区中还有空闲的图像帧，则新来的图像帧占用空闲的图像帧就可以了；如果没有空闲的图像帧，则查询解码图像缓冲区中的所有图像帧，找到所有已输出且不被其它图像参考的图像帧，选择其中解码顺序值最小的图像帧，认为这一帧图像不可能再被后面的图像帧参考了，把这一帧从解码图像缓冲区中移除，则解码图像缓冲区中就腾出了空位，新来的图像帧就可以放入到解码图像缓冲区中了，以保证后续解码过程的正确执行。
本发明的有益效果是：实现了容错，使得即使码流出现错误，导致某些帧丢失时，AVS2解码器仍能继续工作，并在输入码流正常后，恢复正常工作，并将对解码器输出的影响尽可能减小，使其能够保证仍能长时间稳定运行。
具体实施方式
下面结合具体实施方式对本发明做进一步的描述。
一种AVS2解码器参考图像管理的容错方法，在每个图像头中都传递该图像对应的参考配置信息，参考配置信息包括当前图像可用做参考图像标志、当前图像的参考图像数量、参考图像解码顺序偏移量、待移出图像数量以及待移出图像解码顺序偏移量。以下是参考图像配置集的定义：
Figure BDA0002051340630000031
Figure BDA0002051340630000041
具体操作方法如下：
(1)针对某图像帧丢失，导致后面参考该图像帧的图像不能解码，采用从解码图像缓冲区中任意选择一个空闲图像帧当作该丢失图像帧的方法来处理；这样虽然解出来的图像是错误的，用户看到的现象是马赛克，但可以保证解码过程不中断，待信源恢复正常后，解码输出恢复正常。
(2)针对因某图像帧丢失，导致参考配置信息中指定的应该移出解码图像缓冲区的图像帧不能及时移除，采用加大解码图像缓冲区大小，并移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧这两个方法相结合来处理。
增加解码图像缓冲区的大小为15％；增加解码图像缓冲区的大小，增加15％可以达到目的。解码图像缓冲区是用于缓存图像帧的，比如有些帧要被后面解码的帧参考，所以要保留在解码图像缓冲区中，有些帧解码好了，但要延时输出，也需要保留在解码图像缓冲区中，缓冲区中的图像帧是动态变化的。解码图像缓冲区的大小是指码流正确情况下，所需缓存的最大图像帧数，这个信息是编码器写在码流中的，如果不考虑容错，解码器在实现时，可以用这个值来作为解码器中图像缓冲区的大小。但当码流出现错误时，有些帧本应及时从图像缓冲区中移除，但由于没有及时移除会导致后来的帧就不能放到图像缓冲区内，从而影响解码。那么通过适当地增加图像缓冲区的大小，结合移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧方法，就可以实现容错了。
移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧方法如下：当有新来的图像帧要放入解码图像缓冲区时，如果解码图像缓冲区中还有空闲的图像帧，则新来的图像帧占用空闲的图像帧就可以了；如果没有空闲的图像帧，则查询解码图像缓冲区中的所有图像帧，找到所有已输出且不被其它图像参考的图像帧，选择其中解码顺序值最小的图像帧，认为这一帧图像不可能再被后面的图像帧参考了，把这一帧从解码图像缓冲区中移除，则解码图像缓冲区中就腾出了空位，新来的图像帧就可以放入到解码图像缓冲区中了，以保证后续解码过程的正确执行。通过这两个方法结合，我们把本应该移出解码图像缓冲区的图像想办法移除了，有效地解决了新到来的图像帧因为不能获得图像资源而导致的解码器没响应问题。
本公司ArcVideo转码设备中的AVS2解码器应用了本发明中的方法实现参考帧管理容错，得到了很好的效果。结合其它方面的容错措施，使得即便网络出现丢包、错误等情况，仍能长时间稳定运行。

Claims (3)

1.一种AVS2解码器参考图像管理的容错方法，其特征是，在每个图像头中都传递该图像对应的参考配置信息，具体操作方法如下：
（1）针对某图像帧丢失，导致后面参考该图像帧的图像不能解码，采用从解码图像缓冲区中任意选择一个空闲图像帧当作该丢失图像帧的方法来处理；
（2）针对因某图像帧丢失，导致参考配置信息中指定的应该移出解码图像缓冲区的图像帧不能及时移除，采用加大解码图像缓冲区大小，并移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧这两个方法相结合来处理；移除解码图像缓冲区中解码顺序值最小的不再被参考的图像帧方法如下：当有新来的图像帧要放入解码图像缓冲区时，如果解码图像缓冲区中还有空闲的图像帧，则新来的图像帧占用空闲的图像帧就可以了；如果没有空闲的图像帧，则查询解码图像缓冲区中的所有图像帧，找到所有已输出且不被其它图像参考的图像帧，选择其中解码顺序值最小的图像帧，认为这一帧图像不可能再被后面的图像帧参考了，把这一帧从解码图像缓冲区中移除，则解码图像缓冲区中就腾出了空位，新来的图像帧就可以放入到解码图像缓冲区中了，以保证后续解码过程的正确执行。
2.根据权利要求1所述的一种AVS2解码器参考图像管理的容错方法，其特征是，所述的参考配置信息包括当前图像可用做参考图像标志、当前图像的参考图像数量、参考图像解码顺序偏移量、待移出图像数量以及待移出图像解码顺序偏移量。
3.根据权利要求1或2所述的一种AVS2解码器参考图像管理的容错方法，其特征是，在步骤（2）中，增加解码图像缓冲区的大小为15%，解码图像缓冲区是用于缓存图像帧的，解码图像缓冲区中的图像帧是动态变化的，解码图像缓冲区的大小是指码流正确情况下，所需缓存的最大图像帧数。
CN201910374993.1A 2019-05-07 2019-05-07 一种avs2解码器参考图像管理的容错方法 Active CN110012295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910374993.1A CN110012295B (zh) 2019-05-07 2019-05-07 一种avs2解码器参考图像管理的容错方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910374993.1A CN110012295B (zh) 2019-05-07 2019-05-07 一种avs2解码器参考图像管理的容错方法

Publications (2)

Publication Number Publication Date
CN110012295A CN110012295A (zh) 2019-07-12
CN110012295B true CN110012295B (zh) 2021-05-25

Family

ID=67175933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910374993.1A Active CN110012295B (zh) 2019-05-07 2019-05-07 一种avs2解码器参考图像管理的容错方法

Country Status (1)

Country Link
CN (1) CN110012295B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493479A (zh) * 2010-10-04 2014-01-01 布鲁珍视网络有限公司 低延迟h.264视频编码的抗误码的系统和方法
US9247262B2 (en) * 2011-06-30 2016-01-26 Telefonaktiebolaget L M Ericsson (Publ) Absolute or explicit reference picture signaling
EP3014885A1 (en) * 2013-06-24 2016-05-04 Microsoft Technology Licensing, LLC Picture referencing control for video decoding using a graphics processor
CN108322754A (zh) * 2017-01-16 2018-07-24 联发科技股份有限公司 编码方法与相对应的编码器以及解码器
CN108668132A (zh) * 2018-05-07 2018-10-16 联发科技（新加坡）私人有限公司 管理解码图像缓冲区的方法、图像解码器以及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493479A (zh) * 2010-10-04 2014-01-01 布鲁珍视网络有限公司 低延迟h.264视频编码的抗误码的系统和方法
US9247262B2 (en) * 2011-06-30 2016-01-26 Telefonaktiebolaget L M Ericsson (Publ) Absolute or explicit reference picture signaling
EP3014885A1 (en) * 2013-06-24 2016-05-04 Microsoft Technology Licensing, LLC Picture referencing control for video decoding using a graphics processor
CN108322754A (zh) * 2017-01-16 2018-07-24 联发科技股份有限公司 编码方法与相对应的编码器以及解码器
CN108668132A (zh) * 2018-05-07 2018-10-16 联发科技（新加坡）私人有限公司 管理解码图像缓冲区的方法、图像解码器以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Frame concealment for H.264/AVC decoders;P. Baccichet等;《2005 Digest of Technical Papers. International Conference on Consumer Electronics, 2005. ICCE.》;20050112;全文 *
可伸缩视频编码标准中的差错控制;贺词;《通信技术》;20100310;全文 *

Also Published As

Publication number Publication date
CN110012295A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
US11323136B2 (en) Method and apparatus for processing a received sequence of data packets by removing unsuitable error correction packets from the sequence
CN106656422B (zh) 一种动态调整fec冗余度的流媒体传输方法
US9485466B2 (en) Video processing in a multi-participant video conference
CN104333762B (zh) 一种视频解码方法
EP3345392B1 (en) Video coding
CN108141581B (zh) 视频编码
JP2015501098A5 (zh)
US20100125768A1 (en) Error resilience in video communication by retransmission of packets of designated reference frames
CN101742289B (zh) 视频码流压缩方法、系统及装置
CN101389036B (zh) 一种适用于视频会议的纠错装置及其方法
WO2017036070A1 (zh) 一种自适应媒体业务的处理方法及其装置、编码器及解码器
US20210120232A1 (en) Method and system of video coding with efficient frame loss recovery
US9264737B2 (en) Error resilient transmission of random access frames and global coding parameters
CN104768081A (zh) 一种实现流量控制的丢包重传方法
CN111641804A (zh) 视频数据处理方法和装置、终端、摄像头及视频会议系统
CN103269433A (zh) 视频数据传输方法和视频数据传输系统
CN110012295B (zh) 一种avs2解码器参考图像管理的容错方法
JP5588244B2 (ja) 映像伝送システム
KR20080080521A (ko) 미디어 인코더 및 디코더 사이의 피드백 및 프레임 동기화
US10116415B2 (en) Transmission device, receiving device, transmission method, and receiving method
CN111049624B (zh) 一种基于滑动窗口的高容错无反馈链路影像传输方法及系统
CN109151611B (zh) 基于rtp/rtcp的hevc实时视频传输控制方法
CN107302523B (zh) 一种传输流丢包引起马赛克的解决方法
WO2006035438A1 (en) Media player and method for operating a media player
CN112492348A (zh) 多码流处理及输出方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant