CN111787330A - 支持解码压缩帧缓存自适应分配的编码方法及应用 - Google Patents
支持解码压缩帧缓存自适应分配的编码方法及应用 Download PDFInfo
- Publication number
- CN111787330A CN111787330A CN202010550928.2A CN202010550928A CN111787330A CN 111787330 A CN111787330 A CN 111787330A CN 202010550928 A CN202010550928 A CN 202010550928A CN 111787330 A CN111787330 A CN 111787330A
- Authority
- CN
- China
- Prior art keywords
- frame
- frame buffer
- compression
- reconstructed
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了支持解码压缩帧缓存自适应分配的编码方法及应用,涉及视频处理技术领域。一种支持解码压缩帧缓存自适应分配的编码方法,包括步骤:在编码器端对解码器端的帧缓存压缩率进行预计算和设置,并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流;将前述视频压缩码流传输至解码器端;解码器端根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。本发明将帧缓存再压缩技术和颗粒化帧缓存管理技术相结合,支持多路解码视频服务器为每一路视频的每一帧解码自适应的分配帧缓存空间,实现了对服务器片外存储资源的最优化利用。
Description
技术领域
本发明涉及视频处理技术领域。
背景技术
在视频系统服务器端,通常需要支持对多路输入编码视频同时进行解码。普通解码器的信息传输过程参见图1所示,每一路视频解码需要分配独立的解码帧缓存,用来存放参考帧图像、重建帧图像和显示帧图像,如果没有足够的帧缓存空间时,解码器将无法正常工作。通常来说,帧缓存需要分配的大小等于缓存的帧数乘以每一帧的存储大小,每一帧的存储大小由图像分辨率决定,对同一个视频序列为固定值。随着超高清视频的广泛应用和编码标准支持使用的参考帧数量的增加,服务器端需要为多路视频解码分配的DDR(DoubleData Rate SDRAM)存储空间非常可观。片外存储器成本是视频系统成本的重要部分之一,很多时候视频服务器能支持的并行解码通道数受限于片外DDR可用空间的限制,不能按照解码器的最大能力运行。此外,越来越多的人工智能应用也需要巨大的片外存储空间,解码器占用过多资源也限制了视频系统智能计算的能力。
现有的视频解码器,一般可以根据输入编码视频的实际分辨率来分配每一帧的片外帧缓存空间大小,根据实际需要的参考帧数量来分配帧缓存的帧数:如此可以实现缓存分配一定程度的自适应。但对于输入分辨率确定和参考帧数量确定的多通道并行解码应用场景——比如安防监控系统,现有的技术方案往往只能对每个通道分配恒定的帧缓存大小,无法进一步实现自适应优化。
同时,随着图像分辨率的提升,视频解码的带宽也显著增加。最新的超高清硬件解码器中大都开始采用帧缓存再压缩的技术,将输出的重建帧进行压缩后存储,以减少带宽需求,参见图2所示。因为压缩后的重建帧会作为参考帧供后续预测参考,不能有损失,所以帧缓存压缩需要采用无损压缩的方法。但是,由于无损压缩的原因,帧缓存的压缩率受图像内容影响波动很大,且无法预测,所以解码器仍然只能为每一帧图像按照最大空间进行分配(实际应用时,由于要额外增加压缩模式信息,一般再压缩帧缓存的大小需要大于未压缩时每帧分配的大小)。
对于输入视频分辨率和参考帧数量确定的多路解码应用场景,现有的视频解码系统所需分配的解码帧总的缓存空间尺寸是恒定的,其大小等于并行解码通道数*每个通道的缓存帧数*每一帧的缓存大小。比如16路4K H265视频并行解码,每路3帧缓存算,服务器就需要为视频解码总共分配600MB以上缓存空间,视频系统所需的片外存储器成本非常高。根据实验可知,当前已有的各种无损帧缓存压缩技术对各种自然视频的压缩率平均在50%左右。也就是说,在采用了帧缓存压缩技术的实际解码应用中,大约一半的帧缓存空间是基本处于闲置状态,而由于无法预知解码帧缓存压缩率,为了保证兼容最坏情况,这些闲置空间并未被充分利用。
发明内容
本发明的目的在于:克服现有技术的不足,提供了一种支持解码压缩帧缓存自适应分配的编码方法及应用。本发明提供的编码方法,将帧缓存再压缩技术和颗粒化帧缓存管理技术相结合,支持多路解码视频服务器为每一路视频的每一帧解码自适应的分配帧缓存空间,实现了对服务器片外存储资源的最优化利用。
为实现上述目标,本发明提供了如下技术方案:
一种支持解码压缩帧缓存自适应分配的编码方法(包括步骤:
在编码器端对解码器端的帧缓存压缩率进行预计算和设置(并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流;
将前述视频压缩码流传输至解码器端;
前述解码器端根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。
进一步,在所述编码器端通过帧缓存压缩率计算模块来计算编码产生的重建帧采用解码器端的帧缓存压缩方法时的帧缓存压缩率信息。
进一步,获取解码器端对重建帧压缩尺寸的要求,在所述编码器端通过帧缓存压缩率控制模块来根据前述要求对编码输入图像进行预滤波,通过控制滤波参数使重建帧压缩率符合解码器端的要求。
进一步,对于多种帧缓存压缩模式,在所述编码器端通过帧缓存压缩信息编码模块将不同帧缓存压缩模式下的帧缓存信息分别打包编码。
进一步,帧缓存压缩模式信息采用n比特二进制定长码表示指定的压缩模式,m比特二进制定长码表示内存分配的粒度值,1比特表示是否实时编码(其中(n和m为大于1的整数;
判定为非实时编码时,平均重建帧压缩值和最大重建帧压缩值采用z比特二进制码表示,所述z等于未压缩图像值除以粒度的结果取整后所需的位宽;
判定为实时编码时,无需传输平均重建帧压缩值和最大重建帧压缩值信息,默认最大重建帧压缩值为解码器指定的最大值,平均重建帧压缩值为压缩模式对应的默认经验值;
每帧的重建帧值信息采用可变长编码,对当前帧值与平均值的差值采用有符号指数哥伦布编码。
进一步,设置有限制帧缓存最大值模式和限制帧缓存平均值模式,在解码器端多路并行解码且帧缓存分配受限制时采用限制帧缓存最大值模式,在解码器端某一序列解码后需同时缓存较多帧图像供显示和/或后处理时采用限制帧缓存平均值模式。
进一步,在限制帧缓存最大值模式下,
首先根据解码器端反馈的最大重建帧允许值设定帧缓存压缩率控制模块的参数;
然后通过压缩率计算模块计算每一个重建帧压缩后的大小值;
判定某一重建帧实际压缩后超过指定值时,丢弃当前帧编码结果,调整预滤波参数重新对输入图像编码,使编码重建帧压缩后符合解码器端的要求;判定重建帧压缩后未超过允许范围时,通过帧缓存压缩信息编码模块将解码帧缓存所需大小值信息写入编码码流发送给解码器端,并调整预滤波参数优化输入图像清晰度。
进一步,在限制帧缓存平均值模式下,
通过对压缩率控制模块参数调整而不进行重编码,使平均帧缓存压缩率满足解码器端需求。
进一步,获取输入图像的感兴趣区域,预滤波时,对感兴趣区域和其他区域采用不同的滤波强度,所述感兴趣区域采用的滤波强度小于其他区域采用的滤波强度;
和/或,对不同重要性的重建帧设置不同的最大压缩尺寸,使关键帧的重建帧最大压缩尺寸大于其他帧的重建帧最大压缩尺寸;在解码器端并行解码时,将不同通道的关键帧错开在不同时刻解码。
本发明还提供了一种支持解码压缩帧缓存自适应分配的编码系统,包括编码器端和解码器端:
所述编码器端,用于对解码器端的帧缓存压缩率进行预计算和设置(并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流,并将前述视频压缩码流传输至解码器端;
所述解码器端,用于根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。
本发明还提供了一种支持解码压缩帧缓存自适应分配的编码装置,包括如下结构:
视频编码器;
帧缓存压缩率控制模块,用于根据解码器端对重建帧压缩尺寸的要求,对编码输入图像进行预滤波,通过控制滤波参数使重建帧压缩率符合解码器端的要求;
帧缓存压缩率计算模块,用于计算编码产生的重建帧采用解码器端的帧缓存压缩方法时的帧缓存压缩率信息;
帧缓存压缩信息编码模块,用于将不同帧缓存压缩模式下的帧缓存信息分别打包编码。
本发明由于采用以上技术方案,与现有技术相比,作为举例,具有以下的优点和积极效果:
解码器端解码时,由于能够预知当前帧解码所需的实际帧缓存大小,可以根据实际需要自适应分配压缩帧缓存空间,相比于现有方案可以节省近50%的存储空间。
执行多路并行解码场景时,当根据码流中的帧缓存信息预知瞬时峰值总缓存不足够并行解码时,可延迟某些通道的解码,等总缓存需求下降后在继续并行解码,相比于现有方案避免了在这种情况下无法正常运行的问题。
实时编码传输并解码时,比如多个监控IPC编码后送给NVR并行解码显示,可以将解码器端的帧缓存占用情况实时反馈给编码器,编码端调整编码后压缩重建帧的大小,使得解码器端能在有限的帧缓存空间分配情况下无延时的工作。
当解码器端不具备编码预计算的帧缓存压缩模式时,解码器端可以忽略相关信息,按现有方案分配正常缓存、正常解码,编码设备产生的码流不影响解码器的兼容性。
编码装置传输的是解码器端重建帧压缩大小信息,实际上反映了解码器的重建帧图像实际输出所需的带宽信息。编码器端可以通过控制编码帧缓存再压缩大小,控制解码的实际带宽需求,并将信息传输给解码器端。
附图说明
图1为现有技术提供的普通解码器的结构示意图。
图2为现有技术提供的采用帧缓存压缩技术的解码器的结构示意图。
图3为本发明实施例提供的支持解码压缩帧缓存自适应分配的编码方法的流程图。
图4为本发明实施例提供的支持解码压缩帧缓存自适应分配的编码装置的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明公开的支持解码压缩帧缓存自适应分配的编码方法及应用作进一步详细说明。应当注意的是,下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的,它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中,各附图所出现的相同标号代表相同的特征或者部件,可应用于不同实施例中。因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
需说明的是,本说明书所附图中所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定发明可实施的限定条件,任何结构的修饰、比例关系的改变或大小的调整,在不影响发明所能产生的功效及所能达成的目的下,均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现,其中可以不按所述的或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
实施例
参见图3所示,公开了一种支持解码压缩帧缓存自适应分配的编码方法,包括如下步骤:
S100,在编码器端对解码器端的帧缓存压缩率进行预计算和设置(并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流。
S200,将前述视频压缩码流传输至解码器端。
S300,前述解码器端根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。
本实施例中,在所述编码器端优选的设置有帧缓存压缩率计算模块、帧缓存压缩率控制模块和帧缓存压缩信息编码模块。
所述帧缓存压缩率计算模块,可以计算编码产生的重建帧采用解码器端的帧缓存压缩方法时的帧缓存压缩率信息。
具体的,帧缓存压缩率信息可以包含每个重建帧压缩后的大小信息。在进行非实时编码传输时,还可以包含编码序列统计的重建帧压缩后最大尺寸值、重建帧压缩后平均尺寸值等信息。为了便于解码器端的内存管理,本实施例中,存储尺寸采用固定大小单元(粒度,比如可以是4KB)为计算单位。当然,也可以根据需要选用更大或更小的存储尺寸,其不应作为对本发明的限制。
所述帧缓存压缩率计算模块可以分别计算多种帧缓存压缩方法下帧缓存压缩信息,以兼容解码端的帧缓存压缩方法。
所述帧缓存压缩率控制模块,可以根据解码器端对重建帧压缩尺寸的要求,对编码输入图像进行预滤波,通过控制滤波参数使重建帧压缩率符合解码器端的要求。
所述预滤波的方法可以选用各种方法,作为举例而非限制,比如双线性滤波。
本实施例中,可以对感兴趣区域采用较小的滤波强度,对其他区域采用较大的滤波强度。具体的,获取输入图像的感兴趣区域,预滤波时,对感兴趣区域和其他区域设置不同的滤波强度,所述感兴趣区域采用的滤波强度小于其他区域采用的滤波强度。
同时,还可以根据编码质量优化的要求,对不同重要性的重建帧设置不同的最大压缩尺寸。具体的,对于关键帧的重建帧最大压缩尺寸大于其他帧的重建帧最大压缩尺寸,作为举例而非限制,比如对I帧或长期参考P帧等关键帧设置较大的重建帧最大压缩尺寸,而对其他P、B帧设置较小的重建帧最大压缩尺寸。
在解码端并行解码时,可以将不同通道的关键帧错开在不同时刻解码,从而进一步实现节省总缓存空间的目的。
所述帧缓存压缩信息编码模块,可以将不同帧缓存压缩模式下计算和统计得到的帧缓存信息分别打包编码。
具体的,对每一种压缩模式,编码帧缓存压缩模式信息、重建帧压缩后的最大尺寸、平均尺寸信息写入编码码流的序列参数集中——比如H265/H264的SPS等,每个序列发送一次;将每个重建帧压缩后的大小信息写入编码码流的图像参数集中——比如H265/H264的PPS或SEI等,每帧图像发送一次。
上述信息的编码方法可以选用任意的定长或可变长编码。作为典型方式的举例,所述帧缓存压缩模式信息可以采用n比特二进制定长码表示指定的压缩模式,m比特二进制定长码表示内存分配的粒度值,1比特表示是否实时编码(其中(n和m为大于1的整数。
判定为非实时编码时,平均重建帧压缩值和最大重建帧压缩值可以采用z比特二进制码表示,所述z等于未压缩图像值除以粒度的结果取整后所需的位宽。
判定为实时编码时,无需传输平均重建帧压缩值和最大重建帧压缩值信息,此时默认最大重建帧压缩值为解码器指定的最大值,平均重建帧压缩值为压缩模式对应的默认经验值。
每帧的重建帧值信息采用可变长编码,对当前帧值与平均值的差值采用有符号指数哥伦布编码(SE)。
本实施例提供的编码方法,可以设置有限制帧缓存最大值模式和限制帧缓存平均值模式。
在解码器端多路并行解码且帧缓存分配受限制时,采用限制帧缓存最大值模式。
在限制帧缓存最大值模式下,首先根据解码器端反馈的最大重建帧允许值设定帧缓存压缩率控制模块的参数;然后通过压缩率计算模块计算每一个重建帧压缩后的大小值;判定某一重建帧实际压缩后超过指定值时,丢弃当前帧编码结果,调整预滤波参数重新对输入图像编码,使编码重建帧压缩后符合解码器端的要求;判定重建帧压缩后未超过允许范围时,通过帧缓存压缩信息编码模块将解码帧缓存所需大小值信息写入编码码流发送给解码器端,并调整预滤波参数优化输入图像清晰度。
在解码器端某一序列解码后需同时缓存较多帧图像供显示和/或后处理时采用限制帧缓存平均值模式。
在限制帧缓存平均值模式下,通过对压缩率控制模块参数调整而不进行重编码,使平均帧缓存压缩率满足解码器端需求。
本实施例提供的上述方案,在解码器端解码时,由于能够预知当前帧解码所需的实际帧缓存大小,可以根据实际需要自适应分配压缩帧缓存空间,节省了存储空间。同时,执行多路并行解码的场景时,当根据码流中的帧缓存信息预知瞬时峰值总缓存不足够并行解码时,还可延迟某些通道的解码,等总缓存需求下降后在继续并行解码,避免了这种情况下无法正常运行的问题。在实时编码传输并解码的应用场景——比如多个监控IPC编码后送给NVR并行解码显示时,可以将解码器端的帧缓存占用情况实时反馈给编码器端,编码器端调整编码后压缩重建帧的大小,使得解码器端能在有限的帧缓存空间分配情况下无延时的工作。
当解码器端不具备编码预计算的帧缓存压缩模式时,解码器端可以忽略相关信息,按现有方案分配正缓存,正常解码,使得编码设备产生的码流不影响解码器的兼容性。
编码装置传输的是解码器端重建帧压缩大小信息,实际上也反映了解码器端的重建帧图像实际输出所需的带宽信息,从而使得编码器端可以通过控制编码帧缓存再压缩大小,控制解码的实际带宽需求,并将信息传输给解码器端。
本发明的另一实施例,还提供了一种支持解码压缩帧缓存自适应分配的编码系统。
所述编码系统包括编码器端和解码器端。
所述编码器端,用于对解码器端的帧缓存压缩率进行预计算和设置(并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流,并将前述视频压缩码流传输至解码器端;
所述解码器端,用于根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。
参见图4所示,所述编码器端的编码装置具体可以包括如下结构:
视频编码器,帧缓存压缩率控制模块、帧缓存压缩率计算模块和帧缓存压缩信息编码模块。
所述视频编码器,可以为任意的解码器可支持解码的视频格式编码器,作为举例而非限制,比如H264、H265、AVS等。
所述帧缓存压缩率计算模块,用于计算编码产生的重建帧采用解码器端的帧缓存压缩方法时的帧缓存压缩率信息。帧缓存压缩率信息包含每个重建帧压缩后的大小信息,在非实时编码传输时还包含编码序列统计的重建帧压缩后最大尺寸、重建帧压缩后平均尺寸等信息。为了便于解码器端内存管理,所有存储尺寸以固定大小单元(粒度,比如4KB)为单位计算。当然,也可以根据需要选用更大或更小的存储尺寸,其不应作为对本发明的限制。
计算模块可以分别计算多种帧缓存压缩方法下帧缓存压缩信息,以兼容解码器端的帧缓存压缩方法。
所述帧缓存压缩率控制模块,用于根据解码器端对重建帧压缩尺寸的要求,对编码输入图像进行预滤波,通过控制滤波参数使重建帧压缩率符合解码器端的要求。
预滤波的方法可以选用各种方法,比如双线性滤波,还可以对感兴趣区域采用较小的滤波强度,对其他区域采用较大的滤波强度。根据编码质量优化的要求,还可以对不同重要性的重建帧设置不同的最大压缩尺寸,例如I帧或长期参考P帧等关键帧设置较大的重建帧最大压缩尺寸,而对其他P、B帧设置较小的重建帧最大压缩尺寸。在解码端并行解码时,将不同通道的关键帧错开在不同时刻解码,达到节省总缓存空间的目的。
所述帧缓存压缩信息编码模块,用于将不同帧缓存压缩模式下的帧缓存信息分别打包编码。
对每一种压缩模式,编码帧缓存压缩模式信息、重建帧压缩后的最大尺寸、平均尺寸信息写入编码码流的序列参数集中——比如H265/H264的SPS等,每个序列发送一次;将每个重建帧压缩后的大小信息写入编码码流的图像参数集中——比如H265/H264的PPS或SEI等,每帧图像发送一次。
上述信息的编码方法可以选用任意的定长或可变长编码。
作为典型方式的举例,所述帧缓存压缩模式信息可以采用n比特二进制定长码表示指定的压缩模式,m比特二进制定长码表示内存分配的粒度值,1比特表示是否实时编码(其中(n和m为大于1的整数。
判定为非实时编码时,平均重建帧压缩值和最大重建帧压缩值可以采用z比特二进制码表示,所述z等于未压缩图像值除以粒度的结果取整后所需的位宽。
判定为实时编码时,无需传输平均重建帧压缩值和最大重建帧压缩值信息,此时默认最大重建帧压缩值为解码器指定的最大值,平均重建帧压缩值为压缩模式对应的默认经验值。
每帧的重建帧值信息采用可变长编码,对当前帧值与平均值的差值采用有符号指数哥伦布编码(SE)。
本实施例的编码装置工作时,可以分为两种工作模式。
第一种工作模式为限制帧缓存最大值模式。
在这种模式下,首先根据解码服务器反馈的最大重建帧允许值设定帧缓存压缩率控制模块的参数。然后通过压缩率计算模块计算每一个重建帧压缩后的大小值。当某一重建帧实际压缩后超过指定值时,丢弃当前帧编码结果,调整预滤波参数重新对输入图像编码,使编码重建帧压缩后符合解码器端的要求。如果重建帧压缩后未超过允许范围,则通过压缩率信息编码模块将解码帧缓存所需大小信息写入编码码流发送给解码器端,并调整预滤波参数优化输入图像清晰度。
这种模式尤其适合解码器端多路并行解码且帧缓存分配受限制的场景。
另一种工作模式为限制帧缓存平均值模式。
这种模式下,不进行重编码,仅通过对压缩率控制模块参数调整,使其一段时间内的平均帧缓存压缩率满足解码器需求。
这种模式尤其适合解码器端某一序列解码后需同时缓存较多帧图像供显示或后处理的场景。
上述编码装置,一方面可以为解码器端提供自适应分配解码帧缓存的能力,在通常情况下比起现有方案可以节省近一半的片外解码帧缓存空间,使得视频系统有能够缓存更多的显示帧,或者为其他应用留出空间。另一方面,还可以在解码器端的片外存储器资源不足的情况下,通过编码端调整,保证解码播放的正常进行,可以极大降低视频解码器端解码服务器的系统成本,提升了系统并行解码的能力。同时,还可以控制调整、计算解码器端的解码带宽需求,实现对解码带宽的自适应控制。
其它技术特征参见在前实施例的描述,在此不再赘述。
在上面的描述中,本发明的公开内容并不旨在将其自身限于这些方面。而是,在本公开内容的目标保护范围内,各组件可以以任意数目选择性地且操作性地进行合并。另外,像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的,而不是排他性的或封闭性,除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义,除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释,除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。
Claims (11)
1.一种支持解码压缩帧缓存自适应分配的编码方法,其特征在于包括步骤:
在编码器端对解码器端的帧缓存压缩率进行预计算和设置,并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流;
将前述视频压缩码流传输至解码器端;
前述解码器端根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。
2.根据权利要求1所述的编码方法,其特征在于:在所述编码器端通过帧缓存压缩率计算模块来计算编码产生的重建帧采用解码器端的帧缓存压缩方法时的帧缓存压缩率信息。
3.根据权利要求1所述的编码方法,其特征在于:获取解码器端对重建帧压缩尺寸的要求,在所述编码器端通过帧缓存压缩率控制模块来根据前述要求对编码输入图像进行预滤波,通过控制滤波参数使重建帧压缩率符合解码器端的要求。
4.根据权利要求1所述的编码方法,其特征在于:对于多种帧缓存压缩模式,在所述编码器端通过帧缓存压缩信息编码模块将不同帧缓存压缩模式下的帧缓存信息分别打包编码。
5.根据权利要求4所述的编码方法,其特征在于:帧缓存压缩模式信息采用n比特二进制定长码表示指定的压缩模式,m比特二进制定长码表示内存分配的粒度值,1比特表示是否实时编码,其中,n和m为大于1的整数;
判定为非实时编码时,平均重建帧压缩值和最大重建帧压缩值采用z比特二进制码表示,所述z等于未压缩图像值除以粒度的结果取整后所需的位宽;
判定为实时编码时,无需传输平均重建帧压缩值和最大重建帧压缩值信息,默认最大重建帧压缩值为解码器指定的最大值,平均重建帧压缩值为压缩模式对应的默认经验值;
每帧的重建帧值信息采用可变长编码,对当前帧值与平均值的差值采用有符号指数哥伦布编码。
6.根据权利要求1所述的编码方法,其特征在于:设置有限制帧缓存最大值模式和限制帧缓存平均值模式,在解码器端多路并行解码且帧缓存分配受限制时采用限制帧缓存最大值模式,在解码器端某一序列解码后需同时缓存较多帧图像供显示和/或后处理时采用限制帧缓存平均值模式。
7.根据权利要求6所述的编码方法,其特征在于:在限制帧缓存最大值模式下,
首先根据解码器端反馈的最大重建帧允许值设定帧缓存压缩率控制模块的参数;
然后通过压缩率计算模块计算每一个重建帧压缩后的大小值;
判定某一重建帧实际压缩后超过指定值时,丢弃当前帧编码结果,调整预滤波参数重新对输入图像编码,使编码重建帧压缩后符合解码器端的要求;判定重建帧压缩后未超过允许范围时,通过帧缓存压缩信息编码模块将解码帧缓存所需大小值信息写入编码码流发送给解码器端,并调整预滤波参数优化输入图像清晰度。
8.根据权利要求5所述的编码方法,其特征在于:在限制帧缓存平均值模式下,
通过对压缩率控制模块参数调整而不进行重编码,使平均帧缓存压缩率满足解码器端需求。
9.根据权利要求1所述的编码方法,其特征在于:获取输入图像的感兴趣区域,预滤波时,对感兴趣区域和其他区域采用不同的滤波强度,所述感兴趣区域采用的滤波强度小于其他区域采用的滤波强度;
和/或,对不同重要性的重建帧设置不同的最大压缩尺寸,使关键帧的重建帧最大压缩尺寸大于其他帧的重建帧最大压缩尺寸;在解码端并行解码时,将不同通道的关键帧错开在不同时刻解码。
10.一种支持解码压缩帧缓存自适应分配的编码系统,其特征在于包括:
编码器端,用于对解码器端的帧缓存压缩率进行预计算和设置,并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流,并将前述视频压缩码流传输至解码器端;
解码器端,用于根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。
11.一种支持解码压缩帧缓存自适应分配的编码装置,其特征在于包括:
视频编码器;
帧缓存压缩率控制模块,用于根据解码器端对重建帧压缩尺寸的要求,对编码输入图像进行预滤波,通过控制滤波参数使重建帧压缩率符合解码器端的要求;
帧缓存压缩率计算模块,用于计算编码产生的重建帧采用解码器端的帧缓存压缩方法时的帧缓存压缩率信息;
帧缓存压缩信息编码模块,用于将不同帧缓存压缩模式下的帧缓存信息分别打包编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010550928.2A CN111787330B (zh) | 2020-06-16 | 2020-06-16 | 支持解码压缩帧缓存自适应分配的编码方法及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010550928.2A CN111787330B (zh) | 2020-06-16 | 2020-06-16 | 支持解码压缩帧缓存自适应分配的编码方法及应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111787330A true CN111787330A (zh) | 2020-10-16 |
CN111787330B CN111787330B (zh) | 2022-03-08 |
Family
ID=72755971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010550928.2A Active CN111787330B (zh) | 2020-06-16 | 2020-06-16 | 支持解码压缩帧缓存自适应分配的编码方法及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111787330B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113015003A (zh) * | 2021-03-08 | 2021-06-22 | 展讯通信(上海)有限公司 | 视频帧缓存方法和设备 |
CN114189712A (zh) * | 2021-12-10 | 2022-03-15 | 眸芯科技(上海)有限公司 | 视频监控中支持解码帧率控制的虚拟vdp装置及应用 |
WO2022155818A1 (zh) * | 2021-01-20 | 2022-07-28 | 京东方科技集团股份有限公司 | 图像编码、解码方法及装置、编解码器 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000197054A (ja) * | 1998-12-24 | 2000-07-14 | Hudson Soft Co Ltd | 動画像符号方法及びそのプログラムを記録した記録媒体並びに装置 |
CN1878306A (zh) * | 2006-07-14 | 2006-12-13 | 杭州国芯科技有限公司 | 视频解码图像存储空间管理方法 |
CN101310291A (zh) * | 2005-11-14 | 2008-11-19 | Ess技术公司 | 用于视频帧缓冲压缩的系统和方法 |
US20090001173A1 (en) * | 2007-06-28 | 2009-01-01 | Sevier Mitchel P | Bar code reading terminal with video capturing mode |
CN101389033A (zh) * | 2008-10-30 | 2009-03-18 | 四川长虹电器股份有限公司 | 帧场自适应解码模式下解码器缓存控制方法 |
CN101562749A (zh) * | 2008-04-15 | 2009-10-21 | 索尼株式会社 | 具有集成的有损压缩和无损压缩的视频数据压缩 |
CN103546802A (zh) * | 2013-10-15 | 2014-01-29 | 深圳Tcl新技术有限公司 | 动态调整缓存的方法及显示终端 |
CN103888782A (zh) * | 2014-03-04 | 2014-06-25 | 上海交通大学 | 一种hevc解码器并行任务划分方法 |
CN110659225A (zh) * | 2018-06-28 | 2020-01-07 | 华为技术有限公司 | 内存管理方法以及相关装置 |
-
2020
- 2020-06-16 CN CN202010550928.2A patent/CN111787330B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000197054A (ja) * | 1998-12-24 | 2000-07-14 | Hudson Soft Co Ltd | 動画像符号方法及びそのプログラムを記録した記録媒体並びに装置 |
CN101310291A (zh) * | 2005-11-14 | 2008-11-19 | Ess技术公司 | 用于视频帧缓冲压缩的系统和方法 |
CN1878306A (zh) * | 2006-07-14 | 2006-12-13 | 杭州国芯科技有限公司 | 视频解码图像存储空间管理方法 |
US20090001173A1 (en) * | 2007-06-28 | 2009-01-01 | Sevier Mitchel P | Bar code reading terminal with video capturing mode |
CN101562749A (zh) * | 2008-04-15 | 2009-10-21 | 索尼株式会社 | 具有集成的有损压缩和无损压缩的视频数据压缩 |
CN101389033A (zh) * | 2008-10-30 | 2009-03-18 | 四川长虹电器股份有限公司 | 帧场自适应解码模式下解码器缓存控制方法 |
CN103546802A (zh) * | 2013-10-15 | 2014-01-29 | 深圳Tcl新技术有限公司 | 动态调整缓存的方法及显示终端 |
CN103888782A (zh) * | 2014-03-04 | 2014-06-25 | 上海交通大学 | 一种hevc解码器并行任务划分方法 |
CN110659225A (zh) * | 2018-06-28 | 2020-01-07 | 华为技术有限公司 | 内存管理方法以及相关装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022155818A1 (zh) * | 2021-01-20 | 2022-07-28 | 京东方科技集团股份有限公司 | 图像编码、解码方法及装置、编解码器 |
CN113015003A (zh) * | 2021-03-08 | 2021-06-22 | 展讯通信(上海)有限公司 | 视频帧缓存方法和设备 |
CN113015003B (zh) * | 2021-03-08 | 2022-11-25 | 展讯通信(上海)有限公司 | 视频帧缓存方法和设备 |
CN114189712A (zh) * | 2021-12-10 | 2022-03-15 | 眸芯科技(上海)有限公司 | 视频监控中支持解码帧率控制的虚拟vdp装置及应用 |
CN114189712B (zh) * | 2021-12-10 | 2024-01-16 | 眸芯科技(上海)有限公司 | 视频监控中支持解码帧率控制的虚拟vdp装置及应用 |
Also Published As
Publication number | Publication date |
---|---|
CN111787330B (zh) | 2022-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111787330B (zh) | 支持解码压缩帧缓存自适应分配的编码方法及应用 | |
US9344721B2 (en) | Best quality given a maximum bit rate | |
US9918085B2 (en) | Media coding for loss recovery with remotely predicted data units | |
CN107846590B (zh) | 一种视频编码的方法和视频编码器 | |
US20020136298A1 (en) | System and method for adaptive streaming of predictive coded video data | |
KR20140043767A (ko) | 비디오 인코딩 및 디코딩시의 레이턴시 저감 기법 | |
WO2002058389A1 (en) | System and method for adjusting bit rate and cost of delivery of digital data | |
CN101171844A (zh) | 视频速率控制中的上下文自适应带宽调整 | |
ITTO20090486A1 (it) | Controllore dinamico della velocita' di trasmissione indipendente dal gruppo di immagini | |
WO2013000304A1 (zh) | 环路滤波编解码方法及装置 | |
WO2007081397A1 (en) | Bandwidth adaptive stream selection | |
US20080212673A1 (en) | Systems and Methods for Adaptively Determining I Frames for Acquisition and Base and Enhancement Layer Balancing | |
US20110310955A1 (en) | Method and system for repetition based adaptive video compression | |
JP2001094997A (ja) | ネットワーク帯域幅に適応的なデータ伝送率制御装置 | |
KR20100019444A (ko) | 패킷 전송 스케줄링 방법 | |
US6674804B1 (en) | Method for generating a multiplexed sequence of media units | |
AU2019100084A4 (en) | System and method for transmitting adaptive text stream data in network environment | |
CN112004084B (zh) | 一种利用量化参数排序的码率控制优化方法及系统 | |
WO2013105621A1 (ja) | 画像符号化方法および画像符号化装置 | |
CN112004083B (zh) | 一种利用帧间预测特性优化码率控制方法及系统 | |
CN112004087B (zh) | 一种以双帧作为控制单元的码率控制优化方法及存储介质 | |
US20050207501A1 (en) | Method of and system for video bit allocation for scene cuts and scene changes | |
CN1579097A (zh) | 压缩 | |
Mortaheb et al. | Deep Learning-Based Real-Time Rate Control for Live Streaming on Wireless Networks | |
Schwenke et al. | Dynamic Rate Control for JPEG 2000 Transcoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 201210 8th floor, building 1, 298 Xiangke Road, Pudong New Area, Shanghai Applicant after: MOUXIN TECHNOLOGY (SHANGHAI) Co.,Ltd. Address before: Room 507, building 1, No. 800, Naxian Road, pilot Free Trade Zone, Pudong New Area, Shanghai 201210 Applicant before: MOUXIN TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |