CN114339232A - 自适应分辨率的编码方法及其对应的解码方法 - Google Patents

Abstract

本发明公开了一种自适应分辨率的编码方法，包括以下步骤：在编码端，每当输入一个原始视频帧待编码时，先使用ROI检测，将整帧区域划分为ROI区域和非ROI区域；将原始视频帧以N倍放缩，得到分辨率为原始分辨率的1/N的小分辨率帧，ROI区域和非ROI区域都相应缩放，将小分辨率帧的ROI区域边界适当扩充，使得ROI区域与非ROI边界与编码单元的边界对齐；以光栅扫描顺序依次在小分辨率帧上以最小编码单元编码；得到所有块的编码码流，形成一个编码帧压缩数据，同时获得原始分辨率重建帧和低分辨率重建帧，记录每个编码块是否为ROI区域的标记，写入编码帧的附加数据中。

Description

自适应分辨率的编码方法及其对应的解码方法

技术领域

本发明属于视频编码技术领域，具体涉及一种自适应分辨率的编码方法及其对应的解码方法。

背景技术

目前流行的视频编码标准，如国际视频标准H264、H265，以及国内视频标准AVS2、AVS3等，其视频压缩方法上都是类似的，都是把每帧分为很多固定大小的编码块，然后以光栅扫描(从上到下，从左到右)顺序对所有的编码块进行编码。这样的编码块在H264中称为宏块(Macroblock)，大小为16x16。而在H265中，称为CTB(Coded Tree block，编码树区块)，其大小可以配置，最大为64x64,在整个序列中保持不变。在AVS2、AVS3等视频标准中也类似。

同样的视频场景，分辨率的越大，一般会包含更多的细节，画质更细腻，但是需要编码更多的编码块，消耗更多的传输带宽，占用更多的存储。监控领域视频，视频中比较有用的信息通常是包含人、车等运动物体的区域，这部分区域称为感兴趣区域(Region ofInterest，ROI),需要保持较高的画质与细节。而对于其他大部分区域，用户并不关心，称为非感兴趣区域ROI，如果ROI和非ROI采用同样的编码方式，非ROI区域所占码率比重在整帧中过大。

发明内容

本发明要解决的技术问题是提供一种自适应分辨率的编码方法及其对应的解码方法，用于自适应的降低非ROI区域的分辨率，从而提升编码压缩率，同时也不会引入较多的马赛克等让人厌烦的视频瑕疵。

为解决上述技术问题，本发明采用如下的技术方案：

本发明实施例第一方面提供一种自适应分辨率的编码方法，包括以下步骤：

在编码端，每当输入一个原始视频帧待编码时，先使用ROI检测，将整帧区域划分为ROI区域和非ROI区域；

将原始视频帧以N倍放缩，得到分辨率为原始分辨率的1/N的小分辨率帧，ROI区域和非ROI区域都相应缩放，将小分辨率帧的ROI区域边界适当扩充，使得ROI区域与非ROI边界与编码单元的边界对齐；

以光栅扫描顺序依次在小分辨率帧上以最小编码单元编码；

得到所有块的编码码流，形成一个编码帧压缩数据，同时获得原始分辨率重建帧和低分辨率重建帧，记录每个编码块是否为ROI区域的标记，写入编码帧的附加数据中。

第一方面的一种可能设计中，以光栅扫描顺序依次在小分辨率帧上以最小编码单元编码包括：

若小分辨率帧上面的某个编码单元对应的区域为非ROI区域，则使用小分辨率帧上面的数据块进行编码，如果需要用到参考帧，参考帧也采用N倍放缩后的参考帧，具体编码方法同正常的的编码方法一致，该编码块的重建块为低分辨率数据块，再使用N倍上采样的方法获得原始分辨率的重建块。

第一方面的一种可能设计中，以光栅扫描顺序依次在小分辨率帧上以最小编码单元编码包括：

若小分辨率帧上面的某个编码单元对应的区域为ROI区域，则使用原始视频帧上面的数据进行编码，如果需要用到参考帧，则使用原始分辨率的参考帧，原始分辨率下，NxN个编码块与小分辨率帧上面的一个编码块对应，NxN个编码块的编码顺序也采用光栅扫描顺序，NxN个编码块编完后，得到了原始分辨率上的NxN个编码重建块，再使用N倍缩放得到了低分辨率上的一个重建块。

本发明实施例的第二方面提供一种解码方法，用于对按照如上所述的自适应分辨率的编码方法得到的编码帧进行解码，包括：在解码端，先从每帧的附加数据中获取此帧的每个编码块是否为ROI区域的信息，然后依次解码每个编码块。

第二方面的一种可能设计中，若编码块为非ROI区域，则以低分辨率模式来解码，参考帧使用低分辨率参考帧，解码后的数据为一个低分辨率的重建数据块，然后通过N倍上采样的方法，获得原始分辨率的重建数据块。

第二方面的一种可能设计中，若编码块为ROI区域，则以高分辨率模式来解码，参考帧使用高分辨率参考帧，解码后的数据为一个高分辨率的数据块，然后通过N倍缩放为一个低分辨率的重建数据块。

第二方面的一种可能设计中，全部块解码结束后，获得了原始分辨率重建帧，以及低分辨率重建帧，原始分辨率重建帧即最终的解码帧，而低分辨率重建帧以及原始分辨率重建帧都留存为后续解码帧做参考帧使用。

采用本发明具有如下的有益效果：

(1)对视频编转码，尤其是安防监控视频编转码，可以进一步进行压缩编码，降低传输成本，减少存储成本。

(2)使用本发明技术方案后，视频文件大幅度变小，虽然在不感兴趣区域画质稍有模糊，而在感兴趣区域可以保持应有的细节与高画质。也不影响后续智能系统的感兴趣物件的检测和识别。

(3)本发明技术方案是在现有视频标准之上做的一定改进，支持编码块级的自适应分辨率，能够适用目前流行的视频压缩标准，如H264、H265、AVS2、AVS3、AV1等。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种自适应分辨率的编码方法，包括以下步骤：

在编码端，每当输入一个原始视频帧待编码时，先使用ROI检测，将整帧区域划分为ROI区域和非ROI区域；

将原始视频帧以N倍放缩，得到分辨率为原始分辨率的1/N的小分辨率帧，典型的，N为2或者4，N为其他值也可以。ROI区域和非ROI区域都相应缩放，将小分辨率帧的ROI区域边界适当扩充，使得ROI区域与非ROI边界与编码单元的边界对齐；比如H264，由于编码单元为16x16的宏块，所以与16x16边界对齐。其余视频标准类似。

以光栅扫描顺序依次在小分辨率帧上以最小编码单元编码；

得到所有块的编码码流，形成一个编码帧压缩数据，同时获得原始分辨率重建帧和低分辨率重建帧，记录每个编码块是否为ROI区域的标记，写入编码帧的附加数据中，如用户数据或SEI(Supplemental Enhancement Information，补充增强信息)等。

通过以上技术方案，对待编码的每一帧，先根据具体需求做ROI区域检测，将一帧图像分为两种类型，ROI区域以及非ROI区域。此处的具体需求，是指应用场景的需求，因不同的应用场景而异。如有些应用场景只对人脸感兴趣，有些则对车辆车牌感兴趣，有些则对运动的物体感兴趣，等等。此外，ROI区域检测可以使用运动检测，或者基于AI的敏感物件识别的方法，具体方法本发明实施例不予限定。

对ROI区域做扩充，使得每个连通的ROI区域边界对其最小编码单元边界。设定分辨率放缩率，将非ROI区域以一固定比例缩放(如2:1，4:1)，同时对参考帧也以同样比例缩放，且缩放算法固定，保持编解码端的一致。然后对非ROI区域以缩放后的分辨率编码，在损失细节为代价的基础上占用更少的编码字节，提高压缩率。对ROI区域以原始分辨率编码，以保持ROI区域的细节。同时将每个编码块是否属于ROI区域的标记信息以及缩放比例写入码流的附加数据中，如用户数据或者SEI信息，以便解码端可以正确的还原重建。以使得不同区域采用了自适应的分辨率进行编码，既保证了ROI区域的细节，又节省了码率。

本发明一实施例中，以光栅扫描顺序依次在小分辨率帧上以最小编码单元编码包括：

若小分辨率帧上面的某个编码单元对应的区域为非ROI区域，则使用小分辨率帧上面的数据块进行编码，如果需要用到参考帧，参考帧也采用N倍放缩后的参考帧，具体编码方法同正常的的编码方法一致，该编码块的重建块为低分辨率数据块，再使用N倍上采样的方法获得原始分辨率的重建块。

若小分辨率帧上面的某个编码单元对应的区域为ROI区域，则使用原始视频帧上面的数据进行编码，如果需要用到参考帧，则使用原始分辨率的参考帧，原始分辨率下，NxN个编码块与小分辨率帧上面的一个编码块对应，NxN个编码块的编码顺序也采用光栅扫描顺序，NxN个编码块编完后，得到了原始分辨率上的NxN个编码重建块，再使用N倍缩放得到了低分辨率上的一个重建块。

与本发明实施例的自适应分辨率的编码方法对应的，本发明实施例提供了一种解码方法，用于对按照如上的自适应分辨率的编码方法得到的编码帧进行解码，包括：在解码端，先从每帧的附加数据中获取此帧的每个编码块是否为ROI区域的信息，然后依次解码每个编码块。

本发明一实施例中，若编码块为非ROI区域，则以低分辨率模式来解码，参考帧使用低分辨率参考帧，解码后的数据为一个低分辨率的重建数据块，然后通过N倍上采样的方法，获得原始分辨率的重建数据块。

本发明一实施例中，若编码块为ROI区域，则以高分辨率模式来解码，参考帧使用高分辨率参考帧，解码后的数据为一个高分辨率的数据块，然后通过N倍缩放为一个低分辨率的重建数据块。

本发明一实施例中，全部块解码结束后，获得了原始分辨率重建帧，以及低分辨率重建帧，原始分辨率重建帧即最终的解码帧，而低分辨率重建帧以及原始分辨率重建帧都留存为后续解码帧做参考帧使用。

通过以上本发明实施例的解码方法，在解码端，当解码到ROI区域时，按正常方法解码重建。当解码非ROI区域时，解码得到相应块的解码帧后，通过指定的上采样算法还原为原始分辨率，得到非ROI区域编码单元的解码重建据。对于安防监控视频，使用了基于运动检测的ROI检测方法，结合本发明实施例来自适应的区域分辨率编码的方式，有效的降低了总的码率，同时没有损失ROI区域画质，在非ROI区域视频画质略微变模糊，但没有引入马赛克等令人厌恶的画质瑕疵。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (7)

1.一种自适应分辨率的编码方法，其特征在于，包括以下步骤：

在编码端，每当输入一个原始视频帧待编码时，先使用ROI检测，将整帧区域划分为ROI区域和非ROI区域；

将原始视频帧以N倍放缩，得到分辨率为原始分辨率的1/N的小分辨率帧，ROI区域和非ROI区域都相应缩放，将小分辨率帧的ROI区域边界适当扩充，使得ROI区域与非ROI边界与编码单元的边界对齐；

以光栅扫描顺序依次在小分辨率帧上以最小编码单元编码；

得到所有块的编码码流，形成一个编码帧压缩数据，同时获得原始分辨率重建帧和低分辨率重建帧，记录每个编码块是否为ROI区域的标记，写入编码帧的附加数据中。

2.如权利要求1所述的自适应分辨率的编码方法，其特征在于，以光栅扫描顺序依次在小分辨率帧上以最小编码单元编码包括：

若小分辨率帧上面的某个编码单元对应的区域为非ROI区域，则使用小分辨率帧上面的数据块进行编码，如果需要用到参考帧，参考帧也采用N倍放缩后的参考帧，具体编码方法同正常的的编码方法一致，该编码块的重建块为低分辨率数据块，再使用N倍上采样的方法获得原始分辨率的重建块。

3.如权利要求1所述的自适应分辨率的编码方法，其特征在于，以光栅扫描顺序依次在小分辨率帧上以最小编码单元编码包括：

若小分辨率帧上面的某个编码单元对应的区域为ROI区域，则使用原始视频帧上面的数据进行编码，如果需要用到参考帧，则使用原始分辨率的参考帧，原始分辨率下，NxN个编码块与小分辨率帧上面的一个编码块对应，NxN个编码块的编码顺序也采用光栅扫描顺序，NxN个编码块编完后，得到了原始分辨率上的NxN个编码重建块，再使用N倍缩放得到了低分辨率上的一个重建块。

4.一种解码方法，其特征在于，用于对按照如权利要求1至3任一所述的自适应分辨率的编码方法得到的编码帧进行解码，包括：在解码端，先从每帧的附加数据中获取此帧的每个编码块是否为ROI区域的信息，然后依次解码每个编码块。

5.如权利要求4所述的解码方法，其特征在于，若编码块为非ROI区域，则以低分辨率模式来解码，参考帧使用低分辨率参考帧，解码后的数据为一个低分辨率的重建数据块，然后通过N倍上采样的方法，获得原始分辨率的重建数据块。

6.如权利要求4所述的解码方法，其特征在于，若编码块为ROI区域，则以高分辨率模式来解码，参考帧使用高分辨率参考帧，解码后的数据为一个高分辨率的数据块，然后通过N倍缩放为一个低分辨率的重建数据块。

7.如权利要求4至6任一所述的解码方法，其特征在于，全部块解码结束后，获得了原始分辨率重建帧，以及低分辨率重建帧，原始分辨率重建帧即最终的解码帧，而低分辨率重建帧以及原始分辨率重建帧都留存为后续解码帧做参考帧使用。