CN114339222A

CN114339222A - 视频编码方法

Info

Publication number: CN114339222A
Application number: CN202111567692.4A
Authority: CN
Inventors: 廖义; 谢亚光; 李日; 黄进; 陈勇
Original assignee: Hangzhou Arcvideo Technology Co ltd
Current assignee: Hangzhou Arcvideo Technology Co ltd
Priority date: 2021-12-20
Filing date: 2021-12-20
Publication date: 2022-04-12

Abstract

本发明公开了一种视频编码方法，包括：编码器编码时，对于一段视频，间隔若干帧做ROI检测，对于不做ROI检测的帧，利用上一帧ROI的位置和上一帧ROI在当前帧的匹配块来预测当前帧的ROI区域；对非ROI区域先滤波再编码，对ROI区域直接编码。本发明用于在提升编码压缩效率的同时，使重要区域的主观质量不下降。

Description

视频编码方法

技术领域

本发明属于视频编码技术领域，具体涉及一种视频编码方法。

背景技术

随着网络通信和视频处理技术的快速发展，视频监控越来越广泛地应用到人们生活中的各个方面，如银行、地铁、道路、社区监控。传统视频监控拍摄后的视频码率通常为4000kbps左右，但由于网络带宽有限，不可能在中心端多路视频同时调阅，因此出现了一些低码率的视频监控系统，如基于边缘计算的视频监控，将边缘端拍摄的视频码率压缩至400kbps～1300kbps，这样在中心端调阅的路数便可以增加到传统方法的3～10倍左右，调阅效率大大增加。当然，码率的降低意味着视频质量会降低，因此，如何在减少码率的同时又能保证视频质量，是该类低码率的视频监控技术发展的关键。

视频图像数据有极强的相关性，也就是说有大量的冗余信息，其中冗余信息可分为空域冗余信息和时域冗余信息，编码压缩就是将数据中的冗余信息去掉，视频编码中的帧内编码技术可以去除空域冗余，而帧间编码技术则可以去除时域冗余。帧间编码利用邻近帧之间存在的相关性，将一帧图像分成若干个CU(Coding Unit,编码单元)，并设法搜索出每个CU在邻近帧中像素值最相近的块，称之为匹配块，计算出当前CU和匹配块之间的空间位置的相对偏移量，得到的相对偏移量就是运动矢量，而得到运动矢量的过程被称为运动估计。

发明内容

本发明要解决的技术问题是提供一种视频编码方法，用于在提升编码压缩效率的同时，使重要区域的主观质量不下降。

为解决上述技术问题，本发明采用如下的技术方案：

本发明实施例提供一种视频编码方法，包括：

编码器编码时，对于一段视频，间隔若干帧做ROI检测，对于不做ROI检测的帧，利用上一帧ROI的位置和上一帧ROI在当前帧的匹配块来预测当前帧的ROI区域；

对非ROI区域先滤波再编码，对ROI区域直接编码。

一种可能设计中，所述视频为监控视频。

一种可能设计中，滤波采用高斯滤波，为对局部图像像素值进行加权平均，减少高频信息。

一种可能设计中，编码器为HEVC、H.264、H.266、AVS、AVS2或AVS3中的一种。

一种可能设计中，编码器编码时，对于一段视频，间隔若干帧做ROI检测，对于不做ROI检测的帧，利用上一帧ROI的位置和上一帧ROI在当前帧的匹配块来预测当前帧的ROI区域包括：在编码第i帧时，判断i是否满足i％N＝0，若满足则进行ROI检测获取第i帧中所有的ROI区域，并分别标记为{roi(i,1)，roi(i,2)，roi(i,3)_……roi(i,k)},其中k为第i帧中ROI区域的个数，k的取值范围为(0～50)；否则，将第i-1帧中第j个ROI区域包含的所有CU标记为{cu(i-1,j,1)，cu(i-1,j,2)，cu(i-1,j,3)，_……cu(i-1,j,m)}，其中j的取值范围为(0～k),m为第i-1帧中第j个ROI区域包含的CU个数，m的取值范围为(0～100),利用运动估计求取{cu(i-1,j,1)，cu(i-1,j,2)，cu(i-1,j,3)，_……cu(i-1,j,m)}在第i帧中的匹配块，分别标记为{cu(i,j,1)，cu(i,j,2)，cu(i,j,3)，_……cu(i,j,m)}，将{cu(i,j,1)，cu(i,j,2)，cu(i,j,3)，_……cu(i,j,m)}合并成为一个区域，定义为第i帧中第j个ROI区域。

采用本发明具有如下的有益效果：本发明实施例首先高效获取ROI区域，其次，对ROI区域做质量保护，对非ROI区域做高斯滤波，减少非ROI区域的信息量，从而在编码时节省编码码率，最终在大幅节省码率的前提下，使得编码输出的主观质量依然较好。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种视频编码方法，包括：编码器编码时，对于一段视频，间隔若干帧做ROI检测，对于不做ROI检测的帧，利用上一帧ROI的位置和上一帧ROI在当前帧的匹配块来预测当前帧的ROI区域；对非ROI区域先滤波再编码，对ROI区域直接编码。

由于ROI检测比较耗时，本发明实施例方法间隔若干帧做ROI检测，对于不做ROI检测的帧，利用上一帧ROI的位置和上一帧ROI在当前帧的匹配块来预测当前帧的ROI区域，这样可以确保每帧ROI区域的计算准确度较高，同时相比于每帧做ROI检测的方法更节省时间；对非ROI区域先滤波再编码，对ROI区域直接编码，由于在非ROI区域的滤波可以减少高频信息，进一步减少非ROI区域的编码码率，这样既可确保ROI区域的质量，又可以减少整体的编码码率。

ROI(Region ofInterest，感兴趣区域)是从图像中选择的一个最易引起用户兴趣的图像区域。例如在地铁监控视频中，用户更倾向于关注人脸、行李，而不太关注旁边的广告牌、墙壁，此时视频中的人脸和行李便可归为ROI。基于ROI的监控视频编码可以对ROI区域做无损压缩或近无损压缩，而对非ROI区域进行有损压缩，既可较好保留用户需要监测的对象，又比常规编码提升了压缩效率。

基于机器学习的ROI检测是常用且准确度高的ROI检测方式，但是机器学习非常耗时，如果编码之前需要对每帧都做ROI检测，编码性能必然会大大降低，因此，本发明实施例方法高效地结合ROI检测和编码器内部的运动估计，对部分帧做ROI预测，既可确保ROI检测的准确度，也能确保编码性能不降低。

本发明一实施例中，滤波采用高斯滤波。高斯滤波是对局部图像像素值进行加权平均，它可以在尽量保留图像细节特征的条件下对目标图像的高频信息(边缘、噪声)进行抑制。高斯滤波可以减少高频信息从而节省编码码率，但是编码输出画面可能看起来很模糊，故本发明实施例中在视频编码时对非ROI区域做高斯滤波从而减少该类区域的码率。

本发明实施例中，本发明实施例的一种视频编码方法，编码器为HEVC、H.264、H.266、AVS、AVS2或AVS3中的任一一种。

本发明一实施例中，编码器编码时，对于一段视频，间隔若干帧做ROI检测，对于不做ROI检测的帧，利用上一帧ROI的位置和上一帧ROI在当前帧的匹配块来预测当前帧的ROI区域包括：在编码第i帧时，判断i是否满足i％N＝0，若满足则进行ROI检测获取第i帧中所有的ROI区域，并分别标记为{roi(i,1)，roi(i,2)，roi(i,3)_……roi(i,k)},其中k为第i帧中ROI区域的个数，k的取值范围为(0～50)；否则，将第i-1帧中第j个ROI区域包含的所有CU标记为{cu(i-1,j,1)，cu(i-1,j,2)，cu(i-1,j,3)，_……cu(i-1,j,m)}，其中j的取值范围为(0～k),m为第i-1帧中第j个ROI区域包含的CU个数，m的取值范围为(0～100),利用运动估计求取{cu(i-1,j,1)，cu(i-1,j,2)，cu(i-1,j,3)，_……cu(i-1,j,m)}在第i帧中的匹配块，分别标记为{cu(i,j,1)，cu(i,j,2)，cu(i,j,3)，_……cu(i,j,m)}，将{cu(i,j,1)，cu(i,j,2)，cu(i,j,3)，_……cu(i,j,m)}合并成为一个区域，定义为第i帧中第j个ROI区域，其中N为常数，取值范围在[2,50]之间，典型值为10。

本发明方案相比于每帧做ROI检测的编码方案，编码质量不下降且速度可以提升70％。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims

1.一种视频编码方法，其特征在于，包括：

对非ROI区域先滤波再编码，对ROI区域直接编码。

2.如权利要求1所述的视频编码方法，其特征在于，所述视频为监控视频。

3.如权利要求1所述的视频编码方法，其特征在于，滤波采用高斯滤波，为对局部图像像素值进行加权平均，减少高频信息。

4.如权利要求1所述的视频编码方法，其特征在于，编码器为HEVC、H.264、H.266、AVS、AVS2或AVS3中的一种。

5.如权利要求1至4任一所述的视频编码方法，其特征在于，编码器编码时，对于一段视频，间隔若干帧做ROI检测，对于不做ROI检测的帧，利用上一帧ROI的位置和上一帧ROI在当前帧的匹配块来预测当前帧的ROI区域包括：在编码第i帧时，判断i是否满足i％N＝0，若满足则进行ROI检测获取第i帧中所有的ROI区域，并分别标记为{roi(i,1)，roi(i,2)，roi(i,3)……roi(i,k)},其中k为第i帧中ROI区域的个数，k的取值范围为(0～50)；否则，将第i-1帧中第j个ROI区域包含的所有CU标记为{cu(i-1,j,1)，cu(i-1,j,2)，cu(i-1,j,3)，……cu(i-1,j,m)}，其中j的取值范围为(0～k),m为第i-1帧中第j个ROI区域包含的CU个数，m的取值范围为(0～100),利用运动估计求取{cu(i-1,j,1)，cu(i-1,j,2)，cu(i-1,j,3)，……cu(i-1,j,m)}在第i帧中的匹配块，分别标记为{cu(i,j,1)，cu(i,j,2)，cu(i,j,3)，……cu(i,j,m)}，将{cu(i,j,1)，cu(i,j,2)，cu(i,j,3)，……cu(i,j,m)}合并成为一个区域，定义为第i帧中第j个ROI区域。