CN112954321A - 一种图像特征帧内划分方法、装置、设备及介质 - Google Patents
一种图像特征帧内划分方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112954321A CN112954321A CN202110137166.8A CN202110137166A CN112954321A CN 112954321 A CN112954321 A CN 112954321A CN 202110137166 A CN202110137166 A CN 202110137166A CN 112954321 A CN112954321 A CN 112954321A
- Authority
- CN
- China
- Prior art keywords
- division
- target image
- horizontal
- vertical
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种图像特征帧内划分方法、装置、设备及介质,方法包括:通过Scharr滤波提取目标图像的水平梯度和垂直梯度,得到梯度锐度图像;根据所述梯度锐度图像,通过GLC指标确定所述目标图像的划分策略,所述划分策略包括四叉划分、三叉划分、二叉划分、基于Scharr滤波器的QT划分以及终止划分;根据所述划分策略,对所述目标图像进行帧内划分,确定帧内划分结果。本发明降低了耗时,且提高了性能。本发明可广泛应用于图像处理技术领域。
Description
技术领域
本发明涉及图像处理技术领域,尤其是一种图像特征帧内划分方法、装置、设备及介质。
背景技术
H.266/VVC是由国际标准化组织ISO与国际电工委员会IEC组成的联合视频专家组JVET(Joint Video Experts Team)制定的新一代国际视频编解码标准。VTM是该新一代编码标准的集成参考软件。H.266/VVC仍旧沿用了上一代H.265/HEVC的混合编码框架,但是在变换、量化、熵编码、帧内预测、帧间预测以及环路滤波等模块中都引入了新的编码技术。帧内预测角度扩展到65种,引入跨分量线性模型预测(CCLM)、位置自适应帧内联合预测(PDPC)、多行预测模式(MRL)及帧内子块划分技术(ISP)等。帧间预测部分修改了Merge运动矢量,增加了仿射变换技术,自适应运动矢量精度技术等,能有效地降低传输的码流数量,达到降低码率的视频压缩效果。贯穿编码过程的是引入的QTMT的编码结构,采取了二叉、三叉和四叉划分混叠的划分模式,带来了卓越的编码性能,但代价是非常耗时。
发明内容
有鉴于此,本发明实施例提供一种耗时少且性能好的图像特征帧内划分方法、装置、设备及介质。
本发明的第一方面提供了一种图像特征帧内划分方法,包括:
通过Scharr滤波提取目标图像的水平梯度和垂直梯度,得到梯度锐度图像;
根据所述梯度锐度图像,通过GLC指标确定所述目标图像的划分策略,所述划分策略包括四叉划分、三叉划分、二叉划分、基于Scharr滤波器的QT划分以及终止划分;
根据所述划分策略,对所述目标图像进行帧内划分,确定帧内划分结果。
优选地,所述通过Scharr滤波提取目标图像的水平梯度和垂直梯度,得到梯度锐度图像,包括:
对每个编码块单元进行边缘像素填充;
对所述边缘像素的邻近像素矩阵进行卷积计算,确定每个原始像素位置的梯度值;
将所有像素位置的梯度值相加,进而确定梯度锐度图像。
优选地,所述对所述边缘像素的邻近像素矩阵进行卷积计算,确定每个原始像素位置的梯度值,包括:
通过水平梯度计算公式计算原始像素位置的水平梯度;
通过垂直梯度计算公式计算原始像素位置的垂直梯度;
其中,所述水平梯度Gh的计算公式为:
所述垂直梯度Gv的计算公式为:
其中,P<i,j>代表编码块单元的每个像素的邻像素矩阵;U代表编码区域的宽度;V代表编码区域的高度。
优选地,所述根据所述梯度锐度图像,通过GLC指标确定所述目标图像的划分策略,包括:
计算编码块单元的衡量区域像素复杂度,确定所述编码块单元中的像素偏离程度;
将所述编码块单元划分为两个矩阵单元,计算所述两个矩阵单元的衡量区域像素复杂度,并确定所述两个矩阵单元之间的相关性;
根据所述两个矩阵单元之间的相关性,确定所述编码块在水平和垂直方向的变化信息;
根据所述变化信息,确定目标图像的划分策略。
优选地,所述根据所述变化信息,确定目标图像的划分策略,包括:
将所述变化信息划分为两组水平指标和两组垂直指标;
计算所述两组水平指标和所述两组垂直指标的边缘复杂度;
当所述两组水平指标的边缘复杂度满足第一条件,则确定所述目标图像的划分策略为水平三叉划分;
当所述两组垂直指标的边缘复杂度满足第二条件,则确定所述目标图像的划分策略为垂直三叉划分;
当所述垂直指标和所述水平指标的边缘复杂度满足第三条件,则确定所述目标图像的划分策略为提前终止划分。
优选地,根据所述划分策略,对所述目标图像进行帧内划分,确定帧内划分结果,包括以下之一:
当所述水平指标的所述垂直指标的边缘复杂度中的最大值小于第一阈值,提前终止所述目标图像的划分,确定所述目标图像的纹理区域为平坦区域;
当所述水平指标的边缘复杂度和所述垂直指标的边缘复杂度之间的比值小于第二阈值,且所述所述水平指标的所述垂直指标的边缘复杂度中的最小值小于第三阈值,对所述目标图像进行QT划分,得到帧内划分结果;
当所述两组水平指标的的边缘复杂度的和大于或等于所述两组垂直指标的边缘复杂度的和时,基于水平划分的方式对所述目标图像进行三叉划分;反之,则基于垂直划分的方式对所述目标图像进行三叉划分,得到帧内划分结果;
将所述目标图像划分成四个子块,分别计算四个子块的水平纹理和垂直纹理,对所述目标图像进行二叉划分或者四叉划分,得到帧内划分结果。
优选地,所述将所述目标图像划分成四个子块,分别计算四个子块的水平纹理和垂直纹理,对所述目标图像进行二叉划分或者四叉划分,得到帧内划分结果,包括:
将所述目标图像划分成四个子块,分别计算四个子块的水平纹理和垂直纹理;
将第一子块的水平纹理的复杂度减去第二子块的水平纹理的复杂度,并将第三子块的水平纹理的复杂的减去第四子块的水平纹理的复杂度,得到水平方向的第一纹理趋势指标;
将第一子块的垂直纹理的复杂度减去第二子块的垂直纹理的复杂度,并将第三子块的垂直纹理的复杂的减去第四子块的垂直纹理的复杂度,得到垂直方向的第二纹理趋势指标;
当所述第一纹理趋势指标小于第五阈值或者所述第二纹理趋势指标小于第五阈值时,对所述目标图像进行二叉划分;反之,则对所述目标图像进行四叉划分,得到帧内划分结果。
本发明实施例的另一方面提供了一种图像特征帧内划分装置,包括:
滤波模块,用于通过Scharr滤波提取目标图像的水平梯度和垂直梯度,得到梯度锐度图像;
确定模块,用于根据所述梯度锐度图像,通过GLC指标确定所述目标图像的划分策略,所述划分策略包括四叉划分、三叉划分、二叉划分、基于Scharr滤波器的QT划分以及终止划分;
划分模块,用于根据所述划分策略,对所述目标图像进行帧内划分,确定帧内划分结果。
本发明实施例的另一方面提供了一种电子设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
本发明的实施例通过Scharr滤波提取目标图像的水平梯度和垂直梯度,得到梯度锐度图像;根据所述梯度锐度图像,通过GLC指标确定所述目标图像的划分策略,所述划分策略包括四叉划分、三叉划分、二叉划分、基于Scharr滤波器的QT划分以及终止划分;根据所述划分策略,对所述目标图像进行帧内划分,确定帧内划分结果减少了耗时时长且提高了编码性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为QTMT划分的效果示意图;
图2为水平梯度计算的演示示意图;
图3为Scharr滤波流程示意图;
图4为两类GLC指标的示意图;
图5为GLC决策流程示意图;
图6为本发明实施例提供的局部子CU的GLC计算过程示例图;
图7为本发明实施例提供的四个子CU的切割效果示意图;
图8为本发明实施例提供的图像特征帧内划分方法的整体步骤流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
针对现有技术存在的问题,本发明实施例提供了一种图像的水平梯度和垂直梯度,得到梯度锐度图像;
根据所述梯度锐度图像,通过GLC指标确定所述目标图像的划分策略,所述划分策略包括四叉划分、三叉划分、二叉划分、基于Scharr滤波器的QT划分以及终止划分;
根据所述划分策略,对所述目标图像进行帧内划分,确定帧内划分结果。
优选地,所述通过Scharr滤波提取目标图像的水平梯度和垂直梯度,得到梯度锐度图像,包括:
对每个编码块单元进行边缘像素填充;
对所述边缘像素的邻近像素矩阵进行卷积计算,确定每个原始像素位置的梯度值;
将所有像素位置的梯度值相加,进而确定梯度锐度图像。
优选地,所述对所述边缘像素的邻近像素矩阵进行卷积计算,确定每个原始像素位置的梯度值,包括:
通过水平梯度计算公式计算原始像素位置的水平梯度;
通过垂直梯度计算公式计算原始像素位置的垂直梯度;
其中,所述水平梯度Gh的计算公式为:
所述垂直梯度Gv的计算公式为:
其中,P<i,j>代表编码块单元的每个像素的邻像素矩阵;U代表编码区域的宽度;V代表编码区域的高度。
优选地,所述根据所述梯度锐度图像,通过GLC指标确定所述目标图像的划分策略,包括:
计算编码块单元的衡量区域像素复杂度,确定所述编码块单元中的像素偏离程度;
将所述编码块单元划分为两个矩阵单元,计算所述两个矩阵单元的衡量区域像素复杂度,并确定所述两个矩阵单元之间的相关性;
根据所述两个矩阵单元之间的相关性,确定所述编码块在水平和垂直方向的变化信息;
根据所述变化信息,确定目标图像的划分策略。
优选地,所述根据所述变化信息,确定目标图像的划分策略,包括:
将所述变化信息划分为两组水平指标和两组垂直指标;
计算所述两组水平指标和所述两组垂直指标的边缘复杂度;
当所述两组水平指标的边缘复杂度满足第一条件,则确定所述目标图像的划分策略为水平三叉划分;
当所述两组垂直指标的边缘复杂度满足第二条件,则确定所述目标图像的划分策略为垂直三叉划分;
当所述垂直指标和所述水平指标的边缘复杂度满足第三条件,则确定所述目标图像的划分策略为提前终止划分。
优选地,根据所述划分策略,对所述目标图像进行帧内划分,确定帧内划分结果,包括以下之一:
当所述水平指标的所述垂直指标的边缘复杂度中的最大值小于第一阈值,提前终止所述目标图像的划分,确定所述目标图像的纹理区域为平坦区域;
当所述水平指标的边缘复杂度和所述垂直指标的边缘复杂度之间的比值小于第二阈值,且所述所述水平指标的所述垂直指标的边缘复杂度中的最小值小于第三阈值,对所述目标图像进行QT划分,得到帧内划分结果;
当所述两组水平指标的的边缘复杂度的和大于或等于所述两组垂直指标的边缘复杂度的和时,基于水平划分的方式对所述目标图像进行三叉划分;反之,则基于垂直划分的方式对所述目标图像进行三叉划分,得到帧内划分结果;
将所述目标图像划分成四个子块,分别计算四个子块的水平纹理和垂直纹理,对所述目标图像进行二叉划分或者四叉划分,得到帧内划分结果。
优选地,所述将所述目标图像划分成四个子块,分别计算四个子块的水平纹理和垂直纹理,对所述目标图像进行二叉划分或者四叉划分,得到帧内划分结果,包括:
将所述目标图像划分成四个子块,分别计算四个子块的水平纹理和垂直纹理;
将第一子块的水平纹理的复杂度减去第二子块的水平纹理的复杂度,并将第三子块的水平纹理的复杂的减去第四子块的水平纹理的复杂度,得到水平方向的第一纹理趋势指标;
将第一子块的垂直纹理的复杂度减去第二子块的垂直纹理的复杂度,并将第三子块的垂直纹理的复杂的减去第四子块的垂直纹理的复杂度,得到垂直方向的第二纹理趋势指标;
当所述第一纹理趋势指标小于第五阈值或者所述第二纹理趋势指标小于第五阈值时,对所述目标图像进行二叉划分;反之,则对所述目标图像进行四叉划分,得到帧内划分结果。
下面结合说明书附图,对本发明的帧内划分方法进行详细描述:
对于QTMT结构,与H.265的参考软件HM相比,CTU的最大尺寸变成128×128。如图1所示,从根节点开始,如果要进行划分,首先进行四叉划分(QT)。从32×32CU到最小的4×4CU划分过程,根据每种模式的最优RD-Cost代价进行选择,从二叉划分、三叉划分、四叉划分或者不划分中进行选择。对于二叉划分、三叉划分模式(合称MT)还细分水平和垂直方向。一旦选择了MT就不能再进行QT划分。决策出最优尺寸的每个CU(编码单元)将分别进行帧内预测。这种灵活的划分结构,可以把相似纹理区域划分在一起,即对纹理简单的编码区域选择大块,纹理复杂的编码区域选择小块,给编码器带来了3%-4%的BD-Rate编码性能提升的同时,编码时间增加了7-8倍。针对现如今高质量低延迟的视频编码需求,本发明提出了基于Scharr滤波器和GLC来进行全局及局域纹理分析的快速划分算法。
Scharr滤波器是一种在图像纹理检测上具有突出优势的高通滤波器。Scharr采用3×3的卷积核,在靠近真实像素区域使用更大的权重,具有计算速度快、准确度高、梯度变化粒子小等优势。本文将基于Scharr滤波器对32×32CU进行全局水平和垂直梯度的提取,以此衡量全局的区域平坦以及像素的走向,根据得到的图像特征,快速判决是否需要进一步的MT划分,从而减少不必要的编码划分模式。
GLC(global and local characteristic)是在空间上将子CU的编码信息进行统计学习的参考指标。在计算全局纹理信息过程中,可能出现高频信息点和低频信息交错的情况,这种情况下计算出来的指标会忽略局部细节,降低提前判决的正确率。GLC可以将不同划分模式的子CU的纹理特征进行汇总,突出边缘纹理及高频信息点,得到一些局部最优解,极大降低了快速算法的误码率。
对于VVC中独特的QTMT框架,现在已经有一些有效的快速算法来减少其编码时间。例如,一些方法可以利用相邻CU的纹理属性和编码信息,根据这种空间相关性跳过一些CU的大小。此外,对于划分这种分类问题,也有一些方法提出了基于二进制和多类SVM的快速算法,通过预训练模型和加权因子来提高自适应决策的效果。这些方法都可以加快划分过程,以较少的BD-Rate损失,换来了编码时间的有效减少。
具体地,对于Scharr滤波:
图像特征包括颜色、纹理、边缘、能量、熵等等,其中纹理和边缘信息对于指导水平和垂直划分模式最有帮助。本发明是基于提取图像特征来进行快速判决的算法,Scharr滤波器可以检测一帧图像中有明显变化的边缘或者不连续的区域,尤其是亮度像素急剧抖动的地方。边界的高频信息是视频质量的保证,也是人眼关心之处。它采用3×3的卷积核,与原像素构造的相似矩阵进行卷积,可以提取图像的水平和垂直梯度。公式如下所示:
P<i,j>是编码块单元的每个像素的邻近的3×3像素矩阵。U和V分别表示编码区域的宽度和高度。公式(1)可以提取水平总梯度,公式(2)用来提取垂直总梯度。
具体实现过程为,先将每个32×32的CU进行边缘像素的填充,如图2所示的201部分。然后将每个像素的邻近3×3像素矩阵(例如图中虚线框内的202部分)与公式(1)(2)的不同卷积核进行卷积计算,于是每个原始像素位置得到一个梯度值,最后将所有的梯度值进行相加。比如,图2中203部分的像素位置的水平梯度计算演示如下:
Gh(i,j)=A×(-3)+A×(-10)+B×(-3)+A×0+A×0+B×0+C×3+C×10+D×3
本发明利用Scharr滤波器,可以得到原图像的梯度锐度图像,可以更清晰地描述图像的亮度边缘,得到容易被主观忽略的客观高频信息点,而这些高频信息用梯度衡量是最合适不过的。
对于GLC:
如图4所示,本发明提出的GLC指标用来提前判决是否终止划分以及选择某种三叉划分。GLC指的是编码块的子区域复杂度之差。全局的GLC衡量的是整体的纹理区域平坦程度,而子CU的GLC衡量的是三叉划分的两条亮度边缘线附近的纹理特征。
衡量区域像素复杂度用公式(3)表示:
由公式(3)可以得到一个编码块的像素偏离程度。将编码块分为两个矩阵单元,再对矩阵单元进行计算,最后考虑它们之间的相关性,就可以得到整个块在水平和垂直方向变化情况,如公式(4)和公式(5)所示。如果Ch和Cv都很小,说明整个区域的像素变化几乎不变,对于这种人眼难以察觉的区域,本发明用这两个指标来提前终止划分。
GLC的决策流程如图5所示,将黑白两个子块分为一组,对图4中的每个CU的两组分别应用公式(4)(5),计算蓝线处的的边缘复杂度。如果得到的两条蓝线处的复杂度较小,说明该位置恰巧处于像素抖动边界,也就是以此分割可以使得不同质的纹理区域合理分布在边界两侧,比如有不等间隔条纹的物体。我们用Ch1和Ch2表示水平的两组指标,Cv1和表示Cv2垂直的两组指标。如果水平的Ch1+Ch2大于某个阈值,可以提前判决为水平三叉划分;如果垂直的Cv1+Cv2大于某个阈值,可以提前判决为垂直三叉划分。
对于QTMT快速划分算法:
在VVC的QTMT块划分决策过程中,率失真代价(RD-Cost)最小的划分模式会被编码器选择。在这个过程中,编码器不仅要比较上下层编码单元的率失真代价来决策是否划分,还需要分别计算执行二叉、三叉和四叉划分后的的率失真代价。最后再从这几种模式中根据率失真代价选择最优的模式。因此,VTM代码中的递归次数多,经历多次计算和比较,耗时极长。
本发明通过利用编码相关信息以及图像自身纹理特征,提出相关指标,设置终止划分或者决策划分的条件,可以跳过一些可预见的冗余无效的模式遍历,从而降低时间复杂度。该算法仅针对32×32的编码单元,流程有以下4步①-④。以下公式中的Th1至Th5都是与对应指标相关的阈值,具体为第一阈值、第二阈值、第三阈值、第四阈值和第五阈值。
①基于全局GLC的提前终止划分:
首先,一个32×32的编码单元,如果纹理区域比较平坦,划分为更小编码块带来的增益微乎其微,因此本发明趋向于提前终止划分,以节省这部分的编码时间。基于全局GLC的公式(4)(5)已在上面提出,如果符合:
Max(h’h,Gv)<Th1 (6)
说明该区域的全局纹理复杂度较小,本发明选择提前终止划分。
②基于Scharr滤波器的QT划分:
大量的图像纹理特征的统计学习发现,趋向于选择四叉划分的编码单元往往具有较高的全局复杂度,也就是说在水平和垂直这两个方向的像素变化明显。还有另一种情况是该区域纹理呈现对称分布或者有高频信息点均匀分布,例如棋盘、格子等。
本发明首先用Scharr滤波器得到每个CU的水平滤波后的梯度Gh(公式1)和垂直滤波后的梯度Gv(公式2)。如果同时满足以下条件:
Min(h’h,Gv)<Th3 (8)
本发明中的公式(7)说明该编码单元无突出的纹理方向,公式(8)表示高频要素很多,需要更小的块进行表达。因此,QT划分模式更适用于这类特征的CU。在这一步,对于符合条件的CU,本发明将提前终止MT的分区,也就是不再有矩形块的形成。
③基于局部子CU的GLC来决策三叉划分:
如图6所示,本发明将一个CU水平或者垂直划分为4个子块,分为两组应用公式4和公式5,计算a和b两条边界附近的复杂度变化,这将可以表示区域局部的纹理特征。如果复杂度很高,说明a和b正好处于像素变化的过渡区域,两侧的像素差异较大,三叉模式可以很好地进行切割归纳。本发明用Ch1和Ch2表示水平的两条边界处复杂度,Cv1和Cv2表示垂直的两条边界处复杂度。当满足Min(Ch1+Ch2,Cv1+Cv2)>Th4时进行三叉划分。并且,
④决策二叉划分和四叉划分:
在区域纹理中,像素高频点往往会集中在编码单元的某一部分,而在另一部分可能很平坦。这种情况下,矩形块可以很好的对这两种区域进行区分,选择二叉划分无疑更佳。然而,对于某些单调但不平坦的纹理,二叉划分却不一定比四叉划分更优,因此有时需要保留这两种模式进行RD-Cost的竞争。这两类情况,本发明在这一步骤里使用4个子CU的局部特征进行决策,以求更精确地衡量编码区域的亮度细节。为了减少计算的复杂度,这里不考虑方差、标准差等公式,直接复用公式(3)。其中,子CU的图例如图7所示。
对于ABCD四个子块,本发明会分别计算它们在水平和垂直方向的纹理趋势,然后对同一线上的复杂度相减,对平行方向相加,得到相应方向的纹理趋势指标Mh和Mv。计算公式如下:
Mh=abs(CA_h-CB_h)+abs(CC_h-CD_h) (10)
Mv=abs(CA_v-CC_v)+abs(CB_v-CD_v) (11)
其中,CA_h、CB_h、CC_h、CD_h、CA_v、CB_v、CC_v、CD_v分别是A、B、C、D四个子块的水平纹理和垂直纹理。在满足以下条件时,认为该区域纹理极为单一,只考虑二叉划分:
Mh<Th5||Mv<Th5 (12)
若不满足,则无法仅在纹理细节上考虑划分准确性,必须结合后续的帧内预测编码工程计算RD-Cost,因此本发明保留某种方向的二叉划分和四叉划分进行后续再进行决策,而仅在该步骤终止其余三种划分选择。
考虑到运算复杂度,本算法实施时只针对长和宽都等于32×32块大小的编码单元。该算法严格按照上述顺序执行,先整体衡量是否划分,再考虑进行何种划分,增加了科学性。此外,实施此算法时只会在编码开始时对视频图像进行卷积等预处理,所以并不会增加太多复杂度。此算法的总流程如图8所示。
本发明实施例还提供了一种图像特征帧内划分装置,包括:
滤波模块,用于通过Scharr滤波提取目标图像的水平梯度和垂直梯度,得到梯度锐度图像;
确定模块,用于根据所述梯度锐度图像,通过GLC指标确定所述目标图像的划分策略,所述划分策略包括四叉划分、三叉划分、二叉划分、基于Scharr滤波器的QT划分以及终止划分;
划分模块,用于根据所述划分策略,对所述目标图像进行帧内划分,确定帧内划分结果。
本发明实施例还提供了一种电子设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例还提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种图像特征帧内划分方法,其特征在于,包括:
通过Scharr滤波提取目标图像的水平梯度和垂直梯度,得到梯度锐度图像;
根据所述梯度锐度图像,通过GLC指标确定所述目标图像的划分策略,所述划分策略包括四叉划分、三叉划分、二叉划分、基于Scharr滤波器的QT划分以及终止划分;
根据所述划分策略,对所述目标图像进行帧内划分,确定帧内划分结果。
2.根据权利要求1所述的一种图像特征帧内划分方法,其特征在于,所述通过Scharr滤波提取目标图像的水平梯度和垂直梯度,得到梯度锐度图像,包括:
对每个编码块单元进行边缘像素填充;
对所述边缘像素的邻近像素矩阵进行卷积计算,确定每个原始像素位置的梯度值;
将所有像素位置的梯度值相加,进而确定梯度锐度图像。
4.根据权利要求1所述的一种图像特征帧内划分方法,其特征在于,所述根据所述梯度锐度图像,通过GLC指标确定所述目标图像的划分策略,包括:
计算编码块单元的衡量区域像素复杂度,确定所述编码块单元中的像素偏离程度;
将所述编码块单元划分为两个矩阵单元,计算所述两个矩阵单元的衡量区域像素复杂度,并确定所述两个矩阵单元之间的相关性;
根据所述两个矩阵单元之间的相关性,确定所述编码块在水平和垂直方向的变化信息;
根据所述变化信息,确定目标图像的划分策略。
5.根据权利要求4所述的一种图像特征帧内划分方法,其特征在于,所述根据所述变化信息,确定目标图像的划分策略,包括:
将所述变化信息划分为两组水平指标和两组垂直指标;
计算所述两组水平指标和所述两组垂直指标的边缘复杂度;
当所述两组水平指标的边缘复杂度满足第一条件,则确定所述目标图像的划分策略为水平三叉划分;
当所述两组垂直指标的边缘复杂度满足第二条件,则确定所述目标图像的划分策略为垂直三叉划分;
当所述垂直指标和所述水平指标的边缘复杂度满足第三条件,则确定所述目标图像的划分策略为提前终止划分。
6.根据权利要求5所述的一种图像特征帧内划分方法,其特征在于,根据所述划分策略,对所述目标图像进行帧内划分,确定帧内划分结果,包括以下之一:
当所述水平指标的所述垂直指标的边缘复杂度中的最大值小于第一阈值,提前终止所述目标图像的划分,确定所述目标图像的纹理区域为平坦区域;
当所述水平指标的边缘复杂度和所述垂直指标的边缘复杂度之间的比值小于第二阈值,且所述所述水平指标的所述垂直指标的边缘复杂度中的最小值小于第三阈值,对所述目标图像进行QT划分,得到帧内划分结果;
当所述两组水平指标的的边缘复杂度的和大于或等于所述两组垂直指标的边缘复杂度的和时,基于水平划分的方式对所述目标图像进行三叉划分;反之,则基于垂直划分的方式对所述目标图像进行三叉划分,得到帧内划分结果;
将所述目标图像划分成四个子块,分别计算四个子块的水平纹理和垂直纹理,对所述目标图像进行二叉划分或者四叉划分,得到帧内划分结果。
7.根据权利要求6所述的一种图像特征帧内划分方法,其特征在于,所述将所述目标图像划分成四个子块,分别计算四个子块的水平纹理和垂直纹理,对所述目标图像进行二叉划分或者四叉划分,得到帧内划分结果,包括:
将所述目标图像划分成四个子块,分别计算四个子块的水平纹理和垂直纹理;
将第一子块的水平纹理的复杂度减去第二子块的水平纹理的复杂度,并将第三子块的水平纹理的复杂的减去第四子块的水平纹理的复杂度,得到水平方向的第一纹理趋势指标;
将第一子块的垂直纹理的复杂度减去第二子块的垂直纹理的复杂度,并将第三子块的垂直纹理的复杂的减去第四子块的垂直纹理的复杂度,得到垂直方向的第二纹理趋势指标;
当所述第一纹理趋势指标小于第五阈值或者所述第二纹理趋势指标小于第五阈值时,对所述目标图像进行二叉划分;反之,则对所述目标图像进行四叉划分,得到帧内划分结果。
8.一种图像特征帧内划分装置,其特征在于,包括:
滤波模块,用于通过Scharr滤波提取目标图像的水平梯度和垂直梯度,得到梯度锐度图像;
确定模块,用于根据所述梯度锐度图像,通过GLC指标确定所述目标图像的划分策略,所述划分策略包括四叉划分、三叉划分、二叉划分、基于Scharr滤波器的QT划分以及终止划分;
划分模块,用于根据所述划分策略,对所述目标图像进行帧内划分,确定帧内划分结果。
9.一种电子设备,其特征在于,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110137166.8A CN112954321B (zh) | 2021-02-01 | 2021-02-01 | 一种图像特征帧内划分方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110137166.8A CN112954321B (zh) | 2021-02-01 | 2021-02-01 | 一种图像特征帧内划分方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112954321A true CN112954321A (zh) | 2021-06-11 |
CN112954321B CN112954321B (zh) | 2022-09-16 |
Family
ID=76240903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110137166.8A Active CN112954321B (zh) | 2021-02-01 | 2021-02-01 | 一种图像特征帧内划分方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112954321B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881904A (zh) * | 2018-06-25 | 2018-11-23 | 中山大学 | 基于Sobel算子的帧内快速判决方法、装置及存储介质 |
CN109978854A (zh) * | 2019-03-25 | 2019-07-05 | 福州大学 | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 |
CN111147867A (zh) * | 2019-12-18 | 2020-05-12 | 重庆邮电大学 | 一种多功能视频编码cu划分快速决策方法及存储介质 |
WO2020125595A1 (zh) * | 2018-12-16 | 2020-06-25 | 华为技术有限公司 | 视频译码器及相应方法 |
CN111432212A (zh) * | 2020-04-28 | 2020-07-17 | 中山大学 | 基于纹理特征的帧内划分方法、系统及存储介质 |
CN112104868A (zh) * | 2020-11-05 | 2020-12-18 | 电子科技大学 | 一种针对vvc帧内编码单元划分的快速决策方法 |
-
2021
- 2021-02-01 CN CN202110137166.8A patent/CN112954321B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881904A (zh) * | 2018-06-25 | 2018-11-23 | 中山大学 | 基于Sobel算子的帧内快速判决方法、装置及存储介质 |
WO2020125595A1 (zh) * | 2018-12-16 | 2020-06-25 | 华为技术有限公司 | 视频译码器及相应方法 |
CN109978854A (zh) * | 2019-03-25 | 2019-07-05 | 福州大学 | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 |
CN111147867A (zh) * | 2019-12-18 | 2020-05-12 | 重庆邮电大学 | 一种多功能视频编码cu划分快速决策方法及存储介质 |
CN111432212A (zh) * | 2020-04-28 | 2020-07-17 | 中山大学 | 基于纹理特征的帧内划分方法、系统及存储介质 |
CN112104868A (zh) * | 2020-11-05 | 2020-12-18 | 电子科技大学 | 一种针对vvc帧内编码单元划分的快速决策方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112954321B (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107155107B (zh) | 视频编码方法和装置、视频解码方法和装置 | |
JP5270573B2 (ja) | ブロックアーチファクトを検出する方法及び装置 | |
ES2356023T3 (es) | Compresión y descompresión de imágenes. | |
JP5230669B2 (ja) | 深度画像をフィルタリングする方法 | |
TWI555342B (zh) | 清除解塊人為雜訊的方法 | |
WO2016142931A1 (en) | Method and system of controlling a quality measure | |
WO2012096623A1 (en) | Deblocking filtering | |
CN111432212B (zh) | 基于纹理特征的帧内划分方法、系统及存储介质 | |
US20140369617A1 (en) | Image encoding apparatus, image encoding method, and program | |
CN109963151B (zh) | 编码单元划分确定方法及装置、终端设备及可读存储介质 | |
JP6084687B2 (ja) | ビデオストリームを符号化するための方法および装置 | |
WO2005050564A2 (en) | Detection of local visual space-time details in a video signal | |
CN112954321B (zh) | 一种图像特征帧内划分方法、装置、设备及介质 | |
CN113906762B (zh) | 用于视频压缩的预处理 | |
CN110868593B (zh) | 基于区域决策树的视频cu快速划分 | |
CN110855973B (zh) | 基于区域方向性离差和的视频帧内快速算法 | |
CN111246218B (zh) | 基于jnd模型的cu分割预测和模式决策纹理编码方法 | |
CN114762326B (zh) | 用于自适应分辨率视频编码的下一代环路滤波器实现 | |
CN113115042B (zh) | 一种基于isp优化的帧内决策方法、装置、设备及介质 | |
WO2024104504A1 (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN113747177B (zh) | 基于历史信息的帧内编码速度优化方法、装置及介质 | |
CN114173116A (zh) | 一种基于拉普拉斯滤波器的自适应量化方法 | |
Sun et al. | A quality enhancement network with coding priors for constant bit rate video coding | |
JP2023528430A (ja) | 画像強調方法及び装置 | |
JPH0965330A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |