CN109982079B - 一种结合纹理空间相关性的帧内预测模式选择方法 - Google Patents

一种结合纹理空间相关性的帧内预测模式选择方法 Download PDF

Info

Publication number
CN109982079B
CN109982079B CN201910265460.XA CN201910265460A CN109982079B CN 109982079 B CN109982079 B CN 109982079B CN 201910265460 A CN201910265460 A CN 201910265460A CN 109982079 B CN109982079 B CN 109982079B
Authority
CN
China
Prior art keywords
prediction
texture
mode
pvd
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910265460.XA
Other languages
English (en)
Other versions
CN109982079A (zh
Inventor
田睿
石磊
黄骁飞
亢京力
张立栋
王源源
王斐斐
陈善松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Electronic System Engineering
Original Assignee
Beijing Institute of Electronic System Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Electronic System Engineering filed Critical Beijing Institute of Electronic System Engineering
Priority to CN201910265460.XA priority Critical patent/CN109982079B/zh
Publication of CN109982079A publication Critical patent/CN109982079A/zh
Application granted granted Critical
Publication of CN109982079B publication Critical patent/CN109982079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种结合纹理空间相关性的帧内预测模式选择方法，包括：S1、统计分析在帧内预测模式选择过程中各预测模式在不同大小预测单元下采用不同量化参数时的利用率，基于统计结果在纹理预测方向中选取四个主纹理预测方向；S2、对各所述主纹理预测方向进行分析并计算预测单元的图像像素值偏差，利用所述图像像素值偏差判断预测单元是否平滑，其中，当判断预测单元为平滑，使用DC模式与Planar模式作为率失真优化阶段的输入，获得最优预测模式；否，则构建基于多参考行技术的纹理预测候选集作为率失真优化阶段的输入，然后依次利用基于SATD代价构建的第一自适应阈值模型和基于RD代价构建的第二自适应阈值模型提前终止率失真优化，获得最优预测模式。

Description

一种结合纹理空间相关性的帧内预测模式选择方法
技术领域
本发明涉及多媒体编码领域，特别是涉及一种结合纹理空间相关性的帧内预测模式选择方法。
背景技术
视觉是人类感知与认识外部世界的主要途径，美国实验心理学家赤瑞特拉通过大量实验证实人类获得信息的83％都来自视觉。而视频作为视觉信息的主要载体逐渐成为人们生活中不可或缺的一部分，随着互联网、智能手机及多媒体技术的发展，视频的呈现方式越发多样化，人们对视频观感的体验也随之提升。其主要体现在以下两个方面：首先是视频数据量的急剧增加，这里主要是指空间分辨率的不断提高，如今高清视频已逐渐普及，当前发展的趋势是4K(3840×2160)，甚至是8K(7680×4320)的超高清视频；其次，视频获取途径的多样化，视频的传播已不再局限于广播电视等方式，如今移动互联网已经成为视频传播的主要途径，根据cisco发布预测报告，到2020年，年度全球移动数据流量将达到366.8EB(1EB≈10亿GB)，其中视频流量将超过75％，对视频信号的存储与传输带来了极大负担。基于此，对于视频图像压缩技术的研究已经成为目前紧迫且现实的问题。
近年来，随着互联网技术以及终端处理处理能力的不断提升，对现有视频编码标准H.264/AVC提出了新的要求。为了更好的满足在智慧交通、安防监控以及医学图像处理等领域的应用。2010年4月，在视频编码专家组(VCEG)与运动图像专家组(MPEG)的共同努力下，建了视频编码联合组(JCT-VC)，负责组织新一代视频编码标准H.265/HEVC的研发和制定。并于2013年，由国际电信联盟-电信标准化组(ITU-T)和国际标准化组织/国际电工委员会(ISO/IEC)正式发布。作为新一代视频编码标准，HEVC的目标是在H.264/AVC highprofile的基础上，通过采用多种先进的编码技术，使其压缩效率提高了一倍，即在视频质量相同的条件下，压缩后的视频码流所占存储空间为原来的50％。
然而，HEVC压缩效率的提升是以牺牲编码端的时间复杂度为代价的，这对于视频实时应用是一个巨大的挑战。HEVC标准参考代码距离实时应用大约差5000倍速度。因此，在保证编码质量的前提下，进一步提升HEVC标准的编码速度，对于加快HEVC标准在产业界的广泛应用，提高视频编码技术在各个领域的应用水平，具有重要的应用价值和社会意义。
本发明针对帧内预测模式选择问题进行了研究，帧内编码作为HEVC标准中最为耗时的几个功能模块之一，其亮度分量的帧内预测每一种大小的预测单元提供了35种预测模式，相较于H.264/AVC标准，帧内预测方向的划分更为精细，但预测复杂度也极大增加，此外，HEVC标准采用遍历所有帧内预测模式的方式致使大量计算消耗在冗余预测模式上，致使预测效率降低，不利于HEVC标准的实时应用。在保证编码性能的前提下，去除冗余的预测模式，降低帧内预测模式选择的编码复杂度，对其编码速度的进行优化兼具研究意义和实用价值。
发明内容
本发明的目的在于提供一种结合纹理空间相关性的帧内预测模式选择方法，以解决上述问题。
为达到上述目的，本发明采用下述技术方案：
本发明公开了一种结合纹理空间相关性的帧内预测模式选择方法，所述方法包括：
S1、统计分析在帧内预测模式选择过程中各预测模式在不同大小预测单元下采用不同量化参数时的利用率，基于统计结果在纹理预测方向中选取四个主纹理预测方向；
S2、对各所述主纹理预测方向进行分析并计算预测单元的图像像素值偏差，利用所述图像像素值偏差判断预测单元是否平滑，
其中，当判断预测单元为平滑，使用DC模式与Planar模式作为率失真优化阶段的输入，获得最优预测模式；否，则构建基于多参考行技术的纹理预测候选集作为率失真优化阶段的输入，然后依次利用基于SATD代价构建的第一自适应阈值模型和基于RD代价构建的第二自适应阈值模型提前终止率失真优化，获得最优预测模式。
优选地，选取的主纹理预测方向为四个，包括：水平方向、垂直方向、45°方向和135°方向。
优选地，所述构建基于多参考行技术的纹理预测候选集，包括：
结合图像纹理的特性与预测单元的属性，利用自适应阈值模型构建分层次的纹理预测候选集；
将多参考行技术与预测单元的纹理预测方向相结合，使多参考行技术作用于所述纹理预测候选集；
依据像素相似度对多个参考行进行分类；
针对不同类别的参考行为所述纹理预测候选集设计相应的遍历方式。
优选地，所述图像纹理的特性包括：纹理复杂度；
预测单元的属性包括：分析编码深度、量化参数及预测精度。
优选地，所述纹理复杂度，采用复杂度模型：
TC＝PVDVER+PVDHOR进行计算，
其中，TC为纹理复杂度，PVDVER与PVDHOR为像素值在垂直方向与水平方向的偏差。
优选地，利用基于SATD代价构建的第一自适应阈值模型提前终止率失真优化，包括
通过分析帧内相邻预测模式代价之间的关系，利用量化参数QP构建了第一自适应阈值模型；
利用基于SATD代价的自适应阈值模型，对率失真优化流程进行提前终止。
优选地，利用基于RD代价构建的第二自适应阈值模型提前终止率失真优化包括
通过分析当前预测模式与当前最优模式的RD代价关系，利用量化参数QP构建了自适应阈值模型；
利用基于RD代价的第二自适应阈值模型，对率失真优化流程进行提前终止。
优选地，所述判断预测单元平滑的条件为：
max{PVDVER,PVDHOR,PVD45,PVD135}<ThrTC/2.2
其中，PVDVER与PVDHOR分别为像素值在垂直方向与水平方向的偏差，PVD45和PVD135分别为像素值在45°方向和135°方向的偏差，ThrTC为设定的阈值。
优选地，阈值ThrTC采用阈值模型：
Figure BDA0002016653790000031
进行计算，
其中，QP为量化步长。
本发明的有益效果如下：
针对复杂纹理区域常常出现的纹里阻隔现象，现有帧内预测模式选择算法存在对图像纹理空间相关性描述不充分，导致帧内角度预测鲁棒性较低的问题，本发明提出了一种结合纹理空间相关性的帧内预测模式选择算法。首先通过分析预测单元的纹理特性，利用PVD获取当前预测单元的主纹理方向；其次通过分析编码深度、纹理复杂度及量化参数与预测精度之间的关系，实现了纹理预测候选集的准确构建；而后通过对图像纹理空间相关性的分析，利用基于像素相似度分类的多参考行预测，提高帧内角度预测精度；最后基于对相邻预测模式SATD代价及率失真代价的关系的分析，对帧内预测率失真优化阶段进行提前终止，并利用量化参数构建了自适应阈值模型，提高了算法的鲁棒性。本发明方法节省了HEVC标准编码器大量编码时间，在工程上具有较好的应用价值。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出本发明的一个实施例中提出一种结合纹理空间相关性的帧内预测模式选择方法流程图；
图2(a)示出本发明的一个实施例中提出的主纹理预测方向为垂直方向示意图；
图2(b)示出本发明的一个实施例中提出的主纹理预测方向为水平方向示意图；
图2(c)示出本发明的一个实施例中提出的主纹理预测方向为45°方向示意图；
图2(d)示出本发明的一个实施例中提出的主纹理预测方向为135°方向示意图；
图3示出本发明的一个实施例中提出的其它大小预测单元主纹理预测方向采样示意图；
图4示出本发明的一个实施例中提出的主纹理预测方向区域划分示意图；
图5示出本发明的一个实施例中提出的多参考行预测结构示意图；
图6示出本发明的一个实施例中提出的多参考行预测分类示意图；
图7示出本发明的一个实施例中提出的帧内粗略模式选择中预测模式以SATD代价排序示意图；
图8示出本发明的一个实施例中提出的阈值Thr_SATD与算法精度关系曲线图(视频序列Kimono，1920×1080)；
图9示出本发明的一个实施例中提出的拉格朗日乘子与阈值大小关系曲线图(视频序列Kimono，1920×1080)；
图10示出本发明的一个实施例中提出的阈值Thr_RD与算法精度关系曲线图(视频序列Kimono，1920×1080)。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
如图1所示，在本发明的一个实施例中提出了一种结合纹理空间相关性的帧内预测模式选择方法，所述选择方法采用结合纹理空间相关性的帧内角度模式进行精确预测，包括：S1、统计分析在帧内预测模式选择过程中各预测模式在不同大小预测单元下采用不同量化参数时的利用率，基于统计结果选取主纹理预测方向；S2、根据S1分析图像纹理方向的描述方式，并通过计算图像像素值偏差PVD，获取帧内纹理预测方向，其中，当判断预测单元平滑时，使用DC模式与Planar模式作为率失真优化阶段的输入，获得最优预测模式；反之，构建基于多参考行技术的纹理预测候选集，依次利用基于SATD代价构建的第一自适应阈值模型和基于RD代价构建的第二自适应阈值模型提前终止率失真优化RDO，获得最优预测模式。
在本实施例中，当预测单元不平滑时，所述方法总流程具体包括：统计分析帧内预测模式选择过程中各预测模式在不同大小预测单元下采用不同量化参数时的利用率，基于统计结果，选取主纹理预测方向，包括：水平方向(模式10)、垂直方向(模式26)、45°方向(模式2和34)以及135°方向(模式18)；分析图像纹理方向的描述方式，并通过计算图像像素值偏差PVD，获取帧内纹理预测方向；结合图像纹理特性与预测单元属性，利用自适应阈值模型构建了分层次的纹理预测候选集；将多参考行技术与帧内纹理方向预测相结合，使多参考行技术更有针对性的作用于纹理预测候选集，降低冗余帧内预测模式带来的计算复杂度；依据像素相似度对多个参考行进行分类，根据类别的不同设计不同的遍历方式，提升多参考行预测的效率；通过分析帧内相邻预测模式代价之间的关系，利用量化参数QP构建了自适应阈值模型；利用基于SATD代价的自适应阈值模型，对RDO流程进行提前终止；通过分析当前预测模式与当前最优模式的RD代价关系，利用量化参数QP构建了自适应阈值模型；利用基于RD代价的自适应阈值模型，对RDO流程进行提前终止。从而最终获取到优选的预测模式。
在本实施例中，本发明统计了帧内预测模式选择过程中各预测模式在不同大小预测单元下采用不同量化参数时的利用率。发现DC模式与Planar模式是使用率最高的，而在角度预测模式中，水平方向(模式10)、垂直方向(模式26)、45°方向(模式2和34)以及135°方向(模式18)使用率最高的，所以本发明利用上述四个角度预测方向作为主纹理预测方向。
在一个更为具体实施例中，假设以4×4的预测单元为例，具体讲述纹理预测方向的计算方式。图2为四个主纹理预测方向在一个4×4的预测单元中的示意图。其中，在图2(a)中，垂直主纹理预测方向上有四列像素值，并用箭头标记了预测方向。本发明通过计算每一列的像素值偏差，然后求取四列的均值，以此来描绘当前预测单元像素值在垂直方向的变化趋势。而对于水平主纹理预测方向的计算方式，如图2(b)，则与垂直方向类似，两种预测方式的具体计算方法如下：
Figure BDA0002016653790000061
Figure BDA0002016653790000062
Figure BDA0002016653790000063
Figure BDA0002016653790000064
如图2(c)与图2(d)所示，描述了45°方向以及135°方向的纹理预测方式。其计算方法与垂直与水平纹理预测方式类似，只是其行与列的个数与描述方式不同。对于其它大小的预测单元，上述计算主纹理预测方向的计算方法仍然适用，但是，为了降低计算复杂度，在计算其它大小预测单元的主纹理预测方向时，本发明采用间隔采样的计算方式，具体采样方法如图3所示。
本发明依据主纹理预测方向将帧内预测亮度的33个角度预测方向划分为4个区域。如图4所示，模式10、模式26、模式2/34和模式18的方向为主纹理预测方向，主纹理预测方向与其临近的8个(左右各4个)角度预测模式构成4个纹理预测区域，如下所示。
Figure BDA0002016653790000071
虽然上述四个纹理预测区域完全覆盖了帧内预测的所有帧内预测模式，但是利用固定大小的纹理预测候选集作为率失真优化阶段的输入并不能获取较为理想的预测精度。在大多数情况下，如果预测单元的尺寸越大，预测的准确率就越高，而预测单元的尺寸越小，其准确率越低，也就是说，可以利用该统计特性调整纹理预测候选集的大小。在预测单元尺寸较大时，可以适当减少候选集中预测模式的个数，提高预测效率，在预测单元尺寸较小时，可以适当增加纹理预测候选集中预测模式的个数，防止遗漏帧内最优预测模式，保证预测精度。图像的纹理复杂度对帧内预测的预测精度也有很大的影响，对于纹理较为清晰的预测单元，纹理方向预测可以更为精确的预测帧内预测的最优预测模式，在这种情况下，可以适当减少纹理预测候选集中预测模式的个数，进一步去除纹理预测候选集中冗余的预测模式，而对于纹理较为复杂的预测单元，需要适度增加纹理预测候选集中预测模式的个数，降低编码性能损失。为了更好的描述图像的纹理复杂度，并尽可能降低额外引入的计算复杂度，本发明构建的纹理复杂度模型如下式所示。
TC＝PVDVER+PVDHOR
其中TC为纹理复杂度，PVDVER与PVDHOR为像素值在垂直方向与水平方向的偏差。如果TC小于某个特定的阈值ThrTC，如果TC小于阈值ThrTC，可以认为当前的预测单元的纹理复杂度相对较小，反之，当前预测单元的纹理较为复杂。而对于阈值ThrTC模型的构建，本文基于大量实验，利用量化步长自适应的调整阈值的大小，如下式所示。
Figure BDA0002016653790000072
其中QP为量化步长。
下面将具体介绍纹理预测候选集的获取方式。首先，针对4个纹理预测方向利用自适应阈值模型分别构建了分层次的纹理预测候选集，如表1所示。在本实施例中，所述图像纹理的特性包括：纹理复杂度；预测单元的属性包括：分析编码深度、量化参数及预测精度等。因此，利用预测单元大小与纹理复杂度的特性判定纹理预测候选集所属类别时，如果当前预测单元深度为0，且满足TC小于阈值ThrTC，C1将被设定为纹理预测候选集；如果当前预测单元深度为0，或满足TC小于阈值ThrTC，C2将被设定为纹理预测候选集；如果当前预测单元深度为3或4，且预测单元的纹理复杂度较高，C3将被设定为纹理预测候选集；剩余情况则将C4设定为纹理预测候选集。
表1自适应纹理预测候选集
Figure BDA0002016653790000081
需要注意的是，如果四个主纹理预测方向PVD值小于ThrTC/2.2，即满足公下式，当前预测单元将被认为是较为平滑的，那么仅使用DC模式与Planar模式作为率失真优化阶段的输入。
max{PVDVER,PVDHOR,PVD45,PVD135}<ThrTC/2.2
其中，PVD45和PVD135分别为像素值在45°方向和135°方向的偏差。
下面本发明利用纹理的空间相关性进一步对帧内预测过程进行优化，对于标准HEVC参考软件，其帧内预测过程仅利用最近的参考行对当前预测单元进行像素值预测，而本发明通过大量试验分析将其参考行扩展至4行，如图5所示，参考行被标记为LS(S∈{0,1,2,3})，其中L0为与当前预测单元最为临近的参考行，L3则为与当前预测单元距离最远的参考行。在获取纹理预测候选集后，对候选集中每一个预测模式进行多参考行预测，即根据下式选出每一种模式的最优参考行。
Figure BDA0002016653790000091
其中，Loptimal为当前预测模式的最优参考行，
Figure BDA0002016653790000092
为使用LS为参考行预测出的重建块与原始块的失真，
Figure BDA0002016653790000093
表示编码当前预测单元所需全部的比特数量，λ为拉格朗日乘子。
为了提高多参考行预测效率，本发明依据像素相似度将多个参考行归纳成了四类。基于大量实验，本文将像素相似定义为：像素亮度值相差5以内。下面，本节以垂直预测方向为例，说明多参考行预测的分类策略，如图6所示。第一类是四个参考行都相似，对于这种情况，则排除掉较远的三个参考行，仅利用最近的参考行L0做预测；第二类是参考行L1、L2、L3相似，参考行L0与上述三个参考行不同，这种情况仅利用临近的参考行L0与L1做预测；第三类是四个参考行中只有两个是相似的，对于这种情况，本文利用其中三个不同参考行做预测，具体方式为临近原则；第四类是四个参考行都不相同，这种情况本文会遍历四个参考行对纹理预测候选集中每种模式做预测。其他角度预测方向的分类策略与垂直预测方向相似，只是预测像素的计算方式不同。
对于角度预测模式的像素计算主要分为两种模式：垂直类模式(模式18-模式34)与水平类模式(模式2-模式17)。像素值计算时，每一种角度预测模式相当于在垂直或水平方向进行偏移操作，记为d，具体偏移值如表2所示。
表2角度预测模式对应偏移值
水平类模式 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
偏移值d 32 26 21 17 13 9 5 2 0 -2 -5 -9 -13 -17 -21 -26
垂直类模式 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
偏移值d -32 -26 -21 -17 -13 -9 -5 -2 0 2 5 9 13 17 21 26 32
下面以垂直预测模式(模式10)为例，给出预测像素的计算流程，其它角度预测模式与垂直预测模式类似。
(1)对于给定的角度预测模式，利用投影像素的方法将其需要用到的参考像素映射为一维数组的形式，记为R。
(2)计算当前像素对应参考像素在数组R中的位置c：
c＝((y+S+1)·d)>>5
(3)计算当前像素对应参考像素的加权因子w：
w＝((y+S+1)·d)&31
其中&为按位取与运算。
(4)当前预测单元的1/32像素精度的插值计算为：
Px,y＝((32-w)·Ri,-s-1+w·Ri+1,-s-1+16)>>5
其中Px,y为被预测的像素值，x，y为横纵坐标的索引值。
本发明所用的四个参考行的编码方式，00、01、10以及11分别对应L0到L3。对于帧内的色度预测，主要采用继承亮度的方式。
在一个更为具体的实施例中，基于预测模式代价分类的RDO提前终止，即：通过分析帧内相邻预测模式代价之间的关系，利用量化参数QP构建了第一自适应阈值模型，利用基于SATD代价的第一自适应阈值模型，对RDO流程进行提前终止；通过分析当前预测模式与当前最优模式的RD代价关系，利用量化参数QP构建了第二自适应阈值模型，利用基于RD代价的第二自适应阈值模型，对RDO流程进行提前终止。
首先，本发明将该候选集中的预测模式定义为两类，第一类拥有相对较低SATD代价，称作强竞争性预测模式，第二类拥有相对较高SATD代价，称作弱竞争性预测模式。其中，通过率失真优化过程，帧内最优预测模式会有较高的概率在强竞争性预测模式中产生，相反，帧内最优预测模式在弱竞争性预测模式中产生的概率相对较低。基于上述定义，如果可以在率失真优化阶段开始前，较为精确的从候选集中获取强竞争性预测模式，然后仅对强竞争性预测模式进行率失真优化，排除了弱竞争性预测模式，这样可以进一步提升预测效率。
本发明基于大量实验分析发现，如果候选集中相邻预测模式的SATD代价存在较大差异，可以利用代价间的差异性区分上述两类预测模式，在图7中，与其他相邻预测模式相比，modei-1与modei的SATD代价间的差异较大，而SATD代价在一定程度上可以反映出率失真代价的变化趋势，那么可以利用这种差异性，排除SATD代价较高的预测模式。下面给出该差异性的数学描述：
SATD_Costi>Thr_SATD×SATD_Costi-1
其中，SATD_Costi与SATD_Costi-1为相邻预测模式的SATD代价，Thr_SATD是用来描述代价间差异的阈值。
下面将具体介绍阈值模型的构建。图8为利用SATD为代价分类策略的精度与用来描述代价间差异阈值之间的关系曲线图。可以看出，随着阈值的增加，该分类策略的精度也随之增加，当阈值增大到一定程度时，该策略可以得到较高的预测精度，这样可以有效的利用该策略以较小的性能损失，节省大量的冗余预测模式的计算复杂度。此外，分类策略的精度也受量化步长QP的影响，从图中可以知，随着QP的增加，该分类策略的精度也随之提升，为了更为精确的构建阈值模型，需考虑QP对阈值模型的影响。在图9中，上方曲线为分类策略的精度达到90％左右时，拉格朗日乘子λ与阈值Thr_SATD的关系曲线，此拉格朗日乘子与QP成正比例关系，而下方曲线为双曲线1/λ，如果将下方曲线向上平移特定距离，记为α，则两条曲线将会较好拟合在一起，便可利用双曲线1/λ加上合适的正向位移描述分类策略的阈值模型，其数学描述如下：
Thr_SATD＝α+1/λ
其中，Thr_SATD是用来描述代价间差异的阈值，α为平移距离，基于大量实验，这里本发明将其设置为1.1，λ为拉格朗日乘子。表3为基于SATD代价的分类策略在HM 16.0测试代码中不同QP下的实际精度，可以看出该分类策略以平均接近95％的预测精度，有效的提升了率失真阶段的预测效率。
表3基于SATD代价分类策略精度表(％)
Figure BDA0002016653790000111
下面介绍本发明提出的基于RD代价的分类策略。帧内预测率失真优化的主要作用是在粗略模式选择阶段结束后，通过计算候选集中预测模式的率失真代价，决策出帧内最优预测模式。其主要方式为依次遍历，也就是说，首先计算候选集中第一个预测模式的率失真代价，然后依次比较，每次比较中选出一个率失真代价较低的预测模式，记为当前阶段的最优预测模式，直至遍历完整个候选集，得出帧内最优预测模式。在遍历过程中，率失真优化与粗略模式选择都是通过代价比较来选择最优的预测模式，本发明通过实验发现临近预测模式的率失真代价与SATD代价有着类似的性质。
如图10所示，为利用率失真为代价的提前终止策略的精度与用来描述代价间差异阈值之间的关系曲线图，可以看出，阈值Thr_RD与预测精度之间的关系与图8中的曲线关系类似，都是呈现正比例非线性关系，所以可以利用曲线关系的相似性，对率失真优化过程进行提前终止，排除候选集中冗余的预测模式，从而提升率失真优化阶段的预测效率，下面给出该策略的数学描述：
RD_Costcurrent>Thr_RD×RD_Costbest
其中，RD_Costcurrent为当前预测模式的率失真代价，RD_Costbest为当前最优预测模式的率失真代价，Thr_RD是用来描述代价间差异的阈值。
对于阈值Thr_RD，在保证精度的条件下，拉格朗日乘子与阈值Thr_RD的关系曲线同样可以与双曲线1/λ较好的拟合，不同的是，对于正向位移的取值会有所不同，其阈值模型定义为：
Thr_RD＝β+1/λ
其中，Thr_RD是用来描述代价间差异的阈值，β为平移距离，基于大量实验，这里本发明将其设置为0.8，λ为拉格朗日乘子。表4为基于RD代价的提前终止策略在HM 16.0测试代码中不同QP下的实际精度，可以看出该分类策略以平均超过95％的预测精度，有效的提升了率失真阶段的预测效率。
表4基于率失真代价的提前终止策略精度表(％)
Figure BDA0002016653790000121
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (7)

1.一种结合纹理空间相关性的帧内预测模式选择方法，其特征在于，所述方法包括：
S1、统计分析在帧内预测模式选择过程中各预测模式在不同大小预测单元下采用不同量化参数时的利用率，基于统计结果在纹理预测方向中选取四个主纹理预测方向；
S2、对各所述主纹理预测方向进行分析并计算预测单元的图像像素值偏差，
选取的主纹理预测方向为四个，包括：水平方向、垂直方向、45°方向和135°方向，
利用所述图像像素值偏差判断预测单元是否平滑，
其中，当判断预测单元为平滑，使用DC模式与Planar模式作为率失真优化阶段的输入，获得最优预测模式；否，则构建基于多参考行技术的纹理预测候选集作为率失真优化阶段的输入，
所述构建基于多参考行技术的纹理预测候选集，包括：
结合图像纹理的特性与预测单元的属性，利用自适应阈值模型构建分层次的纹理预测候选集；
其中，TC为纹理复杂度，ThrTC为设定的阈值；
利用预测单元大小与纹理复杂度的特性判定纹理预测候选集所属类别时，如果当前预测单元深度为0，且满足TC小于阈值ThrTC，纹理预测方向类别C1将被设定为纹理预测候选集；如果当前预测单元深度为0，或满足TC小于阈值ThrTC，纹理预测方向类别C2将被设定为纹理预测候选集；如果当前预测单元深度为3或4，且TC大于或等于阈值ThrTC，纹理预测方向类别C3将被设定为纹理预测候选集；剩余情况则将纹理预测方向类别C4设定为纹理预测候选集，
将多参考行技术与预测单元的纹理预测方向相结合，使多参考行技术作用于所述纹理预测候选集；
依据像素相似度将多个参考行分为多种使用情况；
针对不同类别的参考行为所述纹理预测候选集设计相应的遍历方式，然后依次利用基于SATD代价构建的第一自适应阈值模型和基于RD代价构建的第二自适应阈值模型提前终止率失真优化，获得最优预测模式。
2.根据权利要求1所述的结合纹理空间相关性的帧内预测模式选择方法，其特征在于，所述图像纹理的特性包括：纹理复杂度；
预测单元的属性包括：分析编码深度、量化参数及预测精度。
3.根据权利要求1所述的结合纹理空间相关性的帧内预测模式选择方法，其特征在于，所述纹理复杂度，采用复杂度模型：
TC＝PVDVER+PVDHOR进行计算，
其中，TC为纹理复杂度，PVDVER与PVDHOR为像素值在垂直方向与水平方向的偏差。
4.根据权利要求1所述的结合纹理空间相关性的帧内预测模式选择方法，其特征在于，利用基于SATD代价构建的第一自适应阈值模型提前终止率失真优化，包括
通过分析帧内相邻预测模式代价之间的关系，利用量化参数QP构建了第一自适应阈值模型；
利用基于SATD代价的自适应阈值模型，对率失真优化流程进行提前终止。
5.根据权利要求1所述的结合纹理空间相关性的帧内预测模式选择方法，其特征在于，利用基于RD代价构建的第二自适应阈值模型提前终止率失真优化包括
通过分析当前预测模式与当前最优模式的RD代价关系，利用量化参数QP构建了自适应阈值模型；
利用基于RD代价的第二自适应阈值模型，对率失真优化流程进行提前终止。
6.根据权利要求1所述的结合纹理空间相关性的帧内预测模式选择方法，其特征在于，所述判断预测单元平滑的条件为：
max{PVDVER,PVDHOR,PVD45,PVD135}<ThrTC/2.2
其中，PVDVER与PVDHOR分别为像素值在垂直方向与水平方向的偏差，PVD45和PVD135分别为像素值在45°方向和135°方向的偏差，ThrTC为设定的阈值。
7.根据权利要求6所述的结合纹理空间相关性的帧内预测模式选择方法，其特征在于，阈值ThrTC采用阈值模型：
Figure FDA0002878286830000031
进行计算，
其中，QP为量化步长。
CN201910265460.XA 2019-04-03 2019-04-03 一种结合纹理空间相关性的帧内预测模式选择方法 Active CN109982079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910265460.XA CN109982079B (zh) 2019-04-03 2019-04-03 一种结合纹理空间相关性的帧内预测模式选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910265460.XA CN109982079B (zh) 2019-04-03 2019-04-03 一种结合纹理空间相关性的帧内预测模式选择方法

Publications (2)

Publication Number Publication Date
CN109982079A CN109982079A (zh) 2019-07-05
CN109982079B true CN109982079B (zh) 2021-04-02

Family

ID=67082683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910265460.XA Active CN109982079B (zh) 2019-04-03 2019-04-03 一种结合纹理空间相关性的帧内预测模式选择方法

Country Status (1)

Country Link
CN (1) CN109982079B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113365059B (zh) * 2021-08-09 2021-11-12 江苏势通生物科技有限公司 图像冗余去除方法、图像冗余去除装置、存储介质和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517069B (zh) * 2013-09-25 2016-10-26 北京航空航天大学 一种基于纹理分析的hevc帧内预测快速模式选择方法
EP3202150B1 (en) * 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
CN104796694B (zh) * 2015-04-30 2017-08-15 上海交通大学 基于视频纹理信息的优化帧内视频编码方法

Also Published As

Publication number Publication date
CN109982079A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN111147867B (zh) 一种多功能视频编码cu划分快速决策方法及存储介质
CN104539962B (zh) 一种融合视觉感知特征的可分层视频编码方法
Zeng et al. Fast mode decision for H. 264/AVC based on macroblock motion activity
CN104378643B (zh) 一种3d视频深度图像帧内预测模式选择方法及系统
CN105959706B (zh) 图像编码装置和方法、以及图像译码装置和方法
CN111355956B (zh) 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法
CN101378504B (zh) 用于h.264编码的块匹配运动估计方法
CN107087200B (zh) 针对高效率视频编码标准的跳过编码模式提前判决方法
CN103517069A (zh) 一种基于纹理分析的hevc帧内预测快速模式选择方法
Cuevas Block-matching algorithm based on harmony search optimization for motion estimation
CN105141954A (zh) 一种hevc帧间编码快速模式选择方法
CN105933711B (zh) 基于分割的邻域最优概率视频隐写分析方法及系统
CN107623850A (zh) 一种基于时空相关性的快速屏幕内容编码方法
CN114222145A (zh) 一种低复杂度的快速vvc帧内编码方法
CN103957420B (zh) 一种h.264运动估计编码的全面运动估计改进算法
CN104853191A (zh) 一种hevc的快速编码方法
CN104333755B (zh) HEVC中B帧的基于SKIP/Merge RD Cost的CU提前终止方法
CN1194544C (zh) 基于时空域相关性运动矢量预测的视频编码方法
CN109982079B (zh) 一种结合纹理空间相关性的帧内预测模式选择方法
CN114040211A (zh) 一种基于avs3的帧内预测快速决策方法
Yang et al. Fast intra encoding decisions for high efficiency video coding standard
CN101931739A (zh) 绝对误差总和值估算系统及方法
CN113079373A (zh) 一种基于hevc-scc的视频编码方法
CN116489333A (zh) 一种面向深度图编码单元划分的边缘分类模型构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant