一种基于显著性加权的率失真优化方法及装置
技术领域
本发明涉及视频技术领域,更具体的说是涉及一种基于显著性加权的率失真优化方法及装置。
背景技术
目前,随着视频压缩技术的不断发展、高品质、高实时性视频已成为发展趋势,这也促进了高清、超高清视频应用的迅速发展。目前,新一代视频编码标准HEVC(HighEfficiency Video Coding)在保留了传统视频编码的框架基础上,采纳近年来视频压缩技术研究的新成果,使其编码性能基本可以达到H.264/AVC标准的2倍。然而,这种压缩性能的提高也带来了巨大的编码复杂度,仍需要进行进一步的研究和改进。同时,随着视频分辨率和质量的提高,现代社会对视频高清度的要求也越来越高,由最初的QCIF发展至4K(分辨率为3840×2160),乃至不久后发展为8K(分辨率为7680×4320)的超高清视频,这样对视频的压缩、存储和传输都提出了更高的要求。在高清视频应用越来越普及的情况下,因为带宽受限而出现的问题给视频压缩技术带来了巨大的挑战,如何保证高质量的高清视频传输、提升人眼的主观视觉感受质量己经成为刻不容缓需要解决的问题,尤其是如何能够提高压缩效率,使人眼所关注部分的画质更加清晰、真实等至关重要。
视频压缩的编码效率是通过减少统计冗余和感知冗余来实现的。在标准的视频压缩方法中,去除统计冗余作为核心技术,包括帧内预测,帧间预测,熵编码等等,去除感知冗余的技术主要包括量化矩阵中衰减高频分量,色度亚采样,去块滤波等。然而,对于人类视觉系统(HVS)的研究发现,人类通常只能清楚地看到视角2-5°内的小区域,并且当我们在观察图像时,由于对一幅图像的各个区域的理解不同,人们会把视线集中在一些比较特殊的地方(ROI,即人眼视觉的感兴趣区域),因此眼睛的注意力并不是平均分布的,而是对ROI区域的图像失真较为敏锐,如果将视频编码方法和人类视觉系统(HumanVisual System,HVS)有机结合,将可以去除更多的主观视觉感知冗余,同时提升人眼的主观视觉感知质量,并进一步提升视频压缩效果。
因此,降低视频的感知冗余从而得到较好的压缩效果是目前视频发展的新方向,需要以注意力机制为基础的视频显著性算法和感知优先的视频压缩算法这两个方面对HEVC进行改进和强化。
因此,在感知优先的视频压缩算法方面,还有待进一步提升。
发明内容
有鉴于此,本发明提供了一种基于显著性加权的率失真优化方法及装置,该方法可以将当前块的显著性特征纳入传统的率失真计算方法,从而达到感知优先的目的;提高显著性区域的压缩质量,同时降低码率。
为了实现上述目的,本发明采用如下技术方案:
第一方面,本发明提供一种基于显著性加权的率失真优化方法,包括:
获取视频中各CU块的显著值,计算感知优先失真度;
将所述感知优先失真度,加入传统的率失真计算方法,获取最终的优化目标。
进一步地,计算感知优先失真度的公式如下:
Ds=D×(1+SF×SD) (1)
上述(1)式中,D为HM标准的失真度计算方法计算所得的失真;SF表示需要配置文件指定的感知优化参数;SD表示当前编码块的显著性偏差;
所述SD计算公式如下:
上述(2)式中,SD取值范围为(-1,1);Scu表示当前块的显著性值;Savg表示当前帧所有CU块的平均显著性值。
进一步地,将所述感知优先失真度,加入传统的率失真计算方法,获取最终的优化目标,包括:
类比传统的率失真优化算法,拉格朗日算法改进后的目标可表示为:
min{Ds+λR} (3)
上述(3)式中,Ds为公式(1),表示当前块显著性的感知失真度;λ表示拉格朗日乘子;R表示编码比特率。
第二方面,本发明还提供一种基于显著性加权的率失真优化装置,包括:
获取计算模块,用于获取视频中各CU块的显著值,计算感知优先失真度;
优化模块,用于将所述感知优先失真度,加入传统的率失真计算方法,获取最终的优化目标。
进一步地,所述获取计算模块中,计算感知优先失真度的公式如下:
Ds=D×(1+SF×SD) (1)
上述(1)式中,D为HM标准的失真度计算方法计算所得的失真;SF表示需要配置文件指定的感知优化参数;SD表示当前编码块的显著性偏差;
所述SD计算公式如下:
上述(2)式中,SD取值范围为(-1,1);Scu表示当前块的显著性值;Savg表示当前帧所有CU块的平均显著性值。
进一步地,所述优化模块,具体用于类比传统的率失真优化算法,拉格朗日算法改进后的目标可表示为:
min{Ds+λR} (3)
上述(3)式中,Ds为公式(1),表示当前块显著性的感知失真度;λ表示拉格朗日乘子;R表示编码比特率。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种基于显著性加权的率失真优化方法,将当前块的显著性特征纳入传统的率失真计算方法,从而达到感知优先的目的;可提高显著性区域的压缩质量,同时降低码率,编码效率较高,也降低了计算复杂度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的基于显著性加权的率失真优化方法的流程图。
图2附图为本发明提供的视频时空显著性检测及针对高清视频的感知压缩过程的整体实现框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在计算了视频视觉显著性后,给予这些显著区域(统计意义上人们更倾向于关注的区域)更好的压缩质量,并且在不出现过分失真的前提下可以适当降低非显著区域的压缩质量以便降低视频码率。因此,从率失真优化的核心思想出发,本发明提出了显著性加权的率失真优化方法。
本发明实施例公开了一种基于显著性加权的率失真优化方法,参照图1所示,包括S101~S102;
S101、获取视频中各CU块的显著值,计算感知优先失真度;
S102、将所述感知优先失真度,加入传统的率失真计算方法,获取最终的优化目标。
其中,步骤S101中,获取视频中各CU块的显著值,整体实现框图如图2所示,是利用卷积神经网络对输入视频帧进行空域显著性检测,同时根据HEVC压缩过程中帧间预测过程得到的运动矢量,生成时域部分的运动显著性结果,采用熵不确定度的方法对时空域显著性进行融合,从而得到针对视频的时空域显著性结果。在视频编码部分,本发明对HEVC标准算法进行优化,结合所得到的显著性结果实现了一种基于显著性加权的率失真优化算法,能够有效提高显著性区域的压缩质量,同时降低码率。
另外,本发明对获取视频中各CU块的显著值的其他方式不做限定。
本实施例中,本发明对压缩部分的改进目标是结合所提出的时空显著性优化压缩后视频的感知质量,即在获得了视频视觉显著性后,给予这些显著区域(统计意义上人们更倾向于关注的区域)更好的压缩质量,并且在不出现过分失真的前提下可以适当降低非显著区域的压缩质量以便降低视频码率。从率失真优化的核心思想出发,本发明提出了基于显著性加权的率失真优化算法,可以有效提高视频压缩的感知质量。
下面分别对上述步骤做详细说明:
率失真定理即在给定比特率的情况下寻找编码失真最小的编码器,从而提高编码效率。在视频编码中率失真优化方法是为了解决码率和失真之间的权衡问题而提出的一种方法,使得编码结果可以满足场景需要,该方法可以定义为如下所示的优化问题,即在保证编码比特率R不超过最大比率Rmax的条件下,使得失真D最小:
min{D}s.t.R≤Rmax
假设视频编码中待优化的编码单元(编码块)之间是相互独立的,第k个单元的编码参数(如量化步长、编码模式、运动矢量等)为Bk,对应的编码比特为R(Bk)、编码失真为D(Bk),则上述RDO问题具体为在RmaxRmax的限制下寻找一组编码参数,利用拉格朗日乘子法使得总失真为最小:
由于假设各编码单元互相独立,因此可以对每个编码单元求极小值:
对视频进行率失真优化编码的过程即寻找该式最优解的过程。
以上算法中失真计算方法都是完全基于信号处理的方法,由此做出的率失真优化也是不符合HVS的,考虑到人眼对于画面中不同区域的感知敏感程度不同,对于引起人眼注意的区域,人们对失真的敏感程度会显著提升,同样,对于人眼并不十分注意的背景区域或非显著性区域,只有当出现严重失真时才会引起人们的注意。
本文结合人眼的感知特性,提出一种结合感知模型和时空显著性的率失真计算方法,将视频中各CU块的显著性特征纳入考虑,其中感知优先失真度的计算如下所示:
Ds=D×(1+SF×SD) (1)
其中D为HM标准的失真度计算方法计算得到的失真,SF代表需要配置文件指定的感知优化参数,使用该值来平衡显著区域的失真度和全局的失真度,比如实施例中将该值设为0.8,SD代表当前编码块的显著性偏差,其计算公式如下:
(2)式中,SD取值范围为(-1,1);Scu表示当前块的显著性值;Savg表示当前帧所有CU块的平均显著性值。
对于一个n×n的CU,可以用下式计算其显著性:
在(2.1)公式中:S(i,j)表示从该CU左上角起(该CU大小为n*n)各像素位置的显著性值,Sn×n(k)表示第k个CU块的显著性。
计算所有CU的平均显著性:
在(2.2)公式中:S(i,j)是对于当前视频帧中所有像素的显著性值,该式代表对视频帧中所有像素的显著性值求平均,即当前视频帧的左上角起所有像素的显著值累加再除以像素个数。
采用这种改进方法可以在考虑显著性的基础上综合考量HEVC中的种种编码模式,如CU划分、搜索模式等,从而从全局出发进行最优的参数选择。
类比传统的率失真优化算法,拉格朗日算法改进后的目标可表示为:
min{Ds+λR} (3)
Ds作为结合当前块显著性的感知失真度,能够确保更好的感知编码质量,这种改进能够确保较低的感知失真和低比特率,这对于视频流的低带宽传输更为有利。
实验结果:
采用数据库中具有显著区域或物体的10段不同分辨率视频进行实验(各视频信息如表1所示)。
表1实验所用视频序列信息
对于高清视频的压缩过程来说,压缩效率也是一个不可忽视的评价因素,为衡量本发明所提算法的压缩效率,实验过程中对各种方法下的压缩时间进行记录,在an IntelXeon E5-1620v3CPU with 8GB RAM and aNVIDIA Titan X GPU的实验条件下进行实验,将采用RDOQ的HM标准方法所用时间设置为基准,可得数据如表2所示。
表2视频压缩效率比较
根据实验结果可知,虽然基于HM标准的AQP方法所用时间最短,但是其压缩效果也最差,同时虽然MQP方法效果较AQP方法好,但是因为MQP算法相当于在给定的QP范围内进行穷举以得到率失真优化下效果最好的压缩结果所用的QP,所以其压缩时间最长,为标准HM的6.46倍。
同时定量实验结果表明,本发明所提方法在压缩效率和压缩效果上均优于HM标准算法及其所提出的各项优化方法,其中本发明所提供的方法比AQP方法的BD-EWPSNR平均高出0.71,在压缩效率上是MQP方法的2.59倍。
综合以上分析,本发明所提供的方法能够根据人眼感知特性针对性的优化视频压缩结果,同时能够有效降低计算复杂度和压缩时间。
基于同一发明构思,本发明实施例还提供了一种基于显著性加权的率失真优化装置,由于该装置所解决问题的原理与前述基于显著性加权的率失真优化方法相似,因此该装置的实施可以参见前述方法的实施,重复之处不再赘述。
第二方面,本发明还提供一种基于显著性加权的率失真优化装置,包括:
获取计算模块,用于获取视频中各CU块的显著值,计算感知优先失真度;
优化模块,用于将所述感知优先失真度,加入传统的率失真计算方法,获取最终的优化目标。
进一步地,所述获取计算模块中,计算感知优先失真度的公式如下:
Ds=D×(1+SF×SD) (1)
上述(1)式中,D为HM标准的失真度计算方法计算所得的失真;SF表示需要配置文件指定的感知优化参数;SD表示当前编码块的显著性偏差;
所述SD计算公式如下:
上述(2)式中,SD取值范围为(-1,1);Scu表示当前块的显著性值;Savg表示当前帧所有CU块的平均显著性值。
进一步地,所述优化模块,具体用于类比传统的率失真优化算法,拉格朗日算法改进后的目标可表示为:
min{Ds+λR} (3)
上述(3)式中,Ds为公式(1),表示当前块显著性的感知失真度;λ表示拉格朗日乘子;R表示编码比特率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。