CN110505472B - 一种h.265超高清视频质量评价方法 - Google Patents
一种h.265超高清视频质量评价方法 Download PDFInfo
- Publication number
- CN110505472B CN110505472B CN201910637501.3A CN201910637501A CN110505472B CN 110505472 B CN110505472 B CN 110505472B CN 201910637501 A CN201910637501 A CN 201910637501A CN 110505472 B CN110505472 B CN 110505472B
- Authority
- CN
- China
- Prior art keywords
- image
- psnr
- distribution
- coefficient
- chroma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提出了一种H.265超高清视频质量评价方法。对原视频进行YUV采样,得到原始视频序列;对原视频序列和测试视频序列进行视频质量评价,计算视频质量参数;统一的视频质量评价参数根据视频质量参数得出评价结果。本发明的优势在于可对4K以上超高清视频的视频质量进行评价,打破了当前视频质量评价方法对视频分辨率的限制。
Description
技术领域
本发明属于视频处理领域,尤其涉及一种H.265超高清视频质量评价方法。
背景技术
视频质量评价(Video quality assessment,VQA)的研究也在近20多年受到广泛的重视。视频质量评价可以分为主观评价方法和客观评价方法,主观评价由观察者对视频质量进行主观评分,一般采用平均主观得分(Mean opinion score,MOS)或平均主观得分差异(Differential mean opinion score,DMOS),即人眼对无失真图像和有失真图像评价得分的差异表示,但主观评价工作量大、耗时长、费用较高,使用起来很不方便;客观评价方法是由计算机根据一定算法计算得到图像的质量指标,具有一致性好,工作量小、实时性高和费用较低的特点,是视频质量评价实用化发展的方向。根据评价时是否需要参考图像又可以分为全参考(Full reference,FR)、半参考(部分参考,Reduced reference,RR)和无参考(No reference,NR)等三类评价方法。全参考方法在评价失真图像时,需要提供一个无失真的原始视频图像,经过对二者的比对,得到一个对失真图像的评价结果,如信噪比(Signalnoise ratio,SNR)、峰值信噪比(Peak signal noise ratio,PSNR)、均方误差(Meansquare error,MSE)、平均结构相似度(Mean structure similarity,MSSIM)、视觉信息保真度(Visual information fidelity,VIF)。
基于H.265/HEVC的视频质量评估系统,使用不同的比特率以及不同的编码结构对待测视频进行基于H.265/HEVC的视频编、解码,测试反映编、解码前后视频质量的客观参数,最后将不同的比特率以及不同的编码结构下反映视频质量的客观参数绘制于一张图上,据此对视频质量进行客观评估分析。基于H.265/HEVC的视频编、解码包括通过编译生成基于H.265/HEVC的编、解码器,设置配置文件,最后使用基于H.265/HEVC的编、解码器和相应配置文件,对待测视频进行视频编码,再进行解码,然后对原始视频和解码出来的待测视频利用视频质量评价软件进行评测。
一直以来,高清视频就意味着高流量,对用户带宽有极高要求。目前网络带宽的速度正在逐步提高,10M、20M甚至100M的光纤级速度越来越快,但是仍有很大一部分用户,由于各种原因无法享受到高速带宽带来的飞速体验。在这个时候,H.265的优势就凸显出来。H.265使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系,达到最优化设置。它在同等的内容质量上会显著减少带宽消耗,这也意味着我们的移动设备(手机、平板电脑)将能够直接在线播放全高清(1080P)视频。而H.265标准也同时支持4K(3840×2160)和8K(7680×4320)超高清视频,可以说,H.265标准让网络视频跟上了显示屏“高分辨率化”的脚步。由于H.265拥有更高的压缩率,可以使下载1080P视频内容时的压缩效率提高50%左右,这就意味着视频内容的质量将上升许多,而且可以节省下大量的网络带宽。因此目前已有众多视频厂商支持H.265高清视频播放,此举无疑将加速网络视频行业全面高清化乃至超高清化的发展。目前电视、盒子、平板电脑和智能手机领域的厂商,都在紧锣密鼓地推出更多支持H.265的终端设备,从视频网站、终端产品到芯片厂商,整个产业链都将全面转向H.265,H.265时代正向我们走来。
因此,此发明将通过研究不同视频序列对图像质量的影响和不同比特率条件下视频压缩后图像质量的差异对PSNR、SSIM等参数的讨论来对H.265做出初步评价。
同时,由于目前的视频评估参数种类繁多,专业性较强,虽然在研究中得到了较好的应用,但企业及个人评估时往往对结果代表的质量难以判断。因此,我们提出归一化的评估参数,通过这种统一的视频质量评价参数深化对H.265编解码方式的理解并为研究改善编码质量和码流等技术奠定基础,以期对H.265继续进行开发完善,给用户带来更好的视频体验。
发明内容
本发明解决的技术问题是,打破当前视频质量评价方法对视频分辨率的限制,并提出一种统一的视频质量评估参数,提供一种H.265超高清视频质量评价方法。
为实现上述目的,本发明所采用的技术方案为一种基于H.265的超高清视频质量评价方法,具体包括以下步骤:
步骤1:对原视频进行YUV采样,得到原始视频序列;
步骤2:对原视频序列和测试视频序列进行视频质量评价,计算视频质量参数;
步骤3:统一的视频质量评价参数;
步骤4:根据视频质量参数得出评价结果。
作为优选,步骤1中所述YUV采样具体方法为:
通过自适应的采样方法,通过对色度和饱和度的离散程度计算,自动匹配适宜的采样格式;
YUV主要的采样格式为:YCbCr 4:4:4、YCbCr 4:2:2、YCbCr 4:1:1、YCbCr 4:2:0,四种采样格式的不同在于丢弃了多少色度信息和饱和度信息。
对于色度(U),饱和度(V)计算局部标准差,对应每一个4×4的区域内:
在上式结果中,考虑该结果矩阵中数值高于阈值64的概率GCP(Gaily-ColouredProbability),若超过68%,视为变化非常大;若低于34%,视为几乎没有变化;若两个结果相差较大即色度与饱和度,一个超过68%而另一个低于34%,则视为在某一项上会有较多信息。
当色度和饱和度在大部分4×4的区域内变化非常大的时候应采用YCbCr 4:4:4的格式。
当色度和饱和度在大部分4×4的区域内变化比较大的时候应采用YCbCr 4:2:2的格式。
当色度和饱和度在大部分4×4的区域内几乎没有变化的时候应采用YCbCr 4:1:1的格式。
如果色度和饱和度在某一项上会有较多信息的时候应采用YCbCr 4:2:0的格式。
作为优选,步骤2中所述计算视频质量参数的具体实现如下:
步骤2.1,计算峰值信噪比;
两个M×N色度图像I(i,j)和I'(i,j),如果一个与另外一个的噪声近似,那么二者的的均方差定义为:
其中,M为色度图像的行数,N为色度图像的列数,
峰值信噪比为:
其中,n是每个采样值的比特数;
步骤2.2,计算结构相似性系数;
首先,对于两个M×N色度图像I(i,j)和I'(i,j),以平均色度来作为亮度测量的估计:
其中,N为色度图像的列数,μI为色度图像I(i,j)的平均色度,μI'为色度图像I'(i,j)的平均色度,输入的图像数据组是I,每个点的色度可以用Ii,j表示,Ii表示第i行色度;
然后,由测量系统知道要把平均色度值从信号中去除,对于离散信号,可使用标准差来做对比度估量值:
其中,N为色度图像的列数,σI为色度图像I(i,j)的标准差,σI'为色度图像I'(i,j)的标准差,输入的图像数据组是I,每个点的色度可以用Ii,j表示,Ii表示第i行色度;
亮度对比函数:
其中,C1为
对比度对比函数:
其中,C2为
结构对比函数:
其中,C3为,σII'为色度图像I(i,j)和色度图像I'(i,j)的协方差:
其中C1,C2,C3分别为常数,输入的图像数据组是I,每个点的色度可以用Ii,j表示,Ii表示第i行色度;
最后把三个函数组合起来,得到结构相似性指数函数为:
SSIM(I,I')=[L(I,I')][C(I,I')][S(I,I')]
步骤2.3,MS-SSIM多层级结构相似性
宽高以2M-1为因子进行缩小,当M=1时,表示原始图像大小;当M=2时,表示原始图像缩小一半,以此类推,结构相似性系数为:
步骤2.4,BRISQUE无参考图像空域质量评价;
使用亮度归一化这种方式对图像进行预处理后,图像的MSCN系数的分布将具有显著的统计规律.这种非线性处理方式模拟了人类视觉系统中特有的自适应增益控制前端中心环绕模型,从MSCN系数分布中提取的NSS特征可以有效地应用于图像质量评价;
MSCN系数的计算方法为:
其中,M为色度图像行的数量,N为色度图像列的数量,I(i,j)是大小M×N的色度图像,i∈1,2,…,M,j∈1,2,…,N;μ(i,j)为色度图像的均值,σ(i,j)为色度图像的方差;
C为常量,用于避免图像因局部区域方差为零造成的不稳定情况;ωk,l是二维高斯加权函数,K是高斯窗口的长,L是高斯窗口的宽;
使用零均值GGD模型为MSCN系数分布建模,将模型参数(α',σ2)作为图像的特征,计算方法为:
其中,
其中,α'和σ2分别用于控制广义高斯分布的形状和方差。当α'=1时,为拉普拉斯分布,图像更趋近于拉普拉斯分布;时,α'=2为高斯分布;α'→∞时,为均匀分布;
MSCN相邻系数之间具有一定的结构特性,基于此可以获得失真图像中的降质信息;图像在水平H在方向上MSCN相邻系数的乘积、图像在垂直V在方向上MSCN相邻系数的乘积、图像在主对角线Dm在方向上MSCN相邻系数的乘积和图像在次对角线Ds方向上MSCN相邻系数的乘积分别为:
H(i,j)=In(i,j)In(i,j+1),
V(i,j)=In(i,j)In(i+1,j),
Dm(i,j)=In(i,j)In(i+1,j+1),
Ds(i,j)=In(i,j)In(i+1,j-1).
上述乘积的统计分布可以使用零均值AGGD模型拟合:
其中,
α”用于控制MSCN相邻系数乘积分布的形状,σ1反映分布左侧不同的衰减程度,σr反映分布右侧不同的衰减程度;AGGD模型参数作为图像特征进行图像质量评价;
步骤2.5,VIPF基于像素的视觉信息保真度;
VIPF依赖于自然场景统计模型、图像信号失真通道和人眼视觉失真模型。其计算如下:
其中,I(C;E|z)和I(C;F|z)分别表示人眼能够理想的从输入图像和输出图像特定子带中提取的信息,I(C;E|z)解释为输入图像信息内容,I(C;F|z)解释为输入图像和输出图像的互信息值,该值在视觉上从输出图像相对于输入图像中出现的信息内容中提取,由于各小波子带相互独立,则两种信息测量的比例能够扩展到多个子带,和分别是第k个子带相应的互信息测量,其中k是子带数;
步骤2.6,PSNR-HVS符合人眼视觉特性的峰值信噪比;
由于上面的PSNR计算方法没有考虑人眼视觉系统(Human Visual System,HVS)的特点,导致MSE相同或值相差不大的图片,图片质量却又很大差别,因此采用了考虑对比度敏感度函数和HVS的PSNR计算方法;
对于两个M×N图像PSNR-HVS的计算公式如下:
其中,n是每个采样值的比特数,考虑HVS特征MSEH公式如下:
步骤2.7,PSNR-HVSM;
PSNR-HVSM与PSNR-HVS的定义方式类似,但在DCT系数上每8x8的区域乘以对比度掩蔽(CM),其公式如下:
作为优选,步骤3中所述统一视频质量评价参数的具体实现如下:
先将步骤2中参数进行归一化处理,
SSIM1=SSIM
MS-SSIM1=MS-SSIM
其中,PSNR1为归一化后峰值信噪比;SSIM1为归一化后结构相似性系数;MS-SSIM1为归一化多层级结构相似性。
鉴于失真图像MSCN系数的分布存在一定程度的偏移,使用非零均值GGD模型对MSCN系数的分布进行拟合。
其中,α用于控制广义高斯分布的形状,σ2用于控制广义高斯分布的方差,μ为均值,对应峰值点的横坐标,表征分布的偏移程度,当时μ≠0,表示分布存在偏移,模型参数(α,σ2,μ)作为图像的特征;
失真图像在4个方向上的MSCN相邻系数乘积的分布也存在不同程度的偏移,使用非零均值AGGD模型对其进行拟合:
为量化自然图像邻域像素之间的相似性,分别计算图像中直接相邻像素在水平方向上MSCN相邻系数的全局相关系数即Ch、图像中直接相邻像素垂直方向上MSCN相邻系数的全局相关系数即Cv、图像中直接相邻像素主对角线方向上MSCN相邻系数的全局相关系数即Cm、图像中直接相邻像素次对角线方向上MSCN相邻系数的全局相关系数Cs:
Ch=P(In(1:M,1:N-1),In(1:M,2:N))
Cv=P(In(1:M-1,1:N),In(2:M,1:N))
Cm=P(In(1:M-1,1:N-1),In(2:M,2:N))
Cs=P(In(2:M,1:N-1),In(1:M,2:N))
VIFP1=VIFP(31)
PSNR1,SSIM1,MS-SSIM1,VIFP1,PSNR-HVS1,PSNR-HVSM1参数区间都在(0,1)内,可将其进行相加取平均值,即
(PSNR1+SSIM1+MS-SSIM1+VIFP1+PSNR-HVS1+PSNR-HVSM1)/6
其中,其中,PSNR1为归一化后峰值信噪比;SSIM1为归一化后结构相似性系数;MS-SSIM1为归一化多层级结构相似性;VIFP1为归一化基于像素的视觉信息保真度;PSNR-HVS1为归一化的符合人眼视觉特性的峰值信噪比;PSNR-HVSM1为归一化的基于空间的峰值信噪比。
作为优选,步骤4中所述根据视频质量参数得出评价结果为:
该平均值数值
(PSNR1+SSIM1+MS-SSIM1+VIFP1+PSNR-HVS1+PSNR-HVSM1)/6越大代表视频质量越好,理论最佳质量即原视频得出结果为1。
本发明优点在于,综合了多个参数对视频质量进行评价,将各个参数归一化进行相加,得出的结果清晰直观。可用于4K视频的视频质量评价。
附图说明
图1:为本发明实施例的结构图;
图2:为视频质量评价软件的GUI界面;
图3:10帧图片PSNR参数计算结果;
图4:为多帧视频平均视频质量图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1,实施例所提供基H.265的超高清视频质量评价方法的实现包含以下处理过程:对原视频进行YUV采样,得到原始视频序列;对原视频序列和测试视频序列进行视频质量评价,计算视频质量参数;统一的视频质量评价参数根据视频质量参数得出评价结果。
如图2所述,是搭建的视频质量评价软件的GUI界面,为了验证提出的“H.265超高清视频质量评价方法及系统”的有效性,本发明选取芬兰的Tampere大学的Ultra VideoGroup的4K视频序列作原始视频序列,在2Mbps-30Mbps步长为2Mbps比特率条件下,对原序列进行帧内编码、解码,得到测试视频序列。该视频序列分辨率为1024×576pixels,帧率为30fps(每秒帧数),长度为600帧,即20秒,长宽比为16:9的视频序列。该视频序列是一个使用固定镜头的慢动作场景,名为“HoneyBee”视频序列,展现的是蜜蜂在花上采蜜的场景。
为了快速、方便的计算视频评价参数并且直观的展示评价结果,本发明搭建了一个视频质量评价软件,GUI界面如图2所示,该软件可运行在intel core i3处理器(主频为3.09GHz),2G内存,装有Windows 7 64位或者以上版本64位操作系统。该软件有以下功能:可计算YUV400,YUV420,YUV422,YUV444,位深8bit,这四种不同YUV有损视频相对原始视频的视频质量,以及可以计算包括PSNR,SSIM,MS-SSIM,VIFP,PSNR-HVS,PSNR-HVS-M,BRISQUE等7种参数,并将计算结果输出保存在csv文件中;可计算多帧视频的平均视频质量,显示在界面上,便于直观统计;可绘制每一帧视频质量参数图,并可选择是否保存为png格式图片。通过GUI界面,添加原始视频序列和测试视频序列,选择视频序列类型,以及要计算的视频质量评价参数,即可得到视频质量评价的可视化结果。
下面结合图1至图4说明本发明的具体实施方式为一种基于H.265的超高清视频质量评价方法,具体包括以下步骤:
步骤1:对原视频进行YUV采样,得到原始视频序列;
步骤1中所述YUV采样具体方法为:
通过自适应的采样方法,通过对色度和饱和度的离散程度计算,自动匹配适宜的采样格式;
YUV主要的采样格式为:YCbCr 4:4:4、YCbCr 4:2:2、YCbCr 4:1:1、YCbCr 4:2:0,四种采样格式的不同在于丢弃了多少色度信息和饱和度信息。
这里选择YCbCr 4:4:4的采样格式。
YCbCr 4:4:4水平抽样参照为4。
在J个像素第一行中的色度抽样数目(4,4)。
在J个像素第二行中的额外色度抽样数目(4,4)。
步骤2:对原视频序列和测试视频序列进行视频质量评价,计算视频质量参数;
作为优选,步骤2中所述计算视频质量参数的具体实现如下:
步骤2.1,计算峰值信噪比;
两个1024×576pixels的色度图像I(i,j)和I'(i,j),如果一个与另外一个的噪声近似,那么二者的的均方差定义为:
其中,M为色度图像的行数,N为色度图像的列数,
峰值信噪比为:
其中,n是每个采样值的比特数;
步骤2.2,计算结构相似性系数;
首先,对于两个1024×576pixels的色度图像I(i,j)和I'(i,j),以平均色度来作为亮度测量的估计:
其中,N为色度图像的列数,μI为色度图像I(i,j)的平均色度,μI'为色度图像I'(i,j)的平均色度,输入的图像数据组是I,每个点的色度可以用Ii,j表示,Ii表示第i行色度;
然后,由测量系统知道要把平均色度值从信号中去除,对于离散信号,可使用标准差来做对比度估量值:
其中,N为色度图像的列数,σI为色度图像I(i,j)的标准差,σI'为色度图像I'(i,j)的标准差,输入的图像数据组是I,每个点的色度可以用Ii,j表示,Ii表示第i行色度;
亮度对比函数:
其中,C1为
对比度对比函数:
其中,C2为
结构对比函数:
其中,C3为,σII'为色度图像I(i,j)和色度图像I'(i,j)的协方差:
其中C1,C2,C3分别为常数,输入的图像数据组是I,每个点的色度可以用Ii,j表示,Ii表示第i行色度;
最后把三个函数组合起来,得到结构相似性指数函数为:
SSIM(I,I')=[L(I,I')][C(I,I')][S(I,I')]
步骤2.3,MS-SSIM多层级结构相似性
宽高以2M-1为因子进行缩小,当M=1时,表示原始图像大小;当M=2时,表示原始图像缩小一半,以此类推,结构相似性系数为:
步骤2.4,BRISQUE无参考图像空域质量评价;
使用亮度归一化这种方式对图像进行预处理后,图像的MSCN系数的分布将具有显著的统计规律.这种非线性处理方式模拟了人类视觉系统中特有的自适应增益控制前端中心环绕模型,从MSCN系数分布中提取的NSS特征可以有效地应用于图像质量评价;
MSCN系数的计算方法为:
其中,M为色度图像行的数量,N为色度图像列的数量,I(i,j)是大小M×N的色度图像,i∈1,2,…,M,j∈1,2,…,N;μ(i,j)为色度图像的均值,σ(i,j)为色度图像的方差;
C为常量,用于避免图像因局部区域方差为零造成的不稳定情况;ωk,l是二维高斯加权函数,K是高斯窗口的长,L是高斯窗口的宽;
使用零均值GGD模型为MSCN系数分布建模,将模型参数(α',σ2)作为图像的特征,计算方法为:
其中,
其中,α'和σ2分别用于控制广义高斯分布的形状和方差。当α'=1时,为拉普拉斯分布,图像更趋近于拉普拉斯分布;时,α'=2为高斯分布;α'→∞时,为均匀分布;
MSCN相邻系数之间具有一定的结构特性,基于此可以获得失真图像中的降质信息;图像在水平H在方向上MSCN相邻系数的乘积、图像在垂直V在方向上MSCN相邻系数的乘积、图像在主对角线Dm在方向上MSCN相邻系数的乘积和图像在次对角线Ds方向上MSCN相邻系数的乘积分别为:
H(i,j)=In(i,j)In(i,j+1),
V(i,j)=In(i,j)In(i+1,j),
Dm(i,j)=In(i,j)In(i+1,j+1),
Ds(i,j)=In(i,j)In(i+1,j-1).
上述乘积的统计分布可以使用零均值AGGD模型拟合:
其中,
α”用于控制MSCN相邻系数乘积分布的形状,σ1反映分布左侧不同的衰减程度,σr反映分布右侧不同的衰减程度;AGGD模型参数作为图像特征进行图像质量评价;
步骤2.5,VIPF基于像素的视觉信息保真度;
VIPF依赖于自然场景统计模型、图像信号失真通道和人眼视觉失真模型。其计算如下:
其中,I(C;E|z)和I(C;F|z)分别表示人眼能够理想的从输入图像和输出图像特定子带中提取的信息,I(C;E|z)解释为输入图像信息内容,I(C;F|z)解释为输入图像和输出图像的互信息值,该值在视觉上从输出图像相对于输入图像中出现的信息内容中提取,由于各小波子带相互独立,则两种信息测量的比例能够扩展到多个子带,和分别是第k个子带相应的互信息测量,其中k是子带数;
步骤2.6,PSNR-HVS符合人眼视觉特性的峰值信噪比;
由于上面的PSNR计算方法没有考虑人眼视觉系统(Human Visual System,HVS)的特点,导致MSE相同或值相差不大的图片,图片质量却又很大差别,因此采用了考虑对比度敏感度函数和HVS的PSNR计算方法;
对于两个1024×576pixels的图像PSNR-HVS的计算公式如下:
其中,n是每个采样值的比特数,考虑HVS特征MSEH公式如下:
步骤2.7,PSNR-HVSM;
PSNR-HVSM与PSNR-HVS的定义方式类似,但在DCT系数上每8x8的区域乘以对比度掩蔽(CM),其公式如下:
步骤3:统一的视频质量评价参数
步骤3中所述统一视频质量评价参数的具体实现如下:
先将步骤2中参数进行归一化处理,
SSIM1=SSIM
MS-SSIM1=MS-SSIM
其中,PSNR1为归一化后峰值信噪比;SSIM1为归一化后结构相似性系数;MS-SSIM1为归一化多层级结构相似性。
鉴于失真图像MSCN系数的分布存在一定程度的偏移,使用非零均值GGD模型对MSCN系数的分布进行拟合。
其中,α用于控制广义高斯分布的形状,σ2用于控制广义高斯分布的方差,μ为均值,对应峰值点的横坐标,表征分布的偏移程度,当时μ≠0,表示分布存在偏移,模型参数(α,σ2,μ)作为图像的特征;
失真图像在4个方向上的MSCN相邻系数乘积的分布也存在不同程度的偏移,使用非零均值AGGD模型对其进行拟合:
为量化自然图像邻域像素之间的相似性,分别计算图像中直接相邻像素在水平方向上MSCN相邻系数的全局相关系数即Ch、图像中直接相邻像素垂直方向上MSCN相邻系数的全局相关系数即Cv、图像中直接相邻像素主对角线方向上MSCN相邻系数的全局相关系数即Cm、图像中直接相邻像素次对角线方向上MSCN相邻系数的全局相关系数Cs:
Ch=P(In(1:M,1:N-1),In(1:M,2:N))
Cv=P(In(1:M-1,1:N),In(2:M,1:N))
Cm=P(In(1:M-1,1:N-1),In(2:M,2:N))
Cs=P(In(2:M,1:N-1),In(1:M,2:N))
VIFP1=VIFP (31)
PSNR1,SSIM1,MS-SSIM1,VIFP1,PSNR-HVS1,PSNR-HVSM1参数区间都在(0,1)内,可将其进行相加取平均值,即
(PSNR1+SSIM1+MS-SSIM1+VIFP1+PSNR-HVS1+PSNR-HVSM1)/6
其中,其中,PSNR1为归一化后峰值信噪比;SSIM1为归一化后结构相似性系数;MS-SSIM1为归一化多层级结构相似性;VIFP1为归一化基于像素的视觉信息保真度;PSNR-HVS1为归一化的符合人眼视觉特性的峰值信噪比;PSNR-HVSM1为归一化的基于空间的峰值信噪比。
步骤4中所述根据视频质量参数得出评价结果为:
该平均值数值
(PSNR1+SSIM1+MS-SSIM1+VIFP1+PSNR-HVS1+PSNR-HVSM1)/6越大代表视频质量越好,理论最佳质量即原视频得出结果为1。
本发明的优点可以通过以下实验具体说明:
视频质量评价的可视化结果如下:当选择PSNR参数时,可以得到如图3所示的“序列“HoneyBee”10帧图片PSNR参数计算结果。其计算结果保存在软件生成的csv文件中,csv文件记录了每一帧视频质量,文件第一行为frame和value的值;第二、三行分别记录原始视频和有损视频的绝对路径;接着是每一帧的序号及视频质量;最后是视频序列质量的均值。
如图4所示为多帧视频平均视频质量图。为了更加直观看出视频质量评价的结果及统计结果,系统可将计算视频的平均质量参数结果绘制成图进行分析,如图3所示为视频序列“HoneyBee”的在PSNR参数下的计算出的视频质量图。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (1)
1.一种基于H.265的超高清视频质量评价方法,其特征在于,包括以下步骤:
步骤1:对原视频进行YUV采样,得到原始视频序列;
步骤2:对原视频序列和测试视频序列进行视频质量评价,计算视频质量参数;
步骤3:统一的视频质量评价参数;
步骤4:根据视频质量参数得出评价结果;
步骤2中所述计算视频质量参数的具体实现如下:
步骤2.1,计算峰值信噪比;
两个M×N色度图像I(i,j)和I'(i,j),如果一个与另外一个的噪声近似,那么二者的的均方差定义为:
其中,M为色度图像的行数,N为色度图像的列数,
峰值信噪比为:
其中,n是每个采样值的比特数;
步骤2.2,计算结构相似性系数;
首先,对于两个M×N色度图像I(i,j)和I'(i,j),以平均色度来作为亮度测量的估计:
其中,N为色度图像的列数,μI为色度图像I(i,j)的平均色度,μI'为色度图像I'(i,j)的平均色度,输入的图像数据组是I,每个点的色度可以用Ii,j表示,Ii表示第i行色度;
然后,由测量系统知道要把平均色度值从信号中去除,对于离散信号,可使用标准差来做对比度估量值:
其中,N为色度图像的列数,σI为色度图像I(i,j)的标准差,σI'为色度图像I'(i,j)的标准差,输入的图像数据组是I,每个点的色度可以用Ii,j表示,Ii表示第i行色度;
亮度对比函数:
其中,C1为
对比度对比函数:
其中,C2为
结构对比函数:
其中,C3为,σII'为色度图像I(i,j)和色度图像I'(i,j)的协方差:
其中C1,C2,C3分别为常数,输入的图像数据组是I,每个点的色度可以用Ii,j表示,Ii表示第i行色度;
最后把三个函数组合起来,得到结构相似性指数函数为:
SSIM(I,I')=[L(I,I')][C(I,I')][S(I,I')]
步骤2.3,MS-SSIM多层级结构相似性
宽高以2M-1为因子进行缩小,当M=1时,表示原始图像大小;当M=2时,表示原始图像缩小一半,以此类推,结构相似性系数为:
步骤2.4,BRISQUE无参考图像空域质量评价;
使用亮度归一化这种方式对图像进行预处理后,图像的MSCN系数的分布将具有显著的统计规律.这种非线性处理方式模拟了人类视觉系统中特有的自适应增益控制前端中心环绕模型,从MSCN系数分布中提取的NSS特征可以有效地应用于图像质量评价;
MSCN系数的计算方法为:
其中,M为色度图像行的数量,N为色度图像列的数量,I(i,j)是大小M×N的色度图像,i∈1,2,···,M,j∈1,2,···,N;μ(i,j)为色度图像的均值,σ(i,j)为色度图像的方差;
C为常量,用于避免图像因局部区域方差为零造成的不稳定情况;ωk,l是二维高斯加权函数,K是高斯窗口的长,L是高斯窗口的宽;
使用零均值GGD模型为MSCN系数分布建模,将模型参数(α',σ2)作为图像的特征,计算方法为:
其中,
其中,α'和σ2分别用于控制广义高斯分布的形状和方差;当α'=1时,为拉普拉斯分布,图像更趋近于拉普拉斯分布;时,α'=2为高斯分布;α'→∞时,为均匀分布;
MSCN相邻系数之间具有一定的结构特性,基于此可以获得失真图像中的降质信息;图像在水平H在方向上MSCN相邻系数的乘积、图像在垂直V在方向上MSCN相邻系数的乘积、图像在主对角线Dm在方向上MSCN相邻系数的乘积和图像在次对角线Ds方向上MSCN相邻系数的乘积分别为:
H(i,j)=In(i,j)In(i,j+1),
V(i,j)=In(i,j)In(i+1,j),
Dm(i,j)=In(i,j)In(i+1,j+1),
Ds(i,j)=In(i,j)In(i+1,j-1).
上述乘积的统计分布可以使用零均值AGGD模型拟合:
其中,
α”用于控制MSCN相邻系数乘积分布的形状,σ1反映分布左侧不同的衰减程度,σr反映分布右侧不同的衰减程度;AGGD模型参数作为图像特征进行图像质量评价;
步骤2.5,VIFP基于像素的视觉信息保真度;
VIFP依赖于自然场景统计模型、图像信号失真通道和人眼视觉失真模型;其计算如下:
其中,I(C;E|z)和I(C;F|z)分别表示人眼能够理想的从输入图像和输出图像特定子带中提取的信息,I(C;E|z)解释为输入图像信息内容,I(C;F|z)解释为输入图像和输出图像的互信息值,该值在视觉上从输出图像相对于输入图像中出现的信息内容中提取,由于各小波子带相互独立,则两种信息测量的比例能够扩展到多个子带,和分别是第k个子带相应的互信息测量,其中k是子带数;
步骤2.6,PSNR-HVS符合人眼视觉特性的峰值信噪比;
由于上面的PSNR计算方法没有考虑人眼视觉系统(Human Visual System,HVS)的特点,导致MSE相同或值相差不大的图片,图片质量却又很大差别,因此采用了考虑对比度敏感度函数和HVS的PSNR计算方法;
对于两个M×N图像PSNR-HVS的计算公式如下:
其中,n是每个采样值的比特数,考虑HVS特征MSEH公式如下:
步骤2.7,PSNR-HVSM;
PSNR-HVSM与PSNR-HVS的定义方式类似,但在DCT系数上每8x8的区域乘以对比度掩蔽(CM),其公式如下:
步骤3中所述统一视频质量评价参数的具体实现如下:
先将步骤2中参数进行归一化处理,
SSIM1=SSIM
MS-SSIM1=MS-SSIM
其中,PSNR1为归一化后峰值信噪比;SSIM1为归一化后结构相似性系数;MS-SSIM1为归一化多层级结构相似性;
鉴于失真图像MSCN系数的分布存在一定程度的偏移,使用非零均值GGD模型对MSCN系数的分布进行拟合;
其中,α用于控制广义高斯分布的形状,σ2用于控制广义高斯分布的方差,μ为均值,对应峰值点的横坐标,表征分布的偏移程度,当时μ≠0,表示分布存在偏移,模型参数(α,σ2,μ)作为图像的特征;
失真图像在4个方向上的MSCN相邻系数乘积的分布也存在不同程度的偏移,使用非零均值AGGD模型对其进行拟合:
为量化自然图像邻域像素之间的相似性,分别计算图像中直接相邻像素在水平方向上MSCN相邻系数的全局相关系数即Ch、图像中直接相邻像素垂直方向上MSCN相邻系数的全局相关系数即Cv、图像中直接相邻像素主对角线方向上MSCN相邻系数的全局相关系数即Cm、图像中直接相邻像素次对角线方向上MSCN相邻系数的全局相关系数Cs:
Ch=P(In(1:M,1:N-1),In(1:M,2:N))
Cv=P(In(1:M-1,1:N),In(2:M,1:N))
Cm=P(In(1:M-1,1:N-1),In(2:M,2:N))
Cs=P(In(2:M,1:N-1),In(1:M,2:N))
VIFP1=VIFP
PSNR1,SSIM1,MS-SSIM1,VIFP1,PSNR-HVS1,PSNR-HVSM1参数区间都在(0,1)内,可将其进行相加取平均值,即
(PSNR1+SSIM1+MS-SSIM1+VIFP1+PSNR-HVS1+PSNR-HVSM1)/6
其中,其中,PSNR1为归一化后峰值信噪比;SSIM1为归一化后结构相似性系数;MS-SSIM1为归一化多层级结构相似性;VIFP1为归一化基于像素的视觉信息保真度;PSNR-HVS1为归一化的符合人眼视觉特性的峰值信噪比;PSNR-HVSM1为归一化的基于空间的峰值信噪比;
步骤4中所述根据视频质量参数得出评价结果为:
该平均值数值:
(PSNR1+SSIM1+MS-SSIM1+VIFP1+PSNR-HVS1+PSNR-HVSM1)/6
越大代表视频质量越好,理论最佳质量即原视频得出结果为1;
步骤1中所述YUV采样具体方法为:
通过自适应的采样方法,通过对色度和饱和度的离散程度计算,自动匹配适宜的采样格式;
YUV主要的采样格式为:YCbCr 4:4:4、YCbCr 4:2:2、YCbCr 4:1:1、YCbCr 4:2:0,四种采样格式的不同在于丢弃了多少色度信息和饱和度信息;
对于色度(U),饱和度(V)计算局部标准差,对应每一个4×4的区域内:
在上式结果中,考虑该结果矩阵中数值高于阈值64的概率GCP(Gaily-ColouredProbability),若超过68%,视为变化非常大;若低于34%,视为几乎没有变化;若两个结果相差较大即色度与饱和度,一个超过68%而另一个低于34%,则视为在某一项上会有较多信息;
当色度和饱和度在大部分4×4的区域内变化非常大的时候应采用YCbCr 4:4:4的格式;
当色度和饱和度在大部分4×4的区域内变化比较大的时候应采用YCbCr 4:2:2的格式;
当色度和饱和度在大部分4×4的区域内几乎没有变化的时候应采用YCbCr 4:1:1的格式;
如果色度和饱和度在某一项上会有较多信息的时候应采用YCbCr 4:2:0的格式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910637501.3A CN110505472B (zh) | 2019-07-15 | 2019-07-15 | 一种h.265超高清视频质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910637501.3A CN110505472B (zh) | 2019-07-15 | 2019-07-15 | 一种h.265超高清视频质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110505472A CN110505472A (zh) | 2019-11-26 |
CN110505472B true CN110505472B (zh) | 2021-01-15 |
Family
ID=68585491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910637501.3A Expired - Fee Related CN110505472B (zh) | 2019-07-15 | 2019-07-15 | 一种h.265超高清视频质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110505472B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110944169A (zh) * | 2019-12-02 | 2020-03-31 | 军事科学院系统工程研究院军用标准研究中心 | 一种可编程4k视频信号发生器及其信号处理方法 |
CN110855982B (zh) * | 2019-12-02 | 2021-06-22 | 军事科学院系统工程研究院军用标准研究中心 | 一种4k视频通信网络质量计量方法及装置 |
CN111311584B (zh) * | 2020-02-24 | 2023-06-23 | 北京百度网讯科技有限公司 | 视频质量评估方法及装置、电子设备、可读介质 |
CN111479106B (zh) * | 2020-03-12 | 2021-06-29 | 上海交通大学 | 一二维质量描述子融合的音视频联合质量评价方法及终端 |
CN111385567B (zh) * | 2020-03-12 | 2021-01-05 | 上海交通大学 | 一种超高清视频质量评价方法及装置 |
CN111696078B (zh) * | 2020-05-14 | 2023-05-26 | 国家广播电视总局广播电视规划院 | 一种超高清视频检测方法及系统 |
CN112153371B (zh) * | 2020-08-24 | 2021-07-20 | 珠海格力电器股份有限公司 | 图像质量检测方法、装置、存储介质及产品检测方法 |
CN114866763A (zh) * | 2022-04-08 | 2022-08-05 | 海南视联通信技术有限公司 | 一种视频质量的评估方法、装置、终端设备和存储介质 |
CN115620030B (zh) * | 2022-12-06 | 2023-04-18 | 浙江正泰智维能源服务有限公司 | 一种图像匹配方法、装置、设备、介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101478697A (zh) * | 2009-01-20 | 2009-07-08 | 中国测绘科学研究院 | 影像有损压缩质量评价方法 |
CN101984665A (zh) * | 2010-10-29 | 2011-03-09 | 深圳市同洲电子股份有限公司 | 一种视频传输质量评测的方法与系统 |
CN104123723A (zh) * | 2014-07-08 | 2014-10-29 | 上海交通大学 | 基于结构补偿的图像质量评价方法 |
CN104346810A (zh) * | 2014-09-23 | 2015-02-11 | 上海交通大学 | 基于图片质量水平分类的图片质量评价方法 |
CN105100789A (zh) * | 2015-07-22 | 2015-11-25 | 天津科技大学 | 一种视频质量评价方法 |
CN105574885A (zh) * | 2016-01-13 | 2016-05-11 | 福州大学 | 基于机器学习并融合视觉特征的全参考图像质量评估方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8031267B2 (en) * | 2007-02-12 | 2011-10-04 | Intel Corporation | Motion adaptive upsampling of chroma video signals |
KR20090090152A (ko) * | 2008-02-20 | 2009-08-25 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
US9560350B2 (en) * | 2009-03-31 | 2017-01-31 | Texas Instruments Incorporated | Intra/inter mode decision for predictive frame encoding |
US8780210B1 (en) * | 2013-02-01 | 2014-07-15 | Videoq, Inc. | Video quality analyzer |
CN107767363A (zh) * | 2017-09-05 | 2018-03-06 | 天津大学 | 一种基于自然场景的无参考高动态图像质量评价算法 |
CN109600605B (zh) * | 2019-01-18 | 2020-04-07 | 中央电视台 | 4k超高清视频的检测方法、电子设备及计算机程序产品 |
-
2019
- 2019-07-15 CN CN201910637501.3A patent/CN110505472B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101478697A (zh) * | 2009-01-20 | 2009-07-08 | 中国测绘科学研究院 | 影像有损压缩质量评价方法 |
CN101984665A (zh) * | 2010-10-29 | 2011-03-09 | 深圳市同洲电子股份有限公司 | 一种视频传输质量评测的方法与系统 |
CN104123723A (zh) * | 2014-07-08 | 2014-10-29 | 上海交通大学 | 基于结构补偿的图像质量评价方法 |
CN104346810A (zh) * | 2014-09-23 | 2015-02-11 | 上海交通大学 | 基于图片质量水平分类的图片质量评价方法 |
CN105100789A (zh) * | 2015-07-22 | 2015-11-25 | 天津科技大学 | 一种视频质量评价方法 |
CN105574885A (zh) * | 2016-01-13 | 2016-05-11 | 福州大学 | 基于机器学习并融合视觉特征的全参考图像质量评估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110505472A (zh) | 2019-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110505472B (zh) | 一种h.265超高清视频质量评价方法 | |
Winkler | Perceptual video quality metrics—A review | |
US20140321552A1 (en) | Optimization of Deblocking Filter Parameters | |
US10013772B2 (en) | Method of controlling a quality measure and system thereof | |
EP1525753A1 (en) | A method and apparatus for measuring the quality of video data | |
CN107241607B (zh) | 一种基于多域jnd模型的视觉感知编码方法 | |
CN107846589B (zh) | 一种基于局部动态量化的图像压缩方法 | |
US11689748B2 (en) | Pixel filtering for content | |
Zhang et al. | Single image dehazing based on fast wavelet transform with weighted image fusion | |
Zhang et al. | Perceptual video coding with block-level staircase just noticeable distortion | |
Zhang et al. | Perceptual quality assessment for fine-grained compressed images | |
KR20060111528A (ko) | 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출 | |
WO2006131866A2 (en) | Method and system for image processing | |
CN106878754A (zh) | 一种3d视频深度图像帧内预测模式选择方法 | |
KR20190062284A (ko) | 인지 특성에 기반한 영상 처리 방법 및 장치 | |
CN115802038A (zh) | 一种量化参数确定方法、装置及一种视频编码方法、装置 | |
US8396323B2 (en) | Method and apparatus for measuring blockiness in video images | |
Sun et al. | An efficient quality metric for DIBR-based 3D video | |
Qi et al. | Non-Reference Image Quality Assessment Based on Super-Pixel Segmentation and Information Entropy | |
US8811766B2 (en) | Perceptual block masking estimation system | |
WO2015128302A1 (en) | Method and apparatus for filtering and analyzing a noise in an image | |
Sun et al. | An efficient quality assessment metric for 3d video | |
Park et al. | Structural similarity based image compression for LCD overdrive | |
Araujo et al. | Effects of Color Quantization on JPEG Compression | |
Venkataramanan et al. | Cut-FUNQUE: An Objective Quality Model for Compressed Tone-Mapped High Dynamic Range Videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210115 Termination date: 20210715 |