CN110473200B - 全参考的视频图像质量评价方法 - Google Patents

全参考的视频图像质量评价方法 Download PDF

Info

Publication number
CN110473200B
CN110473200B CN201910780899.6A CN201910780899A CN110473200B CN 110473200 B CN110473200 B CN 110473200B CN 201910780899 A CN201910780899 A CN 201910780899A CN 110473200 B CN110473200 B CN 110473200B
Authority
CN
China
Prior art keywords
video image
target
channel
feature vector
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910780899.6A
Other languages
English (en)
Other versions
CN110473200A (zh
Inventor
王妙辉
林家欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910780899.6A priority Critical patent/CN110473200B/zh
Publication of CN110473200A publication Critical patent/CN110473200A/zh
Application granted granted Critical
Publication of CN110473200B publication Critical patent/CN110473200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开描述了一种全参考的视频图像质量评价方法,包括:获取包括亮度通道的参考视频图像和目标视频图像;对参考视频图像的亮度通道进行N次压缩,获得对应各次压缩的N个参考亮度通道,对目标视频图像的亮度通道进行N次压缩,获得各次压缩后的N个目标亮度通道,并且基于第n个参考亮度通道和第n个目标亮度通道计算第n个亮度的相关性分数,进而获得N个亮度的相关性分数;基于参考视频图像和目标视频图像,获得参考视频图像的参考特征向量和目标视频图像的目标特征向量,并且基于参考特征向量和目标特征向量获得特征向量的相关性分数;并且根据N个亮度的相关性分数和特征向量的相关性分数获得视频图像质量评价分数,其中N为正整数。

Description

全参考的视频图像质量评价方法
技术领域
本公开大体涉及计算机视觉技术领域,具体涉及一种全参考的视频图像质量评价方法。
背景技术
屏幕内容编码的标准化和多媒体通信技术的发展推动了众多基于屏幕内容视频图像的应用场景的拓展,如:卡通动画、远程桌面、在线教育等。其中,屏幕内容视频图像中往往包含着更为丰富的信息量,然而在视频图像的生成、压缩,传输,存储、显示等过程中不可避免地会导致视频图像的质量下降,从而影响人眼的视觉感受。因此,针对视频图像(特别是屏幕内容视频图像)的视频图像质量评价越来越受到人们的重视。
视频图像质量是指通过主观或者客观的方式来评估视频图像的质量。其中,主观质量评价是以人为评判者对视频图像的质量进行评估。客观质量评价是通过借助模型,由计算机给出评价结果。客观质量评价可以根据对参考视频图像的依赖程度分为:全参考的视频图像质量评价、半参考的视频图像质量评价和无参考的视频图像质量评价。根据应用场景不同,这三种客观评价方法都有其研究的意义和价值。例如,在能得到参考视频图像的场景下,常常选择全参考的视频图像质量评价方法利用参考视频图像和目标视频图像之间的差异来衡量目标视频图像的质量。
在现有的全参考的视频图像质量评价方法中,常常利用经典的均方误差(MSE)和峰值信噪比(PSNR)来衡量目标视频图像的质量。然而,现有的全参考的视频图像质量评价方法的评价结果与人眼视觉的一致性较低。
发明内容
本公开是有鉴于上述的状况而提出的,其目的在于提供一种所获得的评价结果与人眼视觉具有较高的一致性的全参考的视频图像质量评价方法。
为此,本公开提供了一种全参考的视频图像质量评价方法,其特征在于,包括:获取包括亮度通道的参考视频图像和目标视频图像;对所述参考视频图像的亮度通道进行N次压缩,获得对应各次压缩的N个参考亮度通道,对所述目标视频图像的亮度通道进行N次压缩,获得各次压缩后的N个目标亮度通道,并且基于第n个参考亮度通道和第n个目标亮度通道计算第n个亮度的相关性分数,进而获得N个亮度的相关性分数;基于所述参考视频图像和所述目标视频图像,获得所述参考视频图像的参考特征向量和所述目标视频图像的目标特征向量,并且基于所述参考特征向量和所述目标特征向量获得特征向量的相关性分数;并且根据所述N个亮度的相关性分数和所述特征向量的相关性分数获得视频图像质量评价分数,其中N为正整数。
在本公开中,获取包括亮度通道的参考视频图像和目标视频图像。由此,能够便于分别基于参考视频图像和目标视频图像的亮度通道进行后续处理。对参考视频图像的亮度通道和目标视频图像的亮度通道分别进行N次压缩获得N个参考亮度通道和N个目标亮度通道,基于第n个参考亮度通道和第n个目标亮度通道计算第n个亮度的相关性分数进而获得N个亮度的相关性分数。由此,能够通过多个不同压缩程度的亮度通道获得多个基于亮度通道的亮度的相关性分数。获得参考视频图像的参考特征向量和目标视频图像的目标特征向量,基于参考特征向量和目标特征向量获得特征向量的相关性分数。由此,能够基于视频图像矩获得的特征向量的相关性分数。根据N个亮度的相关性分数和特征向量的相关性分数获得视频图像质量评价分数。由此,能够根据视频图像质量评价分数获得较为客观的评价结果,并所获得的评价结果与人眼视觉具有较高的一致性。
在本公开所涉及的全参考的视频图像质量评价方法中,可选地,所述视频图像质量评价分数满足式(Ⅰ):
Figure BDA0002176553900000021
其中,N为压缩次数,H、W分别为未压缩的视频图像的高和宽,Hn和Wn分别表示进行第n次压缩后的视频图像的高和宽,n和N均为正整数,Pn表示亮度的相关性分数,P'表示特征向量的相关性分数,score表示视频图像质量评价分数。由此,能够综合多个亮度的相关新分数以及特征向量相关性分数获得视频图像质量评价分数。
在本公开所涉及的全参考的视频图像质量评价方法中,可选地,所述亮度的相关性分数的计算方法包括:对所述参考亮度通道进行两次高斯滤波,获得参考视频图像高斯差分图;对所述目标亮度通道进行两次高斯滤波,获得目标视频图像高斯差分图;并且基于所述参考视频图像高斯差分图和所述目标视频图像高斯差分图获得所述亮度的相关性分数。由此,能够根据高斯差分图的差异评价参考视频图像与目标视频图像的相关性。
在本公开所涉及的全参考的视频图像质量评价方法中,可选地,在获得所述参考视频图像高斯差分图的步骤中,所述两次高斯滤波包括基于参考亮度通道的视频图像复杂度确定滤波尺度的第一次高斯滤波、以及基于参考亮度通道的标准差确定滤波尺度的第二次高斯滤波,所述参考亮度通道的视频图像复杂度的计算方法,包括:对于所述参考亮度通道的像素点,以该像素点为中心,取大小为L×P的视频图像块,基于该视频图像块的灰度均值、该视频图像块的方差以及该像素点的灰度值在该视频图像块出现的概率,获得该像素点的局部复杂度;并且对所述参考亮度通道内的所有像素点的局部复杂度进行求取平均以获得所述参考亮度通道的视频图像复杂度。由此,能够根据视频图像复杂度确定高斯滤波的尺度,并能够依赖于视频图像复杂度和标准差确定参考视频图像差分高斯滤波图。
在本公开所涉及的全参考的视频图像质量评价方法中,可选地,在获得所述目标视频图像高斯差分图的步骤中,所述两次高斯滤波包括基于所述目标亮度通道的视频图像复杂度确定滤波尺度的第一次高斯滤波、以及基于所述目标亮度通道的标准差确定滤波尺度的第二次高斯滤波,所述目标亮度通道的视频图像复杂度的计算方法,包括:对于所述目标亮度通道的像素点,以该像素点为中心,取大小为L×P的视频图像块,基于该视频图像块的灰度均值、该视频图像块的方差以及该像素点的灰度值在该视频图像块出现的概率,获得该像素点的局部复杂度;并且对所述目标亮度通道内的所有像素点的局部复杂度进行求取平均以获得所述目标亮度通道的视频图像复杂度。由此,能够依赖于视频图像复杂度和标准差确定目标视频图像差分高斯滤波图。
在本公开所涉及的全参考的视频图像质量评价方法中,可选地,所述亮度的相关性分数Pn满足式(Ⅱ):
Figure BDA0002176553900000041
其中,
Figure BDA0002176553900000042
为参考视频图像高斯差分图的灰度平均值,GDMS(u,v)为参考视频图像高斯差分图的像素点,
Figure BDA0002176553900000043
为目标视频图像高斯差分图的灰度平均值,GDMD(u,v)为目标视频图像高斯差分图的像素点,c为常数。由此,能够通过高斯差分图反映参考视频图像和目标视频图像的相关性,并且使视频图像质量评价具有稳定性。
在本公开所涉及的全参考的视频图像质量评价方法中,可选地,所述特征向量的相关性分数P'满足式(III):
Figure BDA0002176553900000044
(III),其中,t为特征向量的元素标号,CFS表示参考特征向量,CFD表示目标特征向量。由此,能够通过参考视频图像的参考特征向量和目标视频图像的目标特征向量获得参考视频图像和亮度视频图像的相关性分数。
在本公开所涉及的全参考的视频图像质量评价方法中,可选地,使用池化对所述参考视频图像的亮度通道和所述目标视频图像的亮度通道进行压缩。由此,能够简便地获得压缩视频图像。
在本公开所涉及的全参考的视频图像质量评价方法中,可选地,使用2×2的池化尺寸对所述参考视频图像的亮度通道和所述目标视频图像的亮度通道进行压缩。由此,能够简便地获得压缩视频图像并且获得足够多的不同尺寸的亮度通道。
在本公开所涉及的全参考的视频图像质量评价方法中,可选地,所述参考视频图像和所述目标视频图像具有Y、U、V视频图像通道,所述参考特征向量包括所述参考视频图像的Y、U、V视频图像通道的各阶视频图像矩,所述目标特征向量包括所述目标视频图像的Y、U、V视频图像通道的各阶视频图像矩。由此,能够使视频图像质量评价分数更加符合人眼的视觉感知效果。
在本公开所涉及的全参考的视频图像质量评价方法中,可选地,还包括对所述参考特征向量和所述目标特征向量进行归一化处理。由此,能够使视频图像质量评价分数具有稳定性。
根据本公开,能够提供一种所获得的评价结果与人眼视觉具有较高的一致性的全参考的视频图像质量评价方法。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开,其中:
图1a是示出了本公开示例所涉及的视频图像质量评价方法的Y视频图像通道。
图1b是示出了本公开示例所涉及的视频图像质量评价方法的U视频图像通道。
图1c是示出了本公开示例所涉及的视频图像质量评价方法的V视频图像通道。
图2是示出了本公开示例所涉及的亮度通道的多次压缩示意图。
图3是示出了本公开示例所涉及的全参考的视频图像质量评价方法的流程示意图。
图4是示出了本公开示例所涉及的像素点的局部复杂度的示意图。
具体实施方式
以下,参考附图,详细地说明本公开的优选实施方式。在下面的说明中,对于相同的部件赋予相同的符号,省略重复的说明。另外,附图只是示意性的图,部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
需要说明的是,本公开中的术语“包括”和“具有”以及它们的任何变形,例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开引用的所有参考文献全文引入作为参考,如同完全阐述的那样。除非另有定义,本公开所使用的技术和科学术语具有与本公开所属领域的普通技术人员通常理解相同的含义。
另外,在本公开的下面描述中涉及的小标题等并不是为了限制本公开的内容或范围,其仅仅是作为阅读的提示作用。这样的小标题既不能理解为用于分割文章的内容,也不应将小标题下的内容仅仅限制在小标题的范围内。
本公开涉及一种全参考的视频图像质量评价方法。全参考的视频图像质量评价方法也可以简称为视频图像质量评价方法。根据本公开的视频图像质量评价方法,能够通过多个不同压缩程度的亮度通道获得多个基于亮度通道的亮度的相关性分数,以及基于视频图像矩获得的特征向量的相关性分数,并能够根据视频图像质量评价分数获得较为客观的评价结果,并所获得的评价结果与人眼视觉具有较高的一致性。
图1a是示出了本公开示例所涉及的视频图像质量评价方法的Y视频图像通道。图1b是示出了本公开示例所涉及的视频图像质量评价方法的U视频图像通道。图1c是示出了本公开示例所涉及的视频图像质量评价方法的V视频图像通道。图2是示出了本公开示例所涉及的亮度通道的多次压缩示意图。图3是示出了本公开示例所涉及的全参考的视频图像质量评价方法的流程示意图。
在本实施方式中,如图3所示,全参考的视频图像质量评价方法包括获取包括亮度通道的参考视频图像和目标视频图像(步骤S10);对参考视频图像的亮度通道进行N次压缩和对目标视频图像的亮度通道进行N次压缩(步骤S20);获得对应各次压缩的N个参考亮度通道和获得各次压缩后的N个目标亮度通道(步骤S30);基于第n个参考亮度通道和第n个目标亮度通道计算第n个亮度的相关性分数,进而获得N个亮度的相关性分数(步骤S40);判断是否继续压缩(步骤S50),若继续压缩则返回步骤S20,若不继续压缩则到达步骤S80;基于参考视频图像和目标视频图像,获得参考视频图像的参考特征向量和目标视频图像的目标特征向量(步骤S60),并且基于参考特征向量和目标特征向量获得特征向量的相关性分数(步骤S70);并且根据N个亮度的相关性分数和特征向量的相关性分数获得视频图像质量评价分数(步骤S80)。
在步骤S10中,可以获得包括亮度通道的参考视频图像和目标视频图像。其中,参考视频图像和目标视频图像是YUV视频图像。在这种情况下,参考视频图像和目标视频图像可以具有Y、U、V视频图像通道。例如,Y视频图像通道(也可以简称为Y通道或亮度通道)可以参见图1a。U视频图像通道可以参见图1b。V视频图像通道可以参见图1c。但本公开的示例不限于此,参考视频图像或目标视频图像也可以是RGB视频图像。若参考视频图像或目标视频图像是RGB视频图像,则需要将参考视频图像或目标视频图像转换成YUV视频图像。
在一些示例中,参考视频图像和目标视频图像可以是屏幕内容视频图像。但本公开的示例不限于此。
在步骤S20中,可以对参考视频图像的亮度通道进行N次压缩和对目标视频图像的亮度通道进行N次压缩。其中N为正整数。
在一些示例中,如图2所示,可以对参考视频图像的亮度通道或目标视频图像的亮度通道进行5次压缩。
在一些示例中,可以使用池化对参考视频图像的亮度通道和目标视频图像的亮度通道进行压缩。由此,能够简便地获得压缩视频图像。
在一些示例中,可以使用2×2的池化尺寸对参考视频图像的亮度通道和目标视频图像的亮度通道进行压缩。由此,能够简便地获得压缩视频图像并且获得足够多的不同尺寸的亮度通道。
在步骤S30中,可以获得对应各次压缩的N个参考亮度通道和获得各次压缩后的N个目标亮度通道。其中N为正整数。换而言之,每次压缩后获得相应的一个参考亮度通道和一个目标亮度通道。在这种情况下,进行N次压缩能够获得N个参考亮度通道和N个目标亮度通道。
在步骤S30中,每次压缩后获得的参考亮度通道或目标亮度通道Yn(u,v)满足式(1):
Figure BDA0002176553900000081
其中,n的取值满足n={1,...,N},N为压缩次数,
Figure BDA0002176553900000082
H、W分别为未压缩的视频图像(例如步骤S10中获得的参考视频图像或目标视频图像)的高和宽。I(n-1)(x,y)表示第n-1次压缩后获得的参考亮度通道或目标亮度通道的灰度值。其中,
Figure BDA0002176553900000083
表示向下取整操作符。min{}表示取最小值。
在一些示例中,如图2所示,对参考视频图像的亮度通道或目标视频图像的亮度通道进行5次压缩,每次压缩可以获得1个目标亮度通道。由此,能够获得5个目标亮度通道。
在步骤S40中,可以基于第n个参考亮度通道和第n个目标亮度通道计算第n个亮度的相关性分数,进而获得N个亮度的相关性分数。n和N均为正整数。其中,亮度的相关性分数的计算方法可以包括对参考亮度通道进行两次高斯滤波,获得参考视频图像高斯差分图;对目标亮度通道进行两次高斯滤波,获得目标视频图像高斯差分图;并且基于参考视频图像高斯差分图和目标视频图像高斯差分图获得亮度的相关性分数。由此,能够根据高斯差分图的差异评价参考视频图像与目标视频图像的相关性。
图4是示出了本公开示例所涉及的像素点的局部复杂度的示意图。
在一些示例中,在亮度的相关性分数的计算方法的获得参考视频图像高斯差分图的步骤中,两次高斯滤波可以包括基于参考亮度通道的视频图像复杂度确定滤波尺度的第一次高斯滤波以及基于参考亮度通道的标准差确定滤波尺度的第二次高斯滤波。其中,参考亮度通道的视频图像复杂度的计算方法可以包括对于参考亮度通道的像素点,以该像素点为中心,取大小为L×P的视频图像块(参见图4),基于该视频图像块的灰度均值、该视频图像块的方差以及该像素点的灰度值在该视频图像块出现的概率,获得该像素点的局部复杂度。并且对参考亮度通道内的所有像素点的局部复杂度进行求取平均以获得参考亮度通道的视频图像复杂度。由此,能够根据视频图像复杂度确定高斯滤波的尺度。由此,能够依赖于视频图像复杂度和标准差确定参考视频图像差分高斯滤波图。
在一些示例中,在亮度的相关性分数的计算方法的获得目标视频图像高斯差分图的步骤中,两次高斯滤波可以包括基于目标亮度通道的视频图像复杂度确定滤波尺度的第一次高斯滤波、以及基于目标亮度通道的标准差确定滤波尺度的第二次高斯滤波。其中,目标亮度通道的视频图像复杂度的计算方法可以包括:对于目标亮度通道的像素点,以该像素点为中心,取大小为L×P的视频图像块,基于该视频图像块的灰度均值、该视频图像块的方差以及该像素点的灰度值在该视频图像块出现的概率,获得该像素点的局部复杂度;并且对目标亮度通道内的所有像素点的局部复杂度进行求取平均以获得目标亮度通道的视频图像复杂度。由此,能够依赖于视频图像复杂度和标准差确定目标视频图像差分高斯滤波图。
在一些示例中,视频图像块的大小例如可以是4×4、7×7、10×10等。
在一些示例中,步骤S40中可以基于该视频图像块的灰度均值、该视频图像块的方差以及该像素点的灰度值在该视频图像块出现的概率,获得该像素点的局部复杂度。局部复杂度满足式(2):
C(u,v)=μ(u,v)σc2×h(u,v) (2)
其中,C(u,v)表示像素点的局部复杂度,μ(u,v)表示像素点所在大小为L×P的视频图像块的灰度均值。(u,v)表示视频图像块的中心点。σc 2表示视频图像块内像素点的方差,h表示像素点的灰度值在视频图像块的出现的概率。由此,能够基于视频图像块的灰度均值信息、方差以及概率分布来获得局部复杂度。
在一些示例中,对参考亮度通或目标亮度通道内的所有像素点的局部复杂度进行求取平均以获得目标亮度通道的视频图像复杂度。视频图像复杂度满足:
Figure BDA0002176553900000091
在一些示例中,参考亮度通或目标亮度通道标准差σ满足:
Figure BDA0002176553900000092
其中,
Figure BDA0002176553900000093
是视频图像(例如参考亮度通或目标亮度通道)的灰度均值。灰度均值
Figure BDA0002176553900000101
满足:
Figure BDA0002176553900000102
在一些示例中,当实现高斯滤波的高斯窗口大小为7×7时,高斯差分图满足式(3):
Figure BDA0002176553900000103
其中,p和q分别表示以视频图像块的中心点(u,v)为中心向外扩散的半径,G(u,v,min{σ,Z})和G(u,v,max{σ,Z})表示两个不同尺度的二维高斯核。min{}表示取最小值,max{}表示取最大值。Y(u,v)表示参考亮度通道或目标亮度通道的灰度值。Z表示视频图像复杂度。
在一些示例中,亮度的相关性分数Pn可以满足式(4):
Figure BDA0002176553900000104
其中,
Figure BDA0002176553900000105
为参考视频图像高斯差分图的灰度平均值,GDMS(u,v)为参考视频图像高斯差分图的像素点,
Figure BDA0002176553900000106
为目标视频图像高斯差分图的灰度平均值,GDMD(u,v)为目标视频图像高斯差分图的像素点,c为常数。由此,能够通过高斯差分图反映参考视频图像和目标视频图像的相关性,并且使视频图像质量评价具有稳定性。
在步骤S50中,判断是否继续压缩。具体而言,判断压缩次数N是否大于
Figure BDA0002176553900000107
若不满足则继续压缩即返回步骤S20,若满足则不继续压缩即到达步骤S80(后续描述)。
在步骤S60中,参考特征向量可以包括参考视频图像的Y、U、V视频图像通道的各阶视频图像矩。目标特征向量可以包括目标视频图像的Y、U、V视频图像通道的各阶视频图像矩。由此,能够使视频图像质量评价分数更加符合人眼的视觉感知效果。
在另一些示例中,参考视频图像的参考特征向量可以包括Y、U和V视频图像通道的1至3阶视频图像矩。由此,能够获得足够的参考视频图像的多阶视频图像矩。目标视频图像的目标特征向量可以包括Y、U和V视频图像通道(视频图像通道也可以简称为通道)的1至3阶视频图像矩。由此,能够获得足够的目标视频图像的多阶视频图像矩。
在一些示例中,参考特征向量可以满足式(5):
Figure BDA0002176553900000111
其中,CFS表示参考特征向量,KY、KU和KV分别表示参考视频图像的Y、U和V通道的视频图像矩。上标1至m表示视频图像矩的阶数,m为正整数。由此,能够获得基于多阶视频图像矩的参考特征向量。
在一些示例中,目标特征向量可以满足式(6):
Figure BDA0002176553900000112
其中,CFD表示目标特征向量,MY、MU和MV分别表示目标视频图像的Y、U和V通道的视频图像矩,上标1至m表示视频图像矩的阶数,m为正整数。由此,能够获得基于多阶视频图像矩的目标特征向量。
在一些示例中,可选地,参考视频图像的Y、U或V通道的的各阶视频图像矩满足式(7):
Figure BDA0002176553900000113
Km表示参考视频图像的Y、U或V通道的第m阶视频图像矩,OK(u,v)表示参考视频图像的Y、U或V通道的像素点灰度,H和W分别表示参考视频图像的高和宽。由此,能够获得参考视频图像的Y、U或V通道的各阶视频图像矩。
在一些示例中,可选地,目标视频图像的Y、U或V通道的各阶视频图像矩由下述公式(8)获得:
Figure BDA0002176553900000114
Mm表示目标视频图像的Y、U或V通道的第m阶视频图像矩,OM(u,v)表示目标视频图像的Y、U或V通道的像素点灰度,H和W分别表示目标视频图像的高和宽。由此,能够获得目标视频图像的Y、U或V通道的各阶视频图像矩。
在步骤S70中,特征向量的相关性分数P'可以满足式(9):
Figure BDA0002176553900000121
其中,t为特征向量的元素标号,CFS表示参考特征向量,CFD表示目标特征向量。由此,能够通过参考视频图像的参考特征向量和目标视频图像的目标特征向量获得参考视频图像和亮度视频图像的相关性分数P'。
在一些示例中,还可以包括对参考特征向量和目标特征向量进行归一化处理。由此,能够使视频图像质量评价分数具有稳定性。
在一些示例中,可以对特征向量进行归一化处理,归一化的特征向量可以满足式(10):
Figure BDA0002176553900000122
其中,Et表示第t个向量元素。T表示向量元素的数量。
在步骤S80中,视频图像质量评价分数可以由下述公式(11)获得:
Figure BDA0002176553900000123
其中,N为压缩次数,H、W分别为未压缩的视频图像的高和宽,Hn和Wn分别表示进行第n次压缩后的视频图像的高和宽,n和N均为正整数,Pn表示亮度的相关性分数,P'表示特征向量的相关性分数,score表示视频图像质量评价分数。由此,能够综合多个亮度的相关性分数以及特征向量相关性分数获得视频图像质量评价分数。
在本公开中,获取包括亮度通道的参考视频图像和目标视频图像。由此,能够便于分别基于参考视频图像和目标视频图像的亮度通道进行后续处理。对参考视频图像的亮度通道和目标视频图像的亮度通道分别进行N次压缩获得N个参考亮度通道和N个目标亮度通道,基于第n个参考亮度通道和第n个目标亮度通道计算第n个亮度的相关性分数进而获得N个亮度的相关性分数。由此,能够通过多个不同压缩程度的亮度通道获得多个基于亮度通道的亮度的相关性分数。获得参考视频图像的参考特征向量和目标视频图像的目标特征向量,基于参考特征向量和目标特征向量获得特征向量的相关性分数。由此,能够基于视频图像矩获得的特征向量的相关性分数。根据N个亮度的相关性分数和特征向量的相关性分数获得视频图像质量评价分数。由此,能够根据视频图像质量评价分数获得较为客观的评价结果,并所获得的评价结果与人眼视觉具有较高的一致性,也即评价结果更加符合人眼的视觉感知。
虽然以上结合附图和示例对本公开进行了具体说明,但是可以理解,上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化,这些变形和变化均落入本公开的范围内。
应该理解的是,这里披露的公开内容的示例是本公开的原理的说明。可以采用的其他修改可以在本公开的范围内。因此,作为示例而非限制,根据本公开的教导,可以利用本公开的替代配置。因此,本公开的示例不限于如所示和所描述的那样。

Claims (8)

1.一种全参考的视频图像质量评价方法,其特征在于,
包括:
获取包括亮度通道的参考视频图像和目标视频图像;
对所述参考视频图像的亮度通道进行N次压缩,获得对应各次压缩的N个参考亮度通道,对所述目标视频图像的亮度通道进行N次压缩,获得各次压缩后的N个目标亮度通道,并且基于第n个参考亮度通道和第n个目标亮度通道计算第n个亮度的相关性分数,进而获得N个亮度的相关性分数;
基于所述参考视频图像和所述目标视频图像,获得所述参考视频图像的参考特征向量和所述目标视频图像的目标特征向量,并且基于所述参考特征向量和所述目标特征向量获得特征向量的相关性分数;并且
根据所述N个亮度的相关性分数和所述特征向量的相关性分数获得视频图像质量评价分数,其中N为正整数,
所述亮度的相关性分数的计算方法包括:对所述参考亮度通道进行两次高斯滤波,获得参考视频图像高斯差分图;对所述目标亮度通道进行两次高斯滤波,获得目标视频图像高斯差分图;并且基于所述参考视频图像高斯差分图和所述目标视频图像高斯差分图获得所述亮度的相关性分数,
所述特征向量的相关性分数P'满足式(III):
Figure FDA0003205735010000011
其中,t为特征向量的元素标号,CFS表示参考特征向量,CFD表示目标特征向量。
2.根据权利要求1所述的视频图像质量评价方法,其特征在于,
所述视频图像质量评价分数满足式(Ⅰ):
Figure FDA0003205735010000012
其中,N为压缩次数,H、W分别为未压缩的视频图像的高和宽,Hn和Wn分别表示进行第n次压缩后的视频图像的高和宽,n和N均为正整数,Pn表示亮度的相关性分数,P'表示特征向量的相关性分数,score表示视频图像质量评价分数。
3.根据权利要求1所述的视频图像质量评价方法,其特征在于,
在获得所述参考视频图像高斯差分图的步骤中,所述两次高斯滤波包括基于参考亮度通道的视频图像复杂度确定滤波尺度的第一次高斯滤波、以及基于参考亮度通道的标准差确定滤波尺度的第二次高斯滤波,
所述参考亮度通道的视频图像复杂度的计算方法,包括:
对于所述参考亮度通道的像素点,以该像素点为中心,取大小为L×P的视频图像块,基于该视频图像块的灰度均值、该视频图像块的方差以及该像素点的灰度值在该视频图像块出现的概率,获得该像素点的局部复杂度;并且
对所述参考亮度通道内的所有像素点的局部复杂度进行求取平均以获得所述参考亮度通道的视频图像复杂度。
4.根据权利要求1所述的视频图像质量评价方法,其特征在于,
在获得所述目标视频图像高斯差分图的步骤中,所述两次高斯滤波包括基于所述目标亮度通道的视频图像复杂度确定滤波尺度的第一次高斯滤波、以及基于所述目标亮度通道的标准差确定滤波尺度的第二次高斯滤波,
所述目标亮度通道的视频图像复杂度的计算方法,包括:
对于所述目标亮度通道的像素点,以该像素点为中心,取大小为L×P的视频图像块,基于该视频图像块的灰度均值、该视频图像块的方差以及该像素点的灰度值在该视频图像块出现的概率,获得该像素点的局部复杂度;并且
对所述目标亮度通道内的所有像素点的局部复杂度进行求取平均以获得所述目标亮度通道的视频图像复杂度。
5.根据权利要求1所述的视频图像质量评价方法,其特征在于,
所述亮度的相关性分数Pn满足式(Ⅱ):
Figure FDA0003205735010000031
其中,
Figure FDA0003205735010000032
为参考视频图像高斯差分图的灰度平均值,GDMS(u,v)为参考视频图像高斯差分图的像素点,
Figure FDA0003205735010000033
为目标视频图像高斯差分图的灰度平均值,GDMD(u,v)为目标视频图像高斯差分图的像素点,c为常数。
6.根据权利要求1所述的视频图像质量评价方法,其特征在于,
使用池化对所述参考视频图像的亮度通道和所述目标视频图像的亮度通道进行压缩。
7.根据权利要求1所述的视频图像质量评价方法,其特征在于,
所述参考视频图像和所述目标视频图像具有Y、U、V视频图像通道,所述参考特征向量包括所述参考视频图像的Y、U、V视频图像通道的各阶视频图像矩,所述目标特征向量包括所述目标视频图像的Y、U、V视频图像通道的各阶视频图像矩。
8.根据权利要求1所述的视频图像质量评价方法,其特征在于,
还包括对所述参考特征向量和所述目标特征向量进行归一化处理。
CN201910780899.6A 2019-08-22 2019-08-22 全参考的视频图像质量评价方法 Active CN110473200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910780899.6A CN110473200B (zh) 2019-08-22 2019-08-22 全参考的视频图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910780899.6A CN110473200B (zh) 2019-08-22 2019-08-22 全参考的视频图像质量评价方法

Publications (2)

Publication Number Publication Date
CN110473200A CN110473200A (zh) 2019-11-19
CN110473200B true CN110473200B (zh) 2021-11-12

Family

ID=68513485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910780899.6A Active CN110473200B (zh) 2019-08-22 2019-08-22 全参考的视频图像质量评价方法

Country Status (1)

Country Link
CN (1) CN110473200B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8963998B2 (en) * 2011-04-15 2015-02-24 Tektronix, Inc. Full reference system for predicting subjective quality of three-dimensional video
CN102663764A (zh) * 2012-04-25 2012-09-12 武汉大学 基于结构失真与空间频率指标的图像质量评价方法
US9325985B2 (en) * 2013-05-28 2016-04-26 Apple Inc. Reference and non-reference video quality evaluation
CN106683082B (zh) * 2016-12-19 2019-08-13 华中科技大学 一种基于四元数的全参考彩色图像质量评价方法
CN106875389B (zh) * 2017-02-23 2020-06-30 天津大学 基于运动显著性的立体视频质量评价方法

Also Published As

Publication number Publication date
CN110473200A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
Ma et al. Objective quality assessment for color-to-gray image conversion
Saad et al. DCT statistics model-based blind image quality assessment
US20170013191A1 (en) No-reference image and video quality evaluation
CN110443800B (zh) 视频图像质量的评价方法
Tourancheau et al. Impact of subjective dataset on the performance of image quality metrics
Sun et al. CVIQD: Subjective quality evaluation of compressed virtual reality images
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
Appina et al. Study of subjective quality and objective blind quality prediction of stereoscopic videos
CN112184672A (zh) 一种无参考图像质量评价方法及系统
Wang et al. Screen content image quality assessment with edge features in gradient domain
CN112132774A (zh) 一种色调映射图像的质量评价方法
Vora et al. Analysis of compressed image quality assessments, m
Opozda et al. The survey of subjective and objective methods for quality assessment of 2D and 3D images
CN111311584B (zh) 视频质量评估方法及装置、电子设备、可读介质
CN110473200B (zh) 全参考的视频图像质量评价方法
Shoham et al. A novel perceptual image quality measure for block based image compression
Yang et al. EHNQ: Subjective and objective quality evaluation of enhanced night-time images
Gao et al. A content-based image quality metric
Seghir et al. Edge-region information measure based on deformed and displaced pixel for Image Quality Assessment
CN109587474B (zh) 基于失真恢复度的无参考视频质量评价方法及装置
CN114092359A (zh) 花屏处理方法、装置和电子设备
JP2010213356A (ja) 画像データを処理する方法、及び装置
Bondzulic et al. Gradient-based image quality assessment
Ameer et al. Objective image quality measure based on weber-weighted mean absolute error
Wadhokar et al. SSIM technique for comparison of images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant