CN108513132B - 一种视频质量评价方法及装置 - Google Patents

一种视频质量评价方法及装置 Download PDF

Info

Publication number
CN108513132B
CN108513132B CN201710102413.4A CN201710102413A CN108513132B CN 108513132 B CN108513132 B CN 108513132B CN 201710102413 A CN201710102413 A CN 201710102413A CN 108513132 B CN108513132 B CN 108513132B
Authority
CN
China
Prior art keywords
determining
image block
image
video
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710102413.4A
Other languages
English (en)
Other versions
CN108513132A (zh
Inventor
刘祥凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Kress Semiconductor Technology Co ltd
Original Assignee
Sanechips Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanechips Technology Co Ltd filed Critical Sanechips Technology Co Ltd
Priority to CN201710102413.4A priority Critical patent/CN108513132B/zh
Priority to PCT/CN2017/119261 priority patent/WO2018153161A1/zh
Publication of CN108513132A publication Critical patent/CN108513132A/zh
Application granted granted Critical
Publication of CN108513132B publication Critical patent/CN108513132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频质量评价方法及装置，其中，所述方法包括：将需要进行质量评价的视频中每一帧图像按照预设大小划分图像块；根据每一图像块的空时域梯度的标准差和像素值的均方误差确定所述每一图像块的失真度量值；根据所述每一帧图像所包含的图像块的失真度量值确定所述每一帧图像的失真度量值；根据所述每一帧图像的失真度量值确定所述视频的失真度量值。

Description

一种视频质量评价方法及装置
技术领域
本发明涉及多媒体信息处理领域，尤其涉及一种视频质量评价方法及装置。
背景技术
视频质量评价可以分为两大类，分别是主观视频质量评价和客观视频质量评价。主观视频质量评价是指组织测试者按照规定的实验流程观看一组存在失真的视频，并对视频的质量进行主观打分。主观视频质量评价可以对每个测试视频的得分计算均值作为平均主观得分(Mean Opinion Score，MOS)，也可以将每个测试视频的得分与该视频对应的原始参考视频的得分进行相减之后计算差分平均主观得分(Difference Mean Opinion Score，DMOS)。主观视频质量评价可以得到最接近人眼真实视觉感知质量的结果，但实验耗时费力，无法应用于实时视频压缩与处理系统。
客观视频质量评价算法可以自动预测视频的质量，因而更具实用性。为了评估客观视频质量评价算法是否能够准确预测人眼的真实视觉感知质量，需要较为全面完整的数据集进行测试验证。主观视频质量评价的最主要贡献就是建立公开的测试视频数据集并提供相应的MOS或DMOS数据，用于测试不同客观视频质量评价算法的性能。
客观视频质量评价算法根据计算过程中是否需要用到原始参考视频而大致可以被分为三类，分别是全参考(Full Reference，FR)、半参考(Reduce Reference，RR)和无参考(No Reference，NR)的视频质量评价算法。计算视频图像的失真最直接的方法是将原始图像与失真图像逐像素比较，例如最基本的图像失真度量方法均方误差(Mean SquareError，MSE)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)。但实际上直接逐像素比较的过程并不能体现人眼对视频图像失真的感知特点，于是出现了提取原始图像和失真图像的某种像素统计特征并进行比较的算法，例如结构相似度算法(Structural SimilarityIndex Measurement，SSIM)。从本质上来看，全参考视频质量评价算法的基本过程就是分别提取原始视频图像和失真视频图像的多项视觉统计特征组成特征向量，并通过比较特征向量之间的距离来估计视频图像的失真程度。
目前全参考视频质量评价算法还有视频质量模型(Video Quality Model，VQM)算法、基于运动信息的视频失真度量准则(MOtion based Video Integrity Evaluationindex，MOVIE)算法。
现有的全参考视频质量算法的缺点是很难同时满足质量预测准确性与计算低复杂度的要求。PSNR因为计算简单，所以被广泛的应用于视频编码等对实时性要求较高的视频图像处理系统当中，然而实验结果表明PSNR所计算出的视频质量得分与真实的主观打分之间相关性较差。VQM和MOVIE等先进的视频质量评价算法能够有效的预测视频质量，接近人眼对视频的主观感知质量评分。但是VQM和MOVIE算法的计算极其复杂，只能应用于离线计算视频质量。由于视频编码器需要在编码过程中实时计算重建图像的失真并以此为依据对编码参数进行选择决策，因此VQM和MOVIE等视频质量评价算法无法应用于视频编码器。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种视频质量评价方法及装置，能够在保证视频质量估计的准确性的同时，降低了计算复杂度，进而能够应用于实时性要求较高的视频编码等视频图像处理系统。
为达到上述目的，本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供一种视频质量评价方法，所述方法包括：
将需要进行质量评价的视频中每一帧图像按照预设大小划分图像块；
根据每一图像块的空时域梯度的标准差和像素值的均方误差确定所述每一图像块的失真度量值；
根据所述每一帧图像所包含的图像块的失真度量值确定所述每一帧图像的失真度量值；
根据所述每一帧图像的失真度量值确定所述视频的失真度量值。
第二方面，本发明实施例提供一种视频质量评价装置，所述装置包括：
划分模块，用于将需要进行质量评价的视频中每一帧图像按照预设大小划分图像块；
第一确定模块，用于根据每一图像块的空时域梯度的标准差和像素值的均方误差确定所述每一图像块的失真度量值；
第二确定模块，用于根据所述每一帧图像所包含的图像块的失真度量值确定所述每一帧图像的失真度量值；
第三确定模块，用于根据所述每一帧图像的失真度量值确定所述视频的失真度量值。
本发明实施例提供一种视频质量评价方法及装置，其中，所述方法包括：首先将需要进行质量评价的视频中每一帧图像按照预设大小划分图像块；然后根据每一图像块的空时域梯度的标准差和像素值的均方误差确定所述每一图像块的失真度量值；再根据所述每一帧图像所包含的图像块的失真度量值确定所述每一帧图像的失真度量值；最后根据所述每一帧图像的失真度量值确定所述视频的失真度量值。如此，不仅能够保证视频质量估计的准确性，并且降低了计算复杂度，进而能够应用于实时性要求较高的视频编码等视频图像处理系统。
附图说明
在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为本发明实施例一视频质量评价方法的实现流程示意图；
图2为本发明实施例二视频质量评价方法的实现流程示意图；
图3为本发明实施例二用于计算像素水平梯度的第一模板；
图4为本发明实施例二用于计算像素垂直梯度的第二模板；
图5为本发明实施例二用于计算像素时域梯度的第三模板；
图6为本发明实施例三提供的视频质量评价方法计算得到的视频失真分数与LIVE数据集视频主观实验失真DMOS分数之间的相关性散点图；
图7为VQM方法计算得到的视频失真分数与LIVE数据集视频主观实验失真DMOS分数之间的相关性散点图；
图8为PSNR方法计算得到的视频失真分数与LIVE数据集视频主观实验失真DMOS分数之间的相关性散点图；
图9为SSIM方法计算得到的视频失真分数与LIVE数据集视频主观实验失真DMOS分数之间的相关性散点图；
图10为本发明实施例四视频质量评价装置的组成结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例一
本发明实施例提供一种视频质量评价方法，应用于视频质量评价装置，该视频质量评价装置在实际应用中包括但不限于是计算机、平板电脑、智能手机等终端。图1为本发明实施例一视频质量评价方法的实现流程示意图，如图1所示，所述方法包括以下步骤：
步骤S101，将需要进行质量评价的视频中每一帧图像按照预设大小划分图像块；
这里，所述图像块的大小可以根据实际需求进行设定，一般设置为行数和列数相同的图像块，比如设置为8*8或者16*16的图像块。
步骤S102，根据每一图像块的空时域梯度的标准差和像素的均方误差确定所述每一图像块的失真度量值；
这里，所述步骤S102进一步包括：
步骤S102a，确定所述图像块中每一像素点的空时域梯度；
这里，所述图像块中至少包括一个像素点。
所述步骤S102a首先计算所述图像块中的每一个像素点的水平梯度、垂直梯度和时域梯度，再根据每一像素点的水平梯度、垂直梯度和时域梯度按照公式(1-1)来计算每一像素点的空时域梯度。
Figure BDA0001232130730000041
在公式(1-1)中，
Figure BDA0001232130730000042
为所述像素点的空时域梯度、
Figure BDA0001232130730000043
为所述像素点的水平梯度、
Figure BDA0001232130730000044
为所述像素点的垂直梯度、
Figure BDA0001232130730000045
为所述像素点的时域梯度。
步骤S102b，确定所述图像块的空时域梯度的标准差；
步骤S102c，确定所述图像块的像素值的均方误差；
步骤S102d，根据所述图像块的空时域梯度的标准差和像素值的均方误差，确定所述图像块的失真度量值。
这里，按照公式(1-2)确定所述图像块的失真度量值。
Figure BDA0001232130730000051
公式(1-2)中，D为所述图像块的失真度量值，MSE为所述图像块的像素值的均方误差，σ为所述图像块的空时域梯度的标准差。
根据人眼视觉感知的相关研究成果可知，人眼对于图像的边缘或纹理区域的失真不敏感，对于平坦区域的失真较为敏感。同时，人眼对于快速运动的视频图像的失真不敏感。因此，针对这一人眼视觉特性，可以在原有的视频失真的基础上，将图像块的失真除以该图像块的空时域梯度值的标准差，从而体现人眼对空时域内容复杂的视频失真不敏感这一视觉感知特性。这样，不仅能够保证视频质量估计的准确性，并且降低了计算复杂度。
步骤S103，根据所述视频中每一帧图像所包含的图像块的失真度量值确定所述每一帧图像的失真度量值；
这里，将所述每一帧的所包含的所有图像块的失真度量值的平均值确定为所述视频的失真度量值。
步骤S104，根据所述视频所包含的每一帧图像的失真度量值确定所述视频的失真度量值。
这里，将所述视频中所包含的所有帧的图像的失真度量值的平均值确定为所述视频的失真度量值。
本发明实施例中，所述方法包括：首先将需要进行质量评价的视频中每一帧图像按照预设大小划分图像块；然后根据每一图像块的空时域梯度的标准差和像素值的均方误差确定所述每一图像块的失真度量值；再根据所述每一帧图像所包含的图像块的失真度量值确定所述每一帧图像的失真度量值；最后根据所述每一帧图像的失真度量值确定所述视频的失真度量值。如此，不仅能够保证视频质量估计的准确性，并且降低了计算复杂度，进而能够应用于实时性要求较高的视频编码等视频图像处理系统。
实施例二
基于前述的实施例，本发明实施例再提供一种视频质量评价方法，应用于视频质量评价装置，该视频质量评价装置在实际应用中包括但不限于是计算机、平板电脑、智能手机等终端。图2为本发明实施例一视频质量评价方法的实现流程示意图，如图2所示，所述方法包括以下步骤：
步骤S201，获取第一视频和第二视频。
这里，所述第一视频为需要进行质量评价的视频，也即发生了失真的视频。所述第二视频为所述需要进行质量评价的视频的原始视频，也即没有发生的失真的视频。
这里，获取第一视频包括获取第一频的每一帧图像中所有像素点的像素值。相应地，获取第二视频包括获取第二视频的每一帧图像中所有像素点的像素值。
步骤S202，将所述第一视频和所述第二视频中每一帧图像按照预设大小划分图像块；
这里，对所述第一视频和所述第二视频进行划分时，是按照同样的大小进行划分的。
比如在本实施例中，将所述第一视频和第二视频按照4*4的大小划分图像块。
步骤S203，确定所述第一视频中每一图像块的空时域梯度的标准差；
这里，所述步骤S203进一步包括：
步骤S203a，根据预设的第一模板，确定所述第一视频中每一图像块中每一像素点的水平梯度；
这里，所述第一模板为用于计算像素水平梯度的模板，所述第一模板如图3所示，所述第一模板的第一列是需要进行计算的像素点左侧的一列的权值，第二列是需要进行计算的像素点所在的列的权值，第三列是需要进行计算的像素点右侧一列的权值。
按照公式(2-1)计算所述第一视频中第k帧图像的位置为(i，j)像素点的水平梯度
Figure BDA0001232130730000071
(i，j)表示像素点位于图像的第i行，第j列：
Figure BDA0001232130730000072
在公式(2-1)中，f(k,i,j)为所述第一视频中第k帧的位置为(i，j)像素点的像素值。
步骤S203b，根据预设的第二模板，确定所述第一视频中每一图像块中每一像素点的垂直梯度；
这里，所述第二模板为用于计算像素垂直梯度的模板，所述第二模板如图4所示，所述第二模板的第一行是需要计算的像素点上面一行的权值，第二行是需要计算的像素点所在行的权值，第三行也即需要计算的像素点下面一行的权值。
按照公式(2-2)计算所述第一视频中第k帧的位置为(i，j)像素点的水平梯度
Figure BDA0001232130730000073
Figure BDA0001232130730000074
在公式(2-2)中，f(k,i,j)为所述第一视频中第k帧的位置为(i，j)像素点的像素值。
步骤S203c，根据预设的第三模板，计算所述第一视频中每一图像块中每一像素点的时域梯度；
这里，第三模板为用于计算像素时域梯度的模板，所述第三模板如图5所示，所述第三模板中有三个3×3的矩阵，其中，左边3×3的矩阵为需要计算的像素点所在帧的前一帧图像的权值，中间的3×3矩阵为需要计算的像素点所在帧的权值，右边3×3的矩阵为需要计算的像素点所在帧的后一帧图像的权值。
按照公式(2-3)计算所述第一视频中第k帧图像中位置为(i，j)像素点的时域梯度
Figure BDA0001232130730000081
Figure BDA0001232130730000082
这里，需要说明的是，图3所示的第一模板、图4所示的第二模板以及图5所示的第三模板仅仅是示例性说明，所述第一模板、所述第二模板以及所述第三模板在实际应用中可以根据实际需求进行设定。比如，第一模板、第二模板跟第三模板的大小可以是N×N，其中，N为大于1的奇数，例如3×3，5×5，7×7。
以第一模板为例，在权值大小的设置上除了要计算的像素点所在列的权值为0外，要计算的像素点左侧及右侧的权值可以根据实际需求设定。但设定时需遵循左右两侧对称位置上的权值的绝对值相同，且一侧权值为正，一侧权值为负的原则，另外，还需要遵循离要计算的像素点越近像素点的权值的绝对值越大的原则。
例如，以图3为例，第二列为要计算的像素点所在列，因此第二列权值为0，第一列与第三列对称位置的权值的绝对值相同，第一列为负，第三列为正。并且离要计算的像素点近的像素点的权值(6)大于离要计算的像素点远的像素点的权值(3)大。
同样地，第二模板的权值的设置需要保证要计算的像素点所在行的权值为0，要计算的像素点的上侧与下侧的权值对称位置上的权值的绝对值相同，且一侧权值为正，一侧权值为负，以及离要计算的像素点越近的像素点的权值的绝对值越大。
例如，以图4为例，第二行为要计算的像素点所在行，因此第二行权值为0，第一行与第三行对称位置的权值的绝对值相同，第一行为负，第三行为正。并且离要计算的像素点近的像素点的权值(6)大于离要计算的像素点远的像素点的权值(3)大。
第三模板的权值的设置要保证要计算的像素点所在帧的权值为0，要计算的像素点的前一帧与后一帧对称位置上的权值的绝对值相同，且一侧权值为正，一侧权值为负，以及离要计算的像素点越近的像素点的权值的绝对值越大。
例如，以图5为例，中间3×3的矩阵是要计算的像素点所在帧的权值，该矩阵为0，左侧3×3的矩阵是要计算的像素点所在帧的前一帧的权值，右侧3×3的矩阵是要计算的像素点所在帧的后一帧的权值，左侧3×3的矩阵与右侧3×3的矩阵对称位置上权值的绝对值相同，且一侧为负一侧为正。并且离要计算的像素点近的像素点的权值(6)大于离要计算的像素点远的像素点的权值(3)大。
步骤S203d，按照公式(1-1)确定所述第一视频中每一图像块的每一像素点的空时域梯度；
步骤S203e，根据所述每一图像块的每一像素点的空时域梯度确定所述每一图像块的空时域梯度的标准差。
步骤S204，确定所述第一视频中每一图像块的像素值的均方误差；
这里，比如要确定所述第一视频中第k帧图像中第一个图像块的像素值的均方误差MSE1，按照公式(2-4)计算：
Figure BDA0001232130730000091
其中，f(k,i,j)为所述第一视频中第k帧的位置为(i，j)像素点的像素值，g(k,i,j)为所述第二视频中第k帧的位置为(i，j)像素点的像素值。
步骤S205，根据所述第一视频中每一图像块的空时域梯度的标准差和像素值的均方误差确定所述第一视频中每一图像块的失真度量值；
这里，按照公式(1-2)确定所述第一视频中每一图像块的失真度量值。
步骤S206，根据所述第一视频中每一帧图像所包含的图像块的失真度量值确定所述每一帧图像的失真度量值；
步骤S207，根据所述第一视频中每一帧图像的失真度量值确定所述视频的失真度量值。
需要说明的是，本实施例中与其它实施例中相同步骤或概念的解释可以参考其它实施例中的描述，此处不再赘述。
本发明实施例中，所述方法包括：首先获取第一视频和第二视频，并将将所述第一视频和所述第二视频中每一帧图像按照预设大小划分图像块；然后根据所述第一视频中每一图像块的空时域梯度的标准差和像素值的均方误差确定所述每一图像块的失真度量值；再根据所述第一视频中每一帧图像所包含的图像块的失真度量值确定所述每一帧图像的失真度量值；最后根据所述第一视频中每一帧图像的失真度量值确定所述视频的失真度量值。如此，不仅能够保证视频质量估计的准确性，并且降低了计算复杂度，进而能够应用于实时性要求较高的视频编码等视频图像处理系统。
实施例三
本发明实施例先提供一种视频质量评估方法，以克服现有视频质量评价方法中存在的无法同时实现视频质量预测准确性和保持较低计算复杂度的问题。所述方法包括以下步骤：
第一步，对视频图像的每一个像素点，计算水平梯度、垂直梯度和时域梯度，在此基础之上计算该像素的空时域梯度；
这里，使用如图3所示的模板计算像素水平梯度
Figure BDA0001232130730000101
使用如图4所示的模板，计算像素垂直梯度
Figure BDA0001232130730000102
使用如图5所示的模板，计算像素的时域梯度
Figure BDA0001232130730000103
需要注意的是，图3-图5中的梯度计算模板只是一种可选方案，实际中可以使用多种梯度计算模板作为替代方案。此后，按照公式(1-1)计算该像素的空时域梯度。
第二步，对每一个图像块，统计该图像块内像素空时域梯度的标准差；
这里，在具体实现过程中，可以以8×8块或16×16块为单位，统计每个图像块内的像素空时域梯度值的标准差σ，以σ作为表征该图像块内容的空时域复杂度的依据。
第三步，统计每个图像块的均方误差(Mean Square Error，MSE)，将MSE除以该图像块的空时域梯度标准差并取对数，作为该图像块的最终失真度量值。
这里，采用传统的均方误差作为视频的客观失真计算准则，在此基础之上按照公式(1-2)根据视频空时域内容复杂度σ对视频的最终失真判定D进行调整。
下面对本发明实施例中提供的视频质量评价方法与现有技术中的PSNR算法、SSIM算法以及VQM算法进行对比。
PSNR算法，是将原始视频和失真视频中的每一帧图像逐像素进行比较，是一种基于独立的像素差值的算法，忽略了序列内容和观测条件对失真可见度的影响，因此它往往和主观感知的视频质量的一致性较差。
SSIM算法是一种提取原始视频和失真视频的图像的某一种像素统计特征并进行计算的算法。
VQM算法将原始视频和失真视频通过不同的滤波器(如边缘检测)分解到不同的通道(如边缘、亮度、色度、帧差)，然后分别提取像素级特征和空时域图像块级的统计特征。像素级的特征包括对每个像素提取梯度的幅值、梯度的方向、色差值、对比度与帧差等。时空域图像块的统计特征包括在8*8的图像块范围内计算统计特征(像素级特征的均值、标准差)，从而将像素的特征整合上升为时空域图像块的特征。最终经过对各项特征失真的空时域整合和加权融合得到视频序列的失真。
要测试客观视频质量评价算法的预测准确性，主要是通过测量算法预测得到的视频失真与该视频实际的MOS值之间的相关性和误差大小来实现的。主要采用的评价准则包括皮尔森线性相关系数(Pearson Linear Correlation Coefficient，PLCC)、斯皮尔曼秩相关系数(Spearman Rank Order Correlation Coefficient，SROCC)。其中PLCC主要评价算法的预测准确性，即评价预测失真与真实MOS之间的线性拟合度。SROCC主要评价算法预测的单调性，即评价预测失真排序与真实MOS的排序是否一致。
采用本发明所提出的视频质量评价算法的仿真实验结果如下：
实验所采用的视频主观质量评价数据集为美国德克萨斯大学图像与视频工程实验室(Laboratory for Image and Video Engineering，LIVE)的LIVE数据集，该数据集中包括了无线网传输失真、有线网传输失真、H.264压缩失真、MPEG-2压缩失真等四种类型的视频失真。实验的对比方法包括经典的客观视频质量评价方法PSNR和SSIM，以及美国电信和信息管理局(National Telecommunications and Information Administration，NTIA)建立的视频质量模型VQM。
本发明实施例提供的视频质量评价方法以及现有的各种主流视频质量评价算法与主观打分数据的PLCC相关系数如表1所示：
表1、本发明实施例提供的视频质量评估方法和PSNR、SSIM、VQM算法得到的结果与主观打分数据的PLCC相关系数表
Figure BDA0001232130730000121
本发明实施例提供的视频质量评价方法以及现有的各种主流视频质量评价算法与主观打分数据的SORCC相关系数如表2所示：
表2、本发明实施例提供的视频质量评估方法和PSNR、SSIM、VQM算法得到的结果与主观打分数据的SORCC相关系数表
Figure BDA0001232130730000122
本发明所述的视频质量评价算法所预测的视频失真与LIVE数据集的实际主观DMOS分数之间的相关性如图6所示(横坐标为本发明所述方法的视频失真预测值，纵坐标为实际的视频打分DMOS值)。VQM、PSNR、SSIM三种对比方法所预测的视频质量分数与LIVE数据集的实际主观DMOS分数之间的相关性分别如图7-图9所示。
需要注意的是，由于本发明实施例提供的方法与VQM方法计算出的值均为视频的失真估计(值越大表示视频失真越大)，所以图6、图7中的横坐标与纵坐标数据为正相关。PSNR方法与SSIM方法计算出的值为视频的质量估计(值越小表示失真越大)，所以图8、图9中的横坐标与纵坐标数据为负相关。
通过仿真结果可以看出采用本发明实施例提供的视频质量评价方法，与现有技术相比，取得了与人眼主观感知质量更加一致的视频质量预测结果，同时仅需要较低的计算复杂度。
实施例四
本发明实施例提供一种视频质量评价装置，图10为本发明实施例四视频质量评价装置的组成结构示意图，如图10所示，所述装置1000包括：划分模块1001、第一确定模块1002、第二确定模块1003、第三确定模块1004，其中：
所述划分模块1001，用于将需要进行质量评价的视频中每一帧图像按照预设大小划分图像块。
所述第一确定模块1002，用于根据每一图像块的空时域梯度的标准差和像素值的均方误差确定所述每一图像块的失真度量值。
这里，所述第一确定模块1002进一步包括：
第一确定单元，用于确定所述图像块中每一像素点的空时域梯度；其中，所述图像块中至少包括一个像素点；
这里，所述第一确定单元进一步包括：第一确定子单元，用于确定所述图像块中每一像素点的水平梯度、垂直梯度和时域梯度；第二确定子单元，用于根据所述图像块中每一像素点的水平梯度、垂直梯度和时域梯度确定所述图像块中每一像素点的空时域梯度。
所述第二确定子单元进一步包括：确定子子单元，用于按照公式(1-1)确定所述图像块中每一像素点的空时域梯度，其中，
Figure BDA0001232130730000131
为所述像素点的空时域梯度、
Figure BDA0001232130730000132
为所述像素点的水平梯度、
Figure BDA0001232130730000133
为所述像素点的垂直梯度、
Figure BDA0001232130730000134
为所述像素点的时域梯度。
第二确定单元，用于确定所述图像块的空时域梯度的标准差；
第三确定单元，用于确定所述图像块的像素值的均方误差；
第四确定单元，用于根据所述图像块的空时域梯度的标准差和像素值的均方误差，确定所述图像块的失真度量值。
这里，所述第四确定单元进一步包括：
第三确定子单元，用于按照公式(1-2)确定所述每一图像块的失真度量值，其中，D为所述图像块的失真度量值，MSE为所述图像块的像素值的均方误差，σ为所述图像块的空时域梯度的标准差。
所述第二确定模块1003，用于根据所述每一帧图像所包含的图像块的失真度量值确定所述每一帧图像的失真度量值。
这里，所述第二确定模块包括：第五确定单元，用于将所述每一帧的所包含的所有图像块的失真度量值的平均值确定为所述视频的失真度量值；
所述第三确定模块1004，用于根据所述每一帧图像的失真度量值确定所述视频的失真度量值。
这里，所述第三确定模块包括：第六确定单元，用于将所述视频中所包含的所有帧的图像的失真度量值的平均值确定为所述视频的失真度量值。
这里需要指出的是：以上视频质量评价装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明视频质量评价装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (4)

1.一种视频质量评价方法，其特征在于，所述方法包括：
将需要进行质量评价的视频中每一帧图像按照预设大小划分图像块；
根据每一图像块的空时域梯度的标准差和像素值的均方误差确定所述每一图像块的失真度量值；
根据所述每一帧图像所包含的图像块的失真度量值确定所述每一帧图像的失真度量值；
根据所述每一帧图像的失真度量值确定所述视频的失真度量值；
其中，所述根据每一图像块的空时域梯度的标准差和像素值的均方误差确定所述每一图像块的失真度量值，包括：
确定所述图像块中每一像素点的水平梯度、垂直梯度和时域梯度；其中，所述图像块中至少包括一个像素点；
根据所述图像块中每一像素点的水平梯度、垂直梯度和时域梯度确定所述图像块中每一像素点的空时域梯度；
确定所述图像块的空时域梯度的标准差；
确定所述图像块的像素值的均方误差；
根据所述图像块的空时域梯度的标准差和像素值的均方误差，确定所述图像块的失真度量值；
其中，所述根据所述图像块中每一像素点的水平梯度、垂直梯度和时域梯度确定所述图像块中每一像素点的空时域梯度，包括：
按照公式
Figure FDA0002605847980000011
确定所述图像块中每一像素点的空时域梯度，其中，▽S-T为所述像素点的空时域梯度、▽H为所述像素点的水平梯度、▽V为所述像素点的垂直梯度、▽T为所述像素点的时域梯度；
所述根据所述图像块的空时域梯度标准差和像素值的均方误差，确定所述图像块的失真度量值，包括：
按照公式
Figure FDA0002605847980000012
确定所述每一图像块的失真度量值，其中，D为所述图像块的失真度量值，MSE为所述图像块的像素值的均方误差，σ为所述图像块的空时域梯度的标准差。
2.根据权利要求1中所述的方法，其特征在于，所述根据所述视频中每一帧的图像所包含的图像块的失真度量值确定所述每一帧的图像的失真度量值，包括：将所述每一帧的所包含的所有图像块的失真度量值的平均值确定为所述帧的图像的失真度量值；
对应地，所述根据所述每一帧的图像的失真度量值确定所述视频的失真度量值，包括：将所述视频中所包含的所有帧的图像的失真度量值的平均值确定为所述视频的失真度量值。
3.一种视频质量评价装置，其特征在于，所述装置包括：
划分模块，用于将需要进行质量评价的视频中每一帧图像按照预设大小划分图像块；
第一确定模块，用于根据每一图像块的空时域梯度的标准差和像素值的均方误差确定所述每一图像块的失真度量值；
第二确定模块，用于根据所述每一帧图像所包含的图像块的失真度量值确定所述每一帧图像的失真度量值；
第三确定模块，用于根据所述每一帧图像的失真度量值确定所述视频的失真度量值；
其中，所述第一确定模块包括：
第一确定单元，用于确定所述图像块中每一像素点的空时域梯度；其中，所述图像块中至少包括一个像素点；
第二确定单元，用于确定所述图像块的空时域梯度的标准差；
第三确定单元，用于确定所述图像块的像素值的均方误差；
第四确定单元，用于根据所述图像块的空时域梯度的标准差和像素值的均方误差，确定所述图像块的失真度量值；
所述第一确定单元包括：
第一确定子单元，用于确定所述图像块中每一像素点的水平梯度、垂直梯度和时域梯度；
第二确定子单元，用于根据所述图像块中每一像素点的水平梯度、垂直梯度和时域梯度确定所述图像块中每一像素点的空时域梯度；
其中，所述第二确定子单元包括：确定子子单元，用于按照公式
Figure FDA0002605847980000031
确定所述图像块中每一像素点的空时域梯度，其中，▽S-T为所述像素点的空时域梯度、▽H为所述像素点的水平梯度、▽V为所述像素点的垂直梯度、▽T为所述像素点的时域梯度；
所述第四确定单元包括：
第三确定子单元，用于按照公式
Figure FDA0002605847980000032
确定所述每一图像块的失真度量值，其中，D为所述图像块的失真度量值，MSE为所述图像块的像素值的均方误差，σ为所述图像块的空时域梯度的标准差。
4.根据权利要求3中所述的装置，其特征在于，所述第二确定模块包括：第五确定单元，用于将所述每一帧的所包含的所有图像块的失真度量值的平均值确定为所述帧的图像的失真度量值；
对应地，所述第三确定模块包括：第六确定单元，用于将所述视频中所包含的所有帧的图像的失真度量值的平均值确定为所述视频的失真度量值。
CN201710102413.4A 2017-02-24 2017-02-24 一种视频质量评价方法及装置 Active CN108513132B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710102413.4A CN108513132B (zh) 2017-02-24 2017-02-24 一种视频质量评价方法及装置
PCT/CN2017/119261 WO2018153161A1 (zh) 2017-02-24 2017-12-28 一种视频质量评价方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710102413.4A CN108513132B (zh) 2017-02-24 2017-02-24 一种视频质量评价方法及装置

Publications (2)

Publication Number Publication Date
CN108513132A CN108513132A (zh) 2018-09-07
CN108513132B true CN108513132B (zh) 2020-11-10

Family

ID=63253122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710102413.4A Active CN108513132B (zh) 2017-02-24 2017-02-24 一种视频质量评价方法及装置

Country Status (2)

Country Link
CN (1) CN108513132B (zh)
WO (1) WO2018153161A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110401832B (zh) * 2019-07-19 2020-11-03 南京航空航天大学 一种基于时空管道建模的全景视频客观质量评估方法
CN111083468B (zh) * 2019-12-23 2021-08-20 杭州小影创新科技股份有限公司 一种基于图像梯度的短视频质量评价方法及系统
CN112365418B (zh) * 2020-11-11 2024-05-03 抖音视界有限公司 一种图像失真评测的方法、装置及计算机设备
CN114332088B (zh) * 2022-03-11 2022-06-03 电子科技大学 一种基于运动估计的全参考视频质量评估方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742355A (zh) * 2009-12-24 2010-06-16 厦门大学 基于空时域特征提取的无线视频部分参考测评方法
CN102984540A (zh) * 2012-12-07 2013-03-20 浙江大学 一种基于宏块域失真度估计的视频质量评价方法
CN103458265A (zh) * 2013-02-01 2013-12-18 深圳信息职业技术学院 一种视频质量评价方法、装置
US9225962B2 (en) * 2012-07-16 2015-12-29 Cisco Technology, Inc. Stereo matching for 3D encoding and quality assessment
CN106028026A (zh) * 2016-05-27 2016-10-12 宁波大学 一种基于时空域结构的高效视频质量客观评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742355A (zh) * 2009-12-24 2010-06-16 厦门大学 基于空时域特征提取的无线视频部分参考测评方法
US9225962B2 (en) * 2012-07-16 2015-12-29 Cisco Technology, Inc. Stereo matching for 3D encoding and quality assessment
CN102984540A (zh) * 2012-12-07 2013-03-20 浙江大学 一种基于宏块域失真度估计的视频质量评价方法
CN103458265A (zh) * 2013-02-01 2013-12-18 深圳信息职业技术学院 一种视频质量评价方法、装置
CN106028026A (zh) * 2016-05-27 2016-10-12 宁波大学 一种基于时空域结构的高效视频质量客观评价方法

Also Published As

Publication number Publication date
WO2018153161A1 (zh) 2018-08-30
CN108513132A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN108513132B (zh) 一种视频质量评价方法及装置
CN107123122B (zh) 无参考图像质量评价方法及装置
CN110751649B (zh) 视频质量评估方法、装置、电子设备及存储介质
CN102333233A (zh) 一种基于视觉感知的立体图像质量客观评价方法
CA3089584C (en) Techniques for predicting perceptual video quality based on complementary perceptual quality models
CN109831664B (zh) 基于深度学习的快速压缩立体视频质量评价方法
US11259029B2 (en) Method, device, apparatus for predicting video coding complexity and storage medium
CN104243973A (zh) 基于感兴趣区域的视频感知质量无参考客观评价方法
CN109429051B (zh) 基于多视图特征学习的无参考立体视频质量客观评价方法
US11700383B2 (en) Techniques for modeling temporal distortions when predicting perceptual video quality
CN109859166A (zh) 一种基于多列卷积神经网络的无参3d图像质量评估方法
Ghadiyaram et al. A no-reference video quality predictor for compression and scaling artifacts
Hong et al. A spatio-temporal perceptual quality index measuring compression distortions of three-dimensional video
CN117237279A (zh) 一种非均匀失真全景图像盲质量评价方法及系统
Wang et al. Perceptually quasi-lossless compression of screen content data via visibility modeling and deep forecasting
CN114332088A (zh) 一种基于运动估计的全参考视频质量评估方法
CN108257117B (zh) 图像曝光度的评测方法及装置
CN111311584B (zh) 视频质量评估方法及装置、电子设备、可读介质
CN112468808B (zh) 一种基于强化学习的i帧目标带宽分配方法及装置
CN110769262A (zh) 一种视频图像压缩方法及系统
Wu et al. No-reference video quality assessment based on similarity map estimation
Farah et al. Full-reference and reduced-reference quality metrics based on SIFT
Zhang et al. Multi-layer and Multi-scale feature aggregation for DIBR-Synthesized image quality assessment
Regis et al. Video quality assessment based on the effect of the estimation of the spatial perceptual information
Gao et al. Spatio-temporal salience based video quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221021

Address after: 610213 Industrial land in Southwest Airport Industrial Development Zone, Shuangliu District, Chengdu, Sichuan

Patentee after: Chengdu Kress Semiconductor Technology Co.,Ltd.

Address before: 518055 Zhongxing Industrial Park, Liuxian Avenue, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SANECHIPS TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right