CN106028026A - 一种基于时空域结构的高效视频质量客观评价方法 - Google Patents
一种基于时空域结构的高效视频质量客观评价方法 Download PDFInfo
- Publication number
- CN106028026A CN106028026A CN201610367702.2A CN201610367702A CN106028026A CN 106028026 A CN106028026 A CN 106028026A CN 201610367702 A CN201610367702 A CN 201610367702A CN 106028026 A CN106028026 A CN 106028026A
- Authority
- CN
- China
- Prior art keywords
- frame image
- coordinate position
- pixel
- pixel point
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 21
- 238000007500 overflow downdraw method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 abstract description 11
- 230000000007 visual effect Effects 0.000 abstract description 7
- 238000009499 grossing Methods 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 description 16
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于时空域结构的高效视频质量客观评价方法，其首先通过时空域梯度结合颜色信息计算时空域局部相似度，然后在空域融合阶段采用方差融合，将时空域局部相似度融合成帧级的客观质量值，再通过模拟人类视觉系统中三个重要的全局时域效应，即平滑效应、不对称追踪效应和时近效应，建立时域融合模型，对帧级的客观质量值进行时域融合，最终得到失真视频序列的客观质量值，通过对人类视觉时域效应建模，使得本发明的时域加权方法可以准确高效的评价失真视频的客观质量。
Description
技术领域
本发明涉及一种视频质量评价方法，尤其是涉及一种基于时空域结构的高效视频质量客观评价方法。
背景技术
视频质量评价(Video Quality Assessment，VQA)在视频相关应用的快速发展中起着关键作用，常用于各种各样视频服务的质量控制和各种视频处理算法的性能比较。视频质量客观评价研究通过算法估计视频质量，去逼近人类视觉系统感受到的视频质量。根据原始无失真视频的可用情况，视频质量客观评价方法通常可划分为三类：全参考(FullReference，FR)、半参考和无参考视频质量评价方法。由于全参考视频质量评价方法(FR-VQA)的准确性更高，因此在感知视频处理中得到了广泛应用，如视频压缩中的编码模块选择、量化参数配置、码率控制、错误隐藏等等。
全参考视频质量评价方法要求能够快速准确的评价视频的客观质量，实时处理能力就显得非常重要，如源端在线视频质量监控和率失真优化视频编码器的失真度量，同时，在其他的应用场合中，低复杂度也是全参考视频质量评价方法的一项非常重要的性能要求。像素级的全参考评价方法峰值信噪比(peak signal-to-noise ratio，PSNR)是视频处理领域目前应用最广的性能量化指标，由于峰值信噪比具有易于实现、评价速度快、性能稳定、物理意思明确等优势，因此在目前应用最广泛的视频编码标准H.264/AVC和最新的H.265/HEVC中，峰值信噪比依然是最主要的客观评价方法，然而，平等对待每个像素点的失真而没有考虑人类视觉系统的感知特性，这使得峰值信噪比与主观质量感受的一致性较低，从而阻碍了视频处理技术的进步，尤其是阻碍了视频压缩效率的进一步提升。
现有的全参考视频质量评价方法可以分为两类：第一类最直接的视频质量评价方法就是独立帧使用顶尖的图像质量评价方法，然后平均或者加权平均得到视频的质量，但是这类视频质量评价方法缺乏时域信息，评价效果较差；第二类方法分别考察空域和时域失真得到视频质量，或直接根据时空域信息进行评估，虽然这类视频质量评价方法的评价效果优于峰值信噪比，但是这类视频质量评价方法的复杂度都较高，部分需要非常耗时的运动估计，存在实现复杂、无法实时处理、不易集成等缺点而阻碍了这类视频质量评价方法的推广应用。
发明内容
本发明所要解决的技术问题是提供一种基于时空域结构的高效视频质量客观评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性，且计算复杂度低。
本发明解决上述技术问题所采用的技术方案为：一种基于时空域结构的高效视频质量客观评价方法，其特征在于包括以下步骤：
①令Sr表示无失真参考视频序列，令Sd表示Sr经失真后得到的失真视频序列，其中，Sr中包含的图像的总帧数和Sd中包含的图像的总帧数均为F帧，F>1，Sr中包含的图像和Sd中包含的图像的宽度均为W且高度均为H；将Sr中的所有图像各自的亮度分量构成的序列定义为Sr的亮度分量序列，并记为Yr；将Sr中的所有图像各自的第一色度分量构成的序列定义为Sr的第一色度分量序列，并记为Ur；将Sr中的所有图像各自的第二色度分量构成的序列定义为Sr的第二色度分量序列，并记为Vr；将Sd中的所有图像各自的亮度分量构成的序列定义为Sd的亮度分量序列，并记为Yd；将Sd中的所有图像各自的第一色度分量构成的序列定义为Sd的第一色度分量序列，并记为Ud；将Sd中的所有图像各自的第二色度分量构成的序列定义为Sd的第二色度分量序列，并记为Vd；上述，Yr、Ur、Vr、Yd、Ud、Vd中包含的图像的宽度均为W且高度均为H；
②采用三维Prewitt算子计算Yr的时空域梯度幅值序列，记为Gr，将Gr中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gr(x,y,t)，
同样，采用三维Prewitt算子计算Yd的时空域梯度幅值序列，记为Gd，将Gd中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gd(x,y,t)，
其中，t的初始值为1，1≤t≤F，1≤x≤W,1≤y≤H，Yrx(x,y,t)表示Yr的水平方向梯度幅值序列Yrx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yry(x,y,t)表示Yr的竖直方向梯度幅值序列Yry中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yrt(x,y,t)表示Yr的时间轴方向梯度幅值序列Yrt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydx(x,y,t)表示Yd的水平方向梯度幅值序列Ydx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydy(x,y,t)表示Yd的竖直方向梯度幅值序列Ydy中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydt(x,y,t)表示Yd的时间轴方向梯度幅值序列Ydt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，符号表示补零截断的卷积运算符号，经卷积运算得到的Yrx、Yry、Yrt的维度与Yr的维度相同，经卷积运算得到的Ydx、Ydy、Ydt的维度与Yd的维度相同，Fx、Fy、Ft对应表示三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板；
③计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部梯度相似度记为Gsim(x,y,t)，其中，c1为防止分式无意义的正常数；
④计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部颜色相似度记为Csim(x,y,t)，其中，Ur(x,y,t)表示Ur中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vr(x,y,t)表示Vr中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，Ud(x,y,t)表示Ud中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vd(x,y,t)表示Vd中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，c2和c3为防止分式无意义的正常数；
⑤根据Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，及Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部相似度记为QLS(x,y,t)，QLS(x,y,t)＝Gsim(x,y,t)×(Csim(x,y,t))λ，其中，λ用于调整颜色分量所占的权重，λ>0；
⑥采用方差融合方法计算Sd中的每帧图像的客观质量值，将Sd中的第t帧图像的客观质量值记为Qframe(t)，其中，Qmean(t)表示Sr中的第t帧图像中的所有像素点与Sd中的第t帧图像中对应像素点之间的时空域局部相似度的平均值，
⑦采用时域加权方法计算Sd的客观质量值，记为Q，其中，ΔQframe(t)＝Qframe(t)-QLP(t-1)，α表示质量上升时的权重，β表示质量下降时的权重，γ用于调整时近效应的强度。
所述的步骤⑤中取λ＝3。
所述的步骤⑦中取α＝0.03、β＝0.2、γ＝1000。
与现有技术相比，本发明的优点在于：
1)时空域梯度可以同时反映空域失真和时域失真，颜色信息在视频质量评价中非常重要，本发明方法结合时空域梯度幅值和颜色信息两个特征计算无失真参考视频序列中的每帧图像中的每个像素点与失真视频序列中对应图像中的对应像素点之间的时空域局部相似度，通过这些底层特征同时反映失真视频序列的空域失真和时域失真情况，避免了常用的基于运行估计的方法，使得本发明方法准确、快速。
2)本发明方法的空域融合采用方差融合，将时空域局部相似度融合成帧级的客观质量值，再通过模拟人类视觉系统中三个重要的全局时域效应，即平滑效应、不对称追踪效应和时近效应，建立时域融合模型，对帧级的客观质量值进行时域融合，最终得到失真视频序列的客观质量值，通过对人类视觉时域效应建模，使得本发明的时域加权方法可以准确高效的评价失真视频的客观质量。
3)本发明方法在衡量时域失真时，首先通过时空域局部梯度相似度反映局部时域失真，然后在时域融合阶段，通过模拟全局时域效应进行加权，对局部时域失真情况进行全局整合，这种方式避开了常用的从运动矢量中评价时域失真，无需进行耗时的运动估计，保证了本发明方法的高效性，计算复杂度低。
附图说明
图1为本发明方法的总体实现框图；
图2为三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
优秀的全参考视频质量评价方法，不但要有较高的预测准确性，对时空域失真都敏感，而且还要有尽可能低的计算复杂度，对视频序列进行实时处理。本发明通过时空域梯度幅值和颜色信息两个特征计算时空域局部相似度；再将整个视频序列看作动态的时间序列，先通过方差融合方法得到每帧图像的客观质量值，再模拟人类视觉系统中三个重要的全局时域效应，即平滑效应、不对称追踪效应和时近效应，对帧级的客观质量值进行时域融合，得到失真视频的客观质量值。底层特征计算简单且对时域失真和空域失真同时敏感，时域融合模型通过模拟时域效应，保证了本发明方法的准确性和高效性。
本发明提出的一种基于时空域结构的高效视频质量客观评价方法，其总体实现框图如图1所示，其包括以下步骤：
①令Sr表示无失真参考视频序列，令Sd表示Sr经失真后得到的失真视频序列，其中，Sr中包含的图像的总帧数和Sd中包含的图像的总帧数均为F帧，F>1，Sr中包含的图像和Sd中包含的图像的宽度均为W且高度均为H；将Sr中的所有图像各自的亮度分量构成的序列定义为Sr的亮度分量序列，并记为Yr；将Sr中的所有图像各自的第一色度分量构成的序列定义为Sr的第一色度分量序列，并记为Ur；将Sr中的所有图像各自的第二色度分量构成的序列定义为Sr的第二色度分量序列，并记为Vr；将Sd中的所有图像各自的亮度分量构成的序列定义为Sd的亮度分量序列，并记为Yd；将Sd中的所有图像各自的第一色度分量构成的序列定义为Sd的第一色度分量序列，并记为Ud；将Sd中的所有图像各自的第二色度分量构成的序列定义为Sd的第二色度分量序列，并记为Vd；上述，Yr、Ur、Vr、Yd、Ud、Vd中包含的图像的宽度均为W且高度均为H。
②采用三维Prewitt算子计算Yr的时空域梯度幅值序列，记为Gr，将Gr中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gr(x,y,t)，
同样，采用三维Prewitt算子计算Yd的时空域梯度幅值序列，记为Gd，将Gd中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gd(x,y,t)，
其中，t的初始值为1，1≤t≤F，1≤x≤W,1≤y≤H，Yrx(x,y,t)表示Yr的水平方向梯度幅值序列Yrx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yry(x,y,t)表示Yr的竖直方向梯度幅值序列Yry中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yrt(x,y,t)表示Yr的时间轴方向梯度幅值序列Yrt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydx(x,y,t)表示Yd的水平方向梯度幅值序列Ydx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydy(x,y,t)表示Yd的竖直方向梯度幅值序列Ydy中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydt(x,y,t)表示Yd的时间轴方向梯度幅值序列Ydt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，符号表示补零截断的卷积运算符号，经卷积运算得到的Yrx、Yry、Yrt的维度与Yr的维度相同，经卷积运算得到的Ydx、Ydy、Ydt的维度与Yd的维度相同，Fx、Fy、Ft对应表示三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板，Fx、Fy、Ft如图2所示，三维Prewitt算子在二维Prewitt算子的基础上通过现有技术手段可得到。
③计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部梯度相似度记为Gsim(x,y,t)，其中，c1为防止分式无意义的正常数，在本实施例中取c1＝90。
④计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部颜色相似度记为Csim(x,y,t)，其中，Ur(x,y,t)表示Ur中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vr(x,y,t)表示Vr中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，Ud(x,y,t)表示Ud中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vd(x,y,t)表示Vd中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，c2和c3为防止分式无意义的正常数，在本实施例中取c2＝c3＝300。
⑤根据Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，及Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部相似度记为QLS(x,y,t)，QLS(x,y,t)＝Gsim(x,y,t)×(Csim(x,y,t))λ，其中，λ用于调整颜色分量所占的权重，λ>0，在本实施例中取λ＝3。
⑥采用方差融合方法计算Sd中的每帧图像的客观质量值，将Sd中的第t帧图像的客观质量值记为Qframe(t)，其中，Qmean(t)表示Sr中的第t帧图像中的所有像素点与Sd中的第t帧图像中对应像素点之间的时空域局部相似度的平均值，
⑦采用时域加权方法计算Sd的客观质量值，记为Q，其中，ΔQframe(t)＝Qframe(t)-QLP(t-1)，α表示质量上升时的权重，β表示质量下降时的权重，γ用于调整时近效应的强度，在本实施例中取α＝0.03、β＝0.2、γ＝1000。
为进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
采用LIVE视频数据库和CSIQ视频数据库，LIVE视频数据库包含10段无失真视频，4种失真类型为MPEG-2压缩失真、H.264压缩失真、H.264压缩比特流经IP网络的传输失真和经无线网络的传输失真，总共150段失真视频，所有视频都是YUV420格式，分辨率为768×432，10秒长度，有25帧/秒和50帧/秒两种帧率；CSIQ视频数据库包含12段无失真视频，6种失真类型为运动JPEG压缩失真、H.264压缩失真、HEVC压缩失真、小波压缩失真、无线传输中的丢包失真和加性高斯白噪声失真，总共216段失真视频，所有视频都是YUV420格式，分辨率为832×480，10秒长度，有24帧/秒、25帧/秒、30帧/秒、50帧/秒和60帧/秒五种帧率。LIVE视频数据库和CSIQ视频数据库都提供了每段失真视频的平均主观意见分数。由于在YUV420格式的视频中，两个色度分量都只有亮度分量的1/4，因此为了使亮度分量和色度分量的维度匹配，首先对亮度分量在空域做2×2的均值滤波，然后以因子2进行下采样，再按照步骤①至步骤⑦的过程，以相同的方式计算每段失真视频的客观质量值。对于其他格式如YUV444和YUYV格式的视频，由于本发明方法要求亮度分量及第一色度分量和第二色度分量的维度相同，因此也应通过下采样或上采样处理，以使第一色度分量和第二色度分量的维度与亮度分量的维度保持一致，本发明方法中处理的视频中的每一帧的尺寸大小均一致。
这里，利用评估视频质量评价方法的3个常用客观参量作为评价指标，即Pearson线性相关性系数(Pearson Linear Correlation Coefficients，PLCC)、Spearman秩相关系数(Spearman Rank Order Correlation coefficient，SROCC)和均方根误差RMSE(RootedMean Squared Error，RMSE)。PLCC和SROCC的取值范围是[0,1]，其值越接近1，表明评价方法越好，反之，越差；RMSE的值越小说明评价方法越好，反之，越差。LIVE视频数据库表示评价性能的PLCC、SROCC和RMSE系数如表1所列，CSIQ视频数据库表示评价性能的PLCC、SROCC和RMSE系数如表2所列。从表1所列的数据可知，PLCC和SROCC的值都超过了0.84，从表2所列的数据可知，PLCC和SROCC的值都超过了0.80，也就是说，利用本发明方法计算得到的失真视频的客观质量值与平均主观意见分数之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。
表1在LIVE视频数据库上按本发明方法计算得到的每段失真视频的客观质量值与平均主观意见分数之间的相关性
表2在CSIQ视频数据库上按本发明方法计算得到的每段失真视频的客观质量值与平均主观意见分数之间的相关性
Claims (3)
1.一种基于时空域结构的高效视频质量客观评价方法，其特征在于包括以下步骤：
①令Sr表示无失真参考视频序列，令Sd表示Sr经失真后得到的失真视频序列，其中，Sr中包含的图像的总帧数和Sd中包含的图像的总帧数均为F帧，F>1，Sr中包含的图像和Sd中包含的图像的宽度均为W且高度均为H；将Sr中的所有图像各自的亮度分量构成的序列定义为Sr的亮度分量序列，并记为Yr；将Sr中的所有图像各自的第一色度分量构成的序列定义为Sr的第一色度分量序列，并记为Ur；将Sr中的所有图像各自的第二色度分量构成的序列定义为Sr的第二色度分量序列，并记为Vr；将Sd中的所有图像各自的亮度分量构成的序列定义为Sd的亮度分量序列，并记为Yd；将Sd中的所有图像各自的第一色度分量构成的序列定义为Sd的第一色度分量序列，并记为Ud；将Sd中的所有图像各自的第二色度分量构成的序列定义为Sd的第二色度分量序列，并记为Vd；上述，Yr、Ur、Vr、Yd、Ud、Vd中包含的图像的宽度均为W且高度均为H；
②采用三维Prewitt算子计算Yr的时空域梯度幅值序列，记为Gr，将Gr中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gr(x,y,t)，
同样，采用三维Prewitt算子计算Yd的时空域梯度幅值序列，记为Gd，将Gd中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gd(x,y,t)，
其中，t的初始值为1，1≤t≤F，1≤x≤W,1≤y≤H，Yrx(x,y,t)表示Yr的水平方向梯度幅值序列Yrx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yry(x,y,t)表示Yr的竖直方向梯度幅值序列Yry中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yrt(x,y,t)表示Yr的时间轴方向梯度幅值序列Yrt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydx(x,y,t)表示Yd的水平方向梯度幅值序列Ydx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydy(x,y,t)表示Yd的竖直方向梯度幅值序列Ydy中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydt(x,y,t)表示Yd的时间轴方向梯度幅值序列Ydt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，符号表示补零截断的卷积运算符号，经卷积运算得到的Yrx、Yry、Yrt的维度与Yr的维度相同，经卷积运算得到的Ydx、Ydy、Ydt的维度与Yd的维度相同，Fx、Fy、Ft对应表示三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板；
③计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部梯度相似度记为Gsim(x,y,t)，其中，c1为防止分式无意义的正常数；
④计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部颜色相似度记为Csim(x,y,t)，其中，Ur(x,y,t)表示Ur中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vr(x,y,t)表示Vr中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，Ud(x,y,t)表示Ud中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vd(x,y,t)表示Vd中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，c2和c3为防止分式无意义的正常数；
⑤根据Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，及Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部相似度记为QLS(x,y,t)，QLS(x,y,t)＝Gsim(x,y,t)×(Csim(x,y,t))λ，其中，λ用于调整颜色分量所占的权重，λ>0；
⑥采用方差融合方法计算Sd中的每帧图像的客观质量值，将Sd中的第t帧图像的客观质量值记为Qframe(t)，其中，Qmean(t)表示Sr中的第t帧图像中的所有像素点与Sd中的第t帧图像中对应像素点之间的时空域局部相似度的平均值，
⑦采用时域加权方法计算Sd的客观质量值，记为Q，其中，ΔQframe(t)＝Qframe(t)-QLP(t-1)，α表示质量上升时的权重，β表示质量下降时的权重，γ用于调整时近效应的强度。
2.根据权利要求1所述的一种基于时空域结构的高效视频质量客观评价方法，其特征在于所述的步骤⑤中取λ＝3。
3.根据权利要求1所述的一种基于时空域结构的高效视频质量客观评价方法，其特征在于所述的步骤⑦中取α＝0.03、β＝0.2、γ＝1000。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610367702.2A CN106028026B (zh) | 2016-05-27 | 2016-05-27 | 一种基于时空域结构的高效视频质量客观评价方法 |
| US15/214,456 US9756323B2 (en) | 2016-05-27 | 2016-07-20 | Video quality objective assessment method based on spatiotemporal domain structure |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610367702.2A CN106028026B (zh) | 2016-05-27 | 2016-05-27 | 一种基于时空域结构的高效视频质量客观评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106028026A true CN106028026A (zh) | 2016-10-12 |
| CN106028026B CN106028026B (zh) | 2017-09-05 |
Family
ID=57092227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610367702.2A Active CN106028026B (zh) | 2016-05-27 | 2016-05-27 | 一种基于时空域结构的高效视频质量客观评价方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9756323B2 (zh) |
| CN (1) | CN106028026B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316323A (zh) * | 2017-06-28 | 2017-11-03 | 北京工业大学 | 基于多尺度分析法建立的无参考图像质量评估方法 |
| WO2018153161A1 (zh) * | 2017-02-24 | 2018-08-30 | 深圳市中兴微电子技术有限公司 | 一种视频质量评价方法及装置、设备、存储介质 |
| CN108600745A (zh) * | 2018-08-06 | 2018-09-28 | 北京理工大学 | 一种基于时空域切片多图谱配置的视频质量评价方法 |
| CN109429051A (zh) * | 2017-07-12 | 2019-03-05 | 天津大学 | 基于多视图特征学习的无参考立体视频质量客观评价方法 |
| CN109996065A (zh) * | 2019-04-15 | 2019-07-09 | 方玉明 | 一种对于非对称失真三维视频的质量评价方法 |
| CN110401832A (zh) * | 2019-07-19 | 2019-11-01 | 南京航空航天大学 | 一种基于时空管道建模的全景视频客观质量评估方法 |
| CN110837842A (zh) * | 2019-09-12 | 2020-02-25 | 腾讯科技（深圳）有限公司 | 一种视频质量评估的方法、模型训练的方法及装置 |
| CN113709453A (zh) * | 2021-09-13 | 2021-11-26 | 北京车和家信息技术有限公司 | 视频质量评估方法、装置、设备及介质 |
| CN114332088A (zh) * | 2022-03-11 | 2022-04-12 | 电子科技大学 | 一种基于运动估计的全参考视频质量评估方法 |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10834406B2 (en) * | 2016-12-12 | 2020-11-10 | Netflix, Inc. | Device-consistent techniques for predicting absolute perceptual video quality |
| CN106534862B (zh) * | 2016-12-20 | 2019-12-10 | 杭州当虹科技股份有限公司 | 一种视频编码方法 |
| US10085015B1 (en) * | 2017-02-14 | 2018-09-25 | Zpeg, Inc. | Method and system for measuring visual quality of a video sequence |
| US10887602B2 (en) * | 2018-02-07 | 2021-01-05 | Netflix, Inc. | Techniques for modeling temporal distortions when predicting perceptual video quality |
| US10721477B2 (en) | 2018-02-07 | 2020-07-21 | Netflix, Inc. | Techniques for predicting perceptual video quality based on complementary perceptual quality models |
| CN111083489B (zh) | 2018-10-22 | 2024-05-14 | 北京字节跳动网络技术有限公司 | 多次迭代运动矢量细化 |
| WO2020098643A1 (en) | 2018-11-12 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Simplification of combined inter-intra prediction |
| CN117319644A (zh) | 2018-11-20 | 2023-12-29 | 北京字节跳动网络技术有限公司 | 基于部分位置的差计算 |
| CN109783475B (zh) * | 2019-01-23 | 2022-06-14 | 福州大学 | 一种视频失真效应标记大规模数据库的构建方法 |
| WO2020177756A1 (en) | 2019-03-06 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Size dependent inter coding |
| CN110120034B (zh) * | 2019-04-16 | 2022-09-16 | 西安理工大学 | 一种与视觉感知相关的图像质量评价方法 |
| CN110838120A (zh) * | 2019-11-18 | 2020-02-25 | 方玉明 | 一种基于时空信息的非对称失真三维视频的加权质量评价方法 |
| CN110913207B (zh) * | 2019-12-03 | 2021-07-13 | 华南理工大学 | 一种基于多任务深度学习的视频传输质量评价方法 |
| CN111724373B (zh) * | 2020-06-22 | 2024-05-14 | 江西财经大学 | 一种基于感知加密光场图像的视觉安全性度量方法 |
| CN111833326B (zh) * | 2020-07-10 | 2022-02-11 | 深圳大学 | 图像质量评价方法、装置、计算机设备及存储介质 |
| CN112954312B (zh) * | 2021-02-07 | 2024-01-05 | 福州大学 | 一种融合时空特征的无参考视频质量评估方法 |
| CN113573047B (zh) * | 2021-07-16 | 2022-07-01 | 北京理工大学 | 一种基于本征图分解和运动估计的视频质量评价方法 |
| CN113489971B (zh) * | 2021-07-19 | 2022-08-23 | 上海交通大学 | 一种全参考音视频客观质量评价方法、系统及终端 |
| CN113794874B (zh) * | 2021-11-15 | 2022-02-01 | 南京理工大学紫金学院 | 一种多摄像机拍摄视频的质量评估方法 |
| CN114511454B (zh) * | 2021-12-24 | 2024-10-11 | 广州市广播电视台 | 一种边缘加强的视频质量评估方法 |
| CN114445386B (zh) * | 2022-01-29 | 2023-02-24 | 泗阳三江橡塑有限公司 | 一种基于人工智能的pvc管件质量检测评估方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080025400A1 (en) * | 2006-07-31 | 2008-01-31 | Kddi Corporation | Objective perceptual video quality evaluation apparatus |
| CN101742355A (zh) * | 2009-12-24 | 2010-06-16 | 厦门大学 | 基于空时域特征提取的无线视频部分参考测评方法 |
| CN102142145A (zh) * | 2011-03-22 | 2011-08-03 | 宁波大学 | 一种基于人眼视觉特性的图像质量客观评价方法 |
-
2016
- 2016-05-27 CN CN201610367702.2A patent/CN106028026B/zh active Active
- 2016-07-20 US US15/214,456 patent/US9756323B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080025400A1 (en) * | 2006-07-31 | 2008-01-31 | Kddi Corporation | Objective perceptual video quality evaluation apparatus |
| CN101742355A (zh) * | 2009-12-24 | 2010-06-16 | 厦门大学 | 基于空时域特征提取的无线视频部分参考测评方法 |
| CN102142145A (zh) * | 2011-03-22 | 2011-08-03 | 宁波大学 | 一种基于人眼视觉特性的图像质量客观评价方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郝磊: "《基于时空域变换的视频质量评价方法》", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018153161A1 (zh) * | 2017-02-24 | 2018-08-30 | 深圳市中兴微电子技术有限公司 | 一种视频质量评价方法及装置、设备、存储介质 |
| CN108513132A (zh) * | 2017-02-24 | 2018-09-07 | 深圳市中兴微电子技术有限公司 | 一种视频质量评价方法及装置 |
| CN108513132B (zh) * | 2017-02-24 | 2020-11-10 | 深圳市中兴微电子技术有限公司 | 一种视频质量评价方法及装置 |
| CN107316323B (zh) * | 2017-06-28 | 2020-09-25 | 北京工业大学 | 基于多尺度分析法建立的无参考图像质量评估方法 |
| CN107316323A (zh) * | 2017-06-28 | 2017-11-03 | 北京工业大学 | 基于多尺度分析法建立的无参考图像质量评估方法 |
| CN109429051A (zh) * | 2017-07-12 | 2019-03-05 | 天津大学 | 基于多视图特征学习的无参考立体视频质量客观评价方法 |
| CN109429051B (zh) * | 2017-07-12 | 2020-08-18 | 天津大学 | 基于多视图特征学习的无参考立体视频质量客观评价方法 |
| CN108600745A (zh) * | 2018-08-06 | 2018-09-28 | 北京理工大学 | 一种基于时空域切片多图谱配置的视频质量评价方法 |
| CN108600745B (zh) * | 2018-08-06 | 2020-02-18 | 北京理工大学 | 一种基于时空域切片多图谱配置的视频质量评价方法 |
| CN109996065A (zh) * | 2019-04-15 | 2019-07-09 | 方玉明 | 一种对于非对称失真三维视频的质量评价方法 |
| CN109996065B (zh) * | 2019-04-15 | 2020-09-22 | 方玉明 | 一种对于非对称失真三维视频的质量评价方法 |
| CN110401832B (zh) * | 2019-07-19 | 2020-11-03 | 南京航空航天大学 | 一种基于时空管道建模的全景视频客观质量评估方法 |
| CN110401832A (zh) * | 2019-07-19 | 2019-11-01 | 南京航空航天大学 | 一种基于时空管道建模的全景视频客观质量评估方法 |
| CN110837842A (zh) * | 2019-09-12 | 2020-02-25 | 腾讯科技（深圳）有限公司 | 一种视频质量评估的方法、模型训练的方法及装置 |
| CN110837842B (zh) * | 2019-09-12 | 2024-09-06 | 腾讯科技（深圳）有限公司 | 一种无参考视频质量评估的方法、模型训练的方法及装置 |
| CN113709453A (zh) * | 2021-09-13 | 2021-11-26 | 北京车和家信息技术有限公司 | 视频质量评估方法、装置、设备及介质 |
| CN113709453B (zh) * | 2021-09-13 | 2023-09-08 | 北京车和家信息技术有限公司 | 视频质量评估方法、装置、设备及介质 |
| CN114332088A (zh) * | 2022-03-11 | 2022-04-12 | 电子科技大学 | 一种基于运动估计的全参考视频质量评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160330439A1 (en) | 2016-11-10 |
| CN106028026B (zh) | 2017-09-05 |
| US9756323B2 (en) | 2017-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106028026B (zh) | 一种基于时空域结构的高效视频质量客观评价方法 | |
| CN104243973B (zh) | 基于感兴趣区域的视频感知质量无参考客观评价方法 | |
| Wang et al. | Novel spatio-temporal structural information based video quality metric | |
| Ma et al. | Reduced-reference video quality assessment of compressed video sequences | |
| CN107371028B (zh) | 一种适应带宽的高质量视频编码方法 | |
| CN104954778B (zh) | 一种基于感知特征集的立体图像质量客观评价方法 | |
| CN104023225B (zh) | 基于空时域自然场景统计特征的无参考视频质量评估方法 | |
| EP1692876A1 (en) | Method and system for video quality measurements | |
| Attar et al. | Image quality assessment using edge based features | |
| CN102523477A (zh) | 一种基于双目最小可辨失真模型的立体视频质量评价方法 | |
| Lu et al. | A spatiotemporal model of video quality assessment via 3D gradient differencing | |
| Zhou et al. | Deep local and global spatiotemporal feature aggregation for blind video quality assessment | |
| Liu et al. | Recent developments and future trends in visual quality assessment | |
| Konuk et al. | A spatiotemporal no-reference video quality assessment model | |
| Kawayoke et al. | NR objective continuous video quality assessment model based on frame quality measure | |
| CN107292866A (zh) | 一种基于相对梯度的图像质量客观评价方法 | |
| Soong et al. | Video quality assessment: A review of full-referenced, reduced-referenced and no-referenced methods | |
| CN110838120A (zh) | 一种基于时空信息的非对称失真三维视频的加权质量评价方法 | |
| Wang et al. | Spatio-temporal ssim index for video quality assessment | |
| Ma et al. | Reduced reference video quality assessment based on spatial HVS mutual masking and temporal motion estimation | |
| CN112950592B (zh) | 基于高维离散余弦变换的无参考光场图像质量评价方法 | |
| CN109996065B (zh) | 一种对于非对称失真三维视频的质量评价方法 | |
| Dakkar et al. | VStab-QuAD: A New Video-Stabilization Quality Assessment Database | |
| Qi et al. | Non-Reference Image Quality Assessment Based on Super-Pixel Segmentation and Information Entropy | |
| WO2009007133A2 (en) | Method and apparatus for determining the visual quality of processed visual information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |