CN109218710B - 一种自由视点视频质量评估方法 - Google Patents

一种自由视点视频质量评估方法 Download PDF

Info

Publication number
CN109218710B
CN109218710B CN201811054805.9A CN201811054805A CN109218710B CN 109218710 B CN109218710 B CN 109218710B CN 201811054805 A CN201811054805 A CN 201811054805A CN 109218710 B CN109218710 B CN 109218710B
Authority
CN
China
Prior art keywords
frame
dis
channel
org
viewpoint video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811054805.9A
Other languages
English (en)
Other versions
CN109218710A (zh
Inventor
彭宗举
王士培
陈芬
蒋刚毅
郁梅
陈华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201811054805.9A priority Critical patent/CN109218710B/zh
Publication of CN109218710A publication Critical patent/CN109218710A/zh
Application granted granted Critical
Publication of CN109218710B publication Critical patent/CN109218710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种自由视点视频质量评估方法，其先将每帧转换到LAB颜色空间；然后获取每帧的每个通道对应的时空域差值图；接着提取每帧的各个通道中的失真关键区域；再根据第1个通道中的失真关键区域并利用结构相似度算法获取质量分数；根据第2个通道和第3个通道各自中的失真关键区域并利用对比度计算相应的质量分数；之后对每帧的3个通道的质量分数进行融合，得到每帧的质量分数；最后根据所有帧的质量分数得到失真自由视点视频的质量分数；优点是其能够有效地提高客观评价结果与人眼主观感知的一致性。

Description

一种自由视点视频质量评估方法
技术领域
本发明涉及一种视频质量评估技术，尤其是涉及一种自由视点视频质量评估方法。
背景技术
自由视点视频(FVV，Free Viewpoint Video)系统在医疗、教育、影视等行业应用前景广泛，自由视点视频系统包括采集、预处理、编码、传输、解码、虚拟视点图像绘制和显示等环节。自由视点视频系统中的虚拟视点图像绘制作为其中必不可少的环节，其绘制质量决定了最终呈现的视觉效果。最经典的虚拟视点绘制技术是基于深度的绘制技术(DIBR，Depth Image Based Rendering)，其根据参考视点的彩色数据和深度数据，得到周围任意视点的数据，突破了传统的相机拍摄对目标视点图像获取的有限性，其最核心的部分就是3D-Warping，利用深度数据将参考视点图像投影到三维欧式空间，再将三维空间点投影到虚拟摄像机的成像平面，但是通过基于深度的绘制技术得到的虚拟视点图像存在绘制失真，相比于普通的压缩失真，绘制失真分布在图像的特定区域。
虚拟视点图像的绘制失真的来源主要有以下两点：1)深度数据的不准确：在绘制过程中，利用深度数据得到相应的视差信息，再利用视差信息对已知像素点进行映射，由于深度图像获取以及量化的过程中都会引入失真导致像素点的错误映射，且深度值变化越剧烈的地方越容易发生失真，因此绘制得到的虚拟视点图像中前景与背景交界处变化剧烈，易产生失真；2)空洞填补过程：在参考视点中被遮挡的区域在目标虚拟视点中变得可见，这部分区域在绘制过程中会因信息的缺失而产生空洞，各绘制算法为降低空洞的影响进行空洞填补过程，修复方法为利用周围像素点的信息进行外推或者内插，但是修复结果都会存在一定的失真，不同的绘制算法引入的失真类型也有所不同。虚拟视点图像的绘制失真主要为几何失真，其对虚拟视点图像的视觉效果的影响是可以察觉的，例如某些区域发生位移或者改变大小、物体的边缘产生模糊或拉伸效果、闪烁、块效应等等。
随着自由视点视频系统的广泛应用，如何准确地评价自由视点视频的质量变得至关重要。目前，大多数的图像/视频质量评价技术都是针对图像的亮度分量进行设计的，然而大量视频包括自由视点视频的最终用户是人类，人眼对于接收的彩色图像质量会做出最直观的判断，这种针对图像的亮度分量进行设计的图像/视频质量评价技术忽略了图像携带的彩色信息，这样会降低客观评价结果与人眼主观的拟合性，因此并不能准确地评估出自由视点视频的质量。也有一部分图像/视频质量评价技术是针对彩色图像进行设计的，但是这种质量评价技术并非是针对自由视点视频提出的，无法适用。目前，业内人员也提出了多种自由视点视频的质量评价算法，但现有的这些质量评价算法主要考虑的是绘制算法引入的失真或者传输压缩失真对人眼主观感受的影响，忽略了自由视点视频区别于普通立体视频的视点间存在不同组合方式的特殊性，得出的客观实验结果并不能真正反映进入人眼的自由视点视频的质量，因此有必要研究一种使得出的客观实验结果能够真正反映进入人眼的自由视点视频的质量的质量评估方法。
发明内容
本发明所要解决的技术问题是提供一种自由视点视频质量评估方法，其能够有效地提高客观评价结果与人眼主观感知的一致性。
本发明解决上述技术问题所采用的技术方案为：一种自由视点视频质量评估方法，其特征在于包括以下步骤：
步骤一：将待评价的失真自由视点视频记为SQdis，并将SQdis对应的原始的自由视点视频记为SQorg；将SQdis的左视点视频和右视点视频对应记为SQdis,L和SQdis,R，将SQorg的左视点视频和右视点视频对应记为SQorg,L和SQorg,R；
步骤二：将SQdis,L中的每帧和SQdis,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQdis,L中的每帧和SQdis,R中的每帧的L通道、A通道和B通道；同样，将SQorg,L中的每帧和SQorg,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQorg,L中的每帧和SQorg,R中的每帧的L通道、A通道和B通道；
步骤三：计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的绝对差值图记为然后对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图进行修正，得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的修正绝对差值图记为接着根据灰度共生矩阵及SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图，计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的空域差值图记为再对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图进行修正，得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的时空域差值图记为其中，i为正整数，2≤i≤Nframe，Nframe表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中包含的帧的总帧数，j＝1,2,3，j＝1时表示L通道，j＝2时表示A通道，j＝3时表示B通道；
按照获取SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图的过程，以相同的操作方式获取SQdis,R中除第1帧外的每帧的各个通道与SQorg,R中的对应帧的对应通道的时空域差值图，将SQdis,R中的第i帧的第j个通道与SQorg,R中的第i帧的第j个通道的时空域差值图记为
步骤四：提取出SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域，SQdis,L中的第i帧的第j个通道中的失真关键区域的提取过程为：对于SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于失真关键区域；否则，确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于非失真关键区域；其中，1≤x≤W,1≤y≤H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，ThL表示左失真关键区域判定阈值；
按照提取SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域的过程，以相同的操作方式提取出SQdis,R中除第1帧外的每帧的各个通道中的失真关键区域；
步骤五：利用结构相似度算法，计算SQdis,L中除第1帧外的每帧的第1个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第1个通道中的对应像素点之间的结构相似度；然后计算SQdis,L中除第1帧外的每帧的第1个通道的质量分数，将SQdis,L中的第i帧的第1个通道的质量分数记为 的值等于SQdis,L中的第i帧的第1个通道中的失真关键区域中的所有像素点对应的结构相似度的平均值；并利用对比度计算SQdis,L中除第1帧外的每帧的第2个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第2个通道中的对应像素点之间的对比度；然后计算SQdis,L中除第1帧外的每帧的第2个通道的质量分数，将SQdis,L中的第i帧的第2个通道的质量分数记为 的值等于SQdis,L中的第i帧的第2个通道中的失真关键区域中的所有像素点对应的对比度的平均值；同样，利用对比度计算SQdis,L中除第1帧外的每帧的第3个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第3个通道中的对应像素点之间的对比度；然后计算SQdis,L中除第1帧外的每帧的第3个通道的质量分数，将SQdis,L中的第i帧的第3个通道的质量分数记为 的值等于SQdis,L中的第i帧的第3个通道中的失真关键区域中的所有像素点对应的对比度的平均值；
按照计算SQdis,L中除第1帧外的每帧的第1个通道的质量分数、SQdis,L中除第1帧外的每帧的第2个通道的质量分数、SQdis,L中除第1帧外的每帧的第3个通道的质量分数的过程，以相同的操作方式计算SQdis,R中除第1帧外的每帧的第1个通道的质量分数、SQdis,R中除第1帧外的每帧的第2个通道的质量分数、SQdis,R中除第1帧外的每帧的第3个通道的质量分数，将SQdis,R中的第i帧的第1个通道的质量分数记为将SQdis,R中的第i帧的第2个通道的质量分数记为将SQdis,R中的第i帧的第3个通道的质量分数记为
步骤六：对SQdis,L中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQdis,L中除第1帧外的每帧的质量分数，将SQdis,L中的第i帧的质量分数记为同样，对SQdis,R中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQdis,R中除第1帧外的每帧的质量分数，将SQdis,R中的第i帧的质量分数记为然后计算SQdis,L中除第1帧外的每帧的质量分数与SQdis,R中的对应帧的质量分数的平均质量分数，将与的平均质量分数记为 再将计算得到的Nframe-1个平均质量分数按从小到大的顺序排列，取前35～55％的平均质量分数；最后将所取的平均质量分数的平均值作为SQdis的质量分数，记为qdis；其中，β+γ+η＝1，β＞γ，γ＝η。
所述的步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为 其中，1≤x≤W,1≤y≤H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，符号“||”为取绝对值符号，表示SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点的像素值，表示SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点的像素值。
所述的步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为 其中，表示中坐标位置为(x,y)的像素点的像素值，Pi L(x,y)表示SQdis,L中的第i帧或SQorg,L中的第i帧的深度图中坐标位置为(x,y)的像素点的像素值。
所述的步骤三中，的获取过程为：
A1)将SQorg,L中的第i帧的第j个通道划分成Nblock个互不重叠的尺寸大小为Block×Block的图像块，将SQorg,L中的第i帧的第j个通道中的第k个图像块记为其中，Block＝4,8,16,32,64，符号为向下取整运算符号，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，k为正整数，1≤k≤Nblock；
A2)利用灰度共生矩阵计算SQorg,L中的第i帧的第j个通道中的每个图像块的纹理复杂度，将的纹理复杂度记为
A3)计算SQorg,L中的第i帧的第j个通道的纹理复杂图，记为将中坐标位置为(x,y)的像素点的像素值记为若中坐标位置为(x,y)的像素点所在的图像块为第k个图像块，则其中，1≤x≤W,1≤y≤H；
A4)计算将中坐标位置为(x,y)的像素点的像素值记为 其中，表示中坐标位置为(x,y)的像素点的像素值。
所述的步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为 其中，1≤x≤W,1≤y≤H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号，表示中坐标位置为(x,y)的像素点的像素值，表示SQdis,L中的第i-1帧的第j个通道与SQorg,L中的第i-1帧的第j个通道的绝对差值图中坐标位置为(x,y)的像素点的像素值，表示SQorg,L中的第i帧的第j个通道中的运动区域中的所有像素点的坐标位置的集合。
所述的SQorg,L中的第i帧的第j个通道中的运动区域的确定过程为：对于SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于运动区域；否则，确定SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于静止区域；其中，thL表示左运动区域判定阈值。
所述的左运动区域判定阈值thL的获取过程为：计算SQorg,L中的第i帧的第j个通道中的每个像素点的像素值与SQorg,L中的第i-1帧的第j个通道中的对应像素点的像素值的差值的绝对值；然后将W×H个绝对值按从大到小的顺序排列后取第个绝对值作为thL的值；其中，符号为向上取整运算符号。
所述的步骤四中，ThL的值等于中的所有像素点的像素值按从大到小的顺序排列后的前α个像素值的平均值，其中，符号为向上取整运算符号。
在执行完步骤六后，继续执行以下步骤：
步骤七：构建一个自由视点视频库，自由视点视频库中包含有三种不同的自由视点视频，第一种自由视点视频的左视点视频由相机拍摄获得、右视点视频由虚拟视点绘制获得，第二种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由相机拍摄获得，第三种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由虚拟视点绘制获得，三种不同的自由视点视频均至少有2个自由视点视频；然后按照获取的过程，以相同的操作方式获取自由视点视频库中的每个自由视点视频的左视点视频中的第t帧的第1个通道与原始自由视点视频的左视点视频中的第t帧的第1个通道的绝对差值图、自由视点视频库中的每个自由视点视频的右视点视频中的第t帧的第1个通道与原始自由视点视频的右视点视频中的第t帧的第1个通道的绝对差值图；接着计算自由视点视频库中的每个自由视点视频对应的两幅绝对差值图中的所有像素点的像素值的和值；之后将计算得到的所有和值按从大到小的顺序排列，将前5％内的最大和值和最小和值对应记为Hmax和Hmin；再计算SQdis,L中的第t帧的第1个通道与SQorg,L中的第t帧的第1个通道的绝对差值图和SQdis,R中的第t帧的第1个通道与SQorg,R中的第t帧的第1个通道的绝对差值图中的所有像素点的像素值的和值，记为Ht,1；最后判断Ht,1∈[Hmin,Hmax]是否成立，如果成立，则将SQdis确定为第一种特殊自由视点视频；否则，执行步骤八；其中，第t帧为任意一帧，t∈[1,Nmin]，Nmin的值为Nframe、自由视点视频库中的每个自由视点视频中包含的帧的数目、原始自由视点视频中包含的帧的数目中的最小值，原始自由视点视频是在构建自由视点视频库时获得，原始自由视点视频的左视点视频由相机拍摄获得、右视点视频由相机拍摄获得；
步骤八：当SQdis,L中的任意一帧的第1个通道中存在空洞而SQdis,R中的对应帧的第1个通道中不存在空洞时，或当SQdis,L中的任意一帧的第1个通道中不存在空洞而SQdis,R中的对应帧的第1个通道中存在空洞时，将SQdis确定为第二种特殊自由视点视频；当SQdis,L中的任意一帧的第1个通道中存在空洞且SQdis,R中的对应帧的第1个通道中存在空洞时，或当SQdis,L中的任意一帧的第1个通道中不存在空洞而SQdis,R中的对应帧的第1个通道中不存在空洞时，将SQdis确定为非特殊自由视点视频；
步骤九：根据SQdis的类型计算SQdis的最终质量分数，记为若SQdis为非特殊自由视点视频，则令若SQdis为第一种特殊自由视点视频，则令若SQdis为第二种特殊自由视点视频，则令其中，Δb表示修正量，Δb∈(0,1]。
与现有技术相比，本发明的优点在于：
1)由于自由视点视频在传输压缩过程中也会造成色度分量发生失真，且人眼会对彩色图像做出最直观的评价，因此本发明方法先将待评价的失真自由视点视频转换到基于人眼感知的LAB颜色空间，同时考虑了亮度通道和色度通道的失真情况，使得获得的客观实验结果与人眼感知的拟合性更高。
2)由于自由视点视频相对于普通立体视频来说，其失真存在着特殊性，绘制失真主要分布在图像的遮挡暴露区域，因此本发明方法结合人眼视觉特性以及自由视点视频的时空域相关特性提取出帧的通道中的失真关键区域即人眼能够观测出失真的区域，只针对失真关键区域量化失真程度，增加了利用本发明方法得到的客观质量分数的准确性。
3)自由视点视频相对于普通双视点视频存在着视点间的多组合特性，不同的组合方式会对人眼主观感知产生不同的影响，存在一些相对特殊的自由视点视频，因此本发明方法对待评价的失真自由视点视频进行分类加以区分，根据类型对计算得到的质量分数进行不同的修正，使得修正后得到的最终质量分数更加符合人眼特性。
附图说明
图1为本发明方法的总体实现框图；
图2a为原始Book Arrival序列的左视点视频中的一帧；
图2b为失真Book Arrival序列的左视点视频中的对应帧；
图2c为图2b所示的帧的第1个通道与图2a所示的帧的第1个通道的绝对差值图；
图2d为图2b所示的帧的第1个通道中的失真关键区域；
图3a为Δb取值为0.1时SROCC指标输出的变化示意图；
图3b为Δb取值为0.3时SROCC指标输出的变化示意图；
图3c为Δb取值为0.5时SROCC指标输出的变化示意图；
图3d为Δb取值为0.7时SROCC指标输出的变化示意图；
图4a为Book Arrival序列的主观打分值DMOS与客观拟合后的最终质量分数的散点图；
图4b为Newspaper序列的主观打分值DMOS与客观拟合后的最终质量分数的散点图；
图4c为Lovebirds序列的主观打分值DMOS与客观拟合后的最终质量分数的散点图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种自由视点视频质量评估方法，其总体实现框图如图1所示，其包括以下步骤：
步骤一：将待评价的失真自由视点视频记为SQdis，并将SQdis对应的原始的自由视点视频记为SQorg；将SQdis的左视点视频和右视点视频对应记为SQdis,L和SQdis,R，将SQorg的左视点视频和右视点视频对应记为SQorg,L和SQorg,R。
步骤二：将SQdis,L中的每帧和SQdis,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQdis,L中的每帧和SQdis,R中的每帧的L通道、A通道和B通道；同样，将SQorg,L中的每帧和SQorg,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQorg,L中的每帧和SQorg,R中的每帧的L通道、A通道和B通道。
步骤三：计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的绝对差值图记为然后对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图进行修正，得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的修正绝对差值图记为接着根据灰度共生矩阵及SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图，计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的空域差值图记为再对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图进行修正，得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的时空域差值图记为其中，i为正整数，2≤i≤Nframe，Nframe表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中包含的帧的总帧数，j＝1,2,3，j＝1时表示L通道，j＝2时表示A通道，j＝3时表示B通道；图2a给出了原始BookArrival序列的左视点视频中的一帧；图2b给出了失真Book Arrival序列的左视点视频中的对应帧；图2c给出了图2b所示的帧的第1个通道与图2a所示的帧的第1个通道的绝对差值图。
按照获取SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图的过程，以相同的操作方式获取SQdis,R中除第1帧外的每帧的各个通道与SQorg,R中的对应帧的对应通道的时空域差值图，将SQdis,R中的第i帧的第j个通道与SQorg,R中的第i帧的第j个通道的时空域差值图记为
在本实施例中，步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为 其中，1≤x≤W,1≤y≤H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，符号“||”为取绝对值符号，表示SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点的像素值，表示SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点的像素值。
在本实施例中，步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为其中，表示中坐标位置为(x,y)的像素点的像素值，Pi L(x,y)表示SQdis,L中的第i帧或SQorg,L中的第i帧的深度图中坐标位置为(x,y)的像素点的像素值。
在本实施例中，步骤三中，的获取过程为：
A1)将SQorg,L中的第i帧的第j个通道划分成Nblock个互不重叠的尺寸大小为Block×Block的图像块，将SQorg,L中的第i帧的第j个通道中的第k个图像块记为其中，Block＝4,8,16,32,64，在本实施例中取Block＝8，符号为向下取整运算符号，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，k为正整数，1≤k≤Nblock。
A2)利用灰度共生矩阵计算SQorg,L中的第i帧的第j个通道中的每个图像块的纹理复杂度，将的纹理复杂度记为
A3)计算SQorg,L中的第i帧的第j个通道的纹理复杂图，记为将中坐标位置为(x,y)的像素点的像素值记为若中坐标位置为(x,y)的像素点所在的图像块为第k个图像块，则其中，1≤x≤W,1≤y≤H。
A4)计算将中坐标位置为(x,y)的像素点的像素值记为 其中，表示中坐标位置为(x,y)的像素点的像素值。
在本实施例中，步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为 其中，1≤x≤W,1≤y≤H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号，表示中坐标位置为(x,y)的像素点的像素值，表示SQdis,L中的第i-1帧的第j个通道与SQorg,L中的第i-1帧的第j个通道的绝对差值图中坐标位置为(x,y)的像素点的像素值，表示SQorg,L中的第i帧的第j个通道中的运动区域中的所有像素点的坐标位置的集合，SQorg,L中的第i帧的第j个通道中的运动区域的确定过程为：对于SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQorg ,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于运动区域；否则，确定SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于静止区域；其中，thL表示左运动区域判定阈值，左运动区域判定阈值thL的获取过程为：计算SQorg,L中的第i帧的第j个通道中的每个像素点的像素值与SQorg,L中的第i-1帧的第j个通道中的对应像素点的像素值的差值的绝对值；然后将W×H个绝对值按从大到小的顺序排列后取第个绝对值作为thL的值；其中，符号为向上取整运算符号。
步骤四：提取出SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域，SQdis,L中的第i帧的第j个通道中的失真关键区域的提取过程为：对于SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于失真关键区域；否则，确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于非失真关键区域；其中，1≤x≤W,1≤y≤H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，ThL表示左失真关键区域判定阈值，ThL的值等于中的所有像素点的像素值按从大到小的顺序排列后的前α个像素值的平均值，符号为向上取整运算符号；图2d给出了图2b所示的帧的第1个通道中的失真关键区域。
按照提取SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域的过程，以相同的操作方式提取出SQdis,R中除第1帧外的每帧的各个通道中的失真关键区域。
步骤五：利用结构相似度(SSIM，Structural Similarity Index)算法，计算SQdis,L中除第1帧外的每帧的第1个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第1个通道中的对应像素点之间的结构相似度；然后计算SQdis,L中除第1帧外的每帧的第1个通道的质量分数，将SQdis,L中的第i帧的第1个通道的质量分数记为 的值等于SQdis,L中的第i帧的第1个通道中的失真关键区域中的所有像素点对应的结构相似度的平均值；并利用对比度计算SQdis,L中除第1帧外的每帧的第2个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第2个通道中的对应像素点之间的对比度；然后计算SQdis,L中除第1帧外的每帧的第2个通道的质量分数，将SQdis,L中的第i帧的第2个通道的质量分数记为 的值等于SQdis,L中的第i帧的第2个通道中的失真关键区域中的所有像素点对应的对比度的平均值；同样，利用对比度计算SQdis,L中除第1帧外的每帧的第3个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第3个通道中的对应像素点之间的对比度；然后计算SQdis,L中除第1帧外的每帧的第3个通道的质量分数，将SQdis,L中的第i帧的第3个通道的质量分数记为 的值等于SQdis,L中的第i帧的第3个通道中的失真关键区域中的所有像素点对应的对比度的平均值。
按照计算SQdis,L中除第1帧外的每帧的第1个通道的质量分数、SQdis,L中除第1帧外的每帧的第2个通道的质量分数、SQdis,L中除第1帧外的每帧的第3个通道的质量分数的过程，以相同的操作方式计算SQdis,R中除第1帧外的每帧的第1个通道的质量分数、SQdis,R中除第1帧外的每帧的第2个通道的质量分数、SQdis,R中除第1帧外的每帧的第3个通道的质量分数，将SQdis,R中的第i帧的第1个通道的质量分数记为将SQdis,R中的第i帧的第2个通道的质量分数记为将SQdis,R中的第i帧的第3个通道的质量分数记为
步骤六：对SQdis,L中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQdis,L中除第1帧外的每帧的质量分数，将SQdis,L中的第i帧的质量分数记为同样，对SQdis,R中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQdis,R中除第1帧外的每帧的质量分数，将SQdis,R中的第i帧的质量分数记为然后计算SQdis,L中除第1帧外的每帧的质量分数与SQdis,R中的对应帧的质量分数的平均质量分数，将与的平均质量分数记为再将计算得到的Nframe-1个平均质量分数按从小到大的顺序排列，取前35～55％的平均质量分数；最后将所取的平均质量分数的平均值作为SQdis的质量分数，记为qdis；其中，β+γ+η＝1，β＞γ，γ＝η，在本实施例中取β＝0.8、γ＝0.1、η＝0.1，在本实施例中取前40％的平均质量分数的平均值作为SQdis的质量分数。
步骤七：构建一个自由视点视频库，自由视点视频库中包含有三种不同的自由视点视频，第一种自由视点视频的左视点视频由相机拍摄获得、右视点视频由虚拟视点绘制获得，第二种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由相机拍摄获得，第三种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由虚拟视点绘制获得，三种不同的自由视点视频均至少有2个自由视点视频；然后按照获取的过程，以相同的操作方式获取自由视点视频库中的每个自由视点视频的左视点视频中的第t帧的第1个通道与原始自由视点视频的左视点视频中的第t帧的第1个通道的绝对差值图、自由视点视频库中的每个自由视点视频的右视点视频中的第t帧的第1个通道与原始自由视点视频的右视点视频中的第t帧的第1个通道的绝对差值图；接着计算自由视点视频库中的每个自由视点视频对应的两幅绝对差值图中的所有像素点的像素值的和值；之后将计算得到的所有和值按从大到小的顺序排列，将前5％内的最大和值和最小和值对应记为Hmax和Hmin；再计算SQdis,L中的第t帧的第1个通道与SQorg,L中的第t帧的第1个通道的绝对差值图和SQdis,R中的第t帧的第1个通道与SQorg,R中的第t帧的第1个通道的绝对差值图中的所有像素点的像素值的和值，记为Ht,1；最后判断Ht,1∈[Hmin,Hmax]是否成立，如果成立，则将SQdis确定为第一种特殊自由视点视频；否则，执行步骤八；其中，第t帧为任意一帧，t∈[1,Nmin]，Nmin的值为Nframe、自由视点视频库中的每个自由视点视频中包含的帧的数目、原始自由视点视频中包含的帧的数目中的最小值，原始自由视点视频是在构建自由视点视频库时获得，原始自由视点视频的左视点视频由相机拍摄获得、右视点视频由相机拍摄获得。
步骤八：由于人眼对图像中的空洞十分敏感，根据主观打分值可以得知，只要存在空洞，就会造成差的主观感知，因此当SQdis,L中的任意一帧的第1个通道中存在空洞而SQdis ,R中的对应帧的第1个通道中不存在空洞时，或当SQdis,L中的任意一帧的第1个通道中不存在空洞而SQdis,R中的对应帧的第1个通道中存在空洞时，将SQdis确定为第二种特殊自由视点视频；当SQdis,L中的任意一帧的第1个通道中存在空洞且SQdis,R中的对应帧的第1个通道中存在空洞时，或当SQdis,L中的任意一帧的第1个通道中不存在空洞而SQdis,R中的对应帧的第1个通道中不存在空洞时，将SQdis确定为非特殊自由视点视频。
步骤九：根据SQdis的类型计算SQdis的最终质量分数，记为若SQdis为非特殊自由视点视频，则令若SQdis为第一种特殊自由视点视频，则令若SQdis为第二种特殊自由视点视频，则令其中，Δb表示修正量，Δb∈(0,1]，在本实施例中取Δb＝0.3。
在此，Δb＝0.3是通过实验确定的，以按照步骤七的方式自行构建的自由视点视频库为实验对象，图3a给出了Δb取值为0.1时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取20％平均质量分数，Y轴为第1通道的融合参数0.6，Z轴为SROCC指标(最优为0.6358)；图3b给出了Δb取值为0.3时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取40％平均质量分数，Y轴为第1通道的融合参数0.8，Z轴为SROCC指标(最优为0.7014)；图3c给出了Δb取值为0.5时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取40％平均质量分数，Y轴为第1通道的融合参数0.8，Z轴为SROCC指标(最优为0.6761)；图3d给出了Δb取值为0.7时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取20％平均质量分数，Y轴为第1通道的融合参数0.6，Z轴为SROCC指标(最优为0.6660)。分析图3a至图3d可知，Δb取值为0.1和0.7、X轴为0.2、Y轴为0.6时Z轴的最优输出均低于0.67，Δb取值为0.3和0.5、X轴为0.4、Y轴为0.8时Z轴的最优输出均高于0.67，而X轴均为0.4且Y轴均为0.8时当Δb取值为0.3时Z轴的最优输出(0.7014)明显高于当Δb取值为0.5时Z轴的最优输出(0.6761)，可知Δb取值为0.3时能取得最佳的效果。
为了验证本发明方法的可行性和有效性，对本发明方法进行实验。
采用的测试序列为Book Arrival、Newspaper、Lovebirds序列，采用SROCC、Pearson相关系数(PLCC，Pearson Linear Correlation Coefficient)、均方根误差(RMSE，Root Mean Squared Error)以及Kendall秩相关系数(KROCC，Kendall rank-ordercorrelation coefficient)四种评价指标衡量本发明方法的性能。利用本发明方法计算每个测试序列的最终质量分数，再利用现有的Logistic 5参数拟合方法对每个测试序列的最终质量分数进行参数拟合得到拟合后的最终质量分数，将每个测试序列拟合后的最终质量分数与人眼主观实验得出的相对应的质量分数进行SROCC、PLCC、RMSE和KROCC指标的计算，得出相应的实验结果。表1给出了各个客观评价方法的评价指标，其中文献1为Mittal等人发表的“一个盲参考视频完整性评价策略”，文献2为Chen等人发表的“基于双目竞争的全参考立体图像质量评价”，方法(L)是指按本发明方法的过程单独在亮度通道下操作的方法，方法(RGB)是指按本发明方法的过程在RGB颜色空间中操作的方法。
从表1中可得出，本发明方法(LAB)的客观评价结果与人眼主观评价结果有较好的一致性，各个评价指标均优于所对比的相关图像/视频质量客观评价方法。PSNR、SSIM传统质量客观评价方法，未考虑自由视点视频的失真特点，故不能将其直接运用于自由视点视频的质量评价中。文献1提出的无参考视频质量评价方法，该方法认为失真视频会破坏某些时空域的自然统计特性，通过量化待测视频与原始视频的统计特性之间的差异得出待测视频的质量分数，从实验结果来看，该方法并不适合多组合方式下的自由视点视频的质量评估，因为该方法所选取的统计特性对传统压缩失真有效，但对自由视点视频失真无效，且该方法未考虑视频视点之间的多组合方式对人眼观看时的影响，故该方法不适用于自由视点视频的质量评价。文献2是在双目效应的基础上提出的一种立体图像质量评价的框架，该方法模拟人眼观看立体图像的情景，将左视点图像和右视点图像合成一张图像，称为“独眼图”，通过衡量参考立体图像的“独眼图”和失真立体图像的“独眼图”的差异程度，得出待测立体图像的质量分数，但在独眼图的获取时未考虑自由视点视频的失真特殊性，因此该方法不适用于自由视点视频的质量评价。
为探索色度通道的有效性，观察方法(L)的各个评价指标，各个评价指标都低于将色度失真考虑在内的情况(本发明方法)，故加入色度失真可提高客观评价方法的准确性；为了验证LAB颜色空间的优越性，观察方法(RGB)和本发明方法的各个评价指标，LAB颜色空间下的KROCC、SROCC和RMSE三个指标在均优于RGB颜色空间，只有PLCC指标略低于RGB颜色空间，因此，将自由视点视频序列进行LAB颜色空间转换会提高客观评价方法的准确性。
为进一步探究本发明方法的有效性，图4a给出了Book Arrival序列的主观打分值(DMOS)与客观拟合后的最终质量分数的散点图，图4b给出了Newspaper序列的主观打分值(DMOS)与客观拟合后的最终质量分数的散点图，图4c给出了Lovebirds序列的主观打分值(DMOS)与客观拟合后的最终质量分数的散点图。从图4a至图4c中可以看出，相对于BookArrival和Newspaper两个序列，Lovebirds序列的拟合性差了些，究其原因，本发明方法旨在通过视差纹理等特征提取到人眼能够感知的失真关键区域，在此基础上量化差异值，得出客观质量评价结果，但对于Lovebirds序列，其背景与前景的各项特征之间的差异都很小，未找到一个特征将背景与前景完全区分开，所以在所提取的失真关键区域中也包含了部分背景区域，但这部分人眼在进行主观打分时几乎观察不到失真，故造成了Lovebirds序列的客观拟合后的最终质量分数与主观打分值的拟合性较差。
表1各个客观评价方法的评价指标

Claims (8)

1.一种自由视点视频质量评估方法，其特征在于包括以下步骤：
步骤一：将待评价的失真自由视点视频记为SQdis，并将SQdis对应的原始的自由视点视频记为SQorg；将SQdis的左视点视频和右视点视频对应记为SQdis,L和SQdis,R，将SQorg的左视点视频和右视点视频对应记为SQorg,L和SQorg,R；
步骤二：将SQdis,L中的每帧和SQdis,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQdis,L中的每帧和SQdis,R中的每帧的L通道、A通道和B通道；同样，将SQorg,L中的每帧和SQorg,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQorg,L中的每帧和SQorg,R中的每帧的L通道、A通道和B通道；
步骤三：计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的绝对差值图记为然后对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图进行修正，得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的修正绝对差值图记为接着根据灰度共生矩阵及SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图，计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的空域差值图记为再对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图进行修正，得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的时空域差值图记为其中，i为正整数，2≤i≤Nframe，Nframe表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中包含的帧的总帧数，j＝1,2,3，j＝1时表示L通道，j＝2时表示A通道，j＝3时表示B通道；
按照获取SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图的过程，以相同的操作方式获取SQdis,R中除第1帧外的每帧的各个通道与SQorg,R中的对应帧的对应通道的时空域差值图，将SQdis,R中的第i帧的第j个通道与SQorg,R中的第i帧的第j个通道的时空域差值图记为
步骤四：提取出SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域，SQdis,L中的第i帧的第j个通道中的失真关键区域的提取过程为：对于SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于失真关键区域；否则，确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于非失真关键区域；其中，1≤x≤W,1≤y≤H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，ThL表示左失真关键区域判定阈值；
按照提取SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域的过程，以相同的操作方式提取出SQdis,R中除第1帧外的每帧的各个通道中的失真关键区域；
步骤五：利用结构相似度算法，计算SQdis,L中除第1帧外的每帧的第1个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第1个通道中的对应像素点之间的结构相似度；然后计算SQdis,L中除第1帧外的每帧的第1个通道的质量分数，将SQdis,L中的第i帧的第1个通道的质量分数记为 的值等于SQdis,L中的第i帧的第1个通道中的失真关键区域中的所有像素点对应的结构相似度的平均值；并利用对比度计算SQdis,L中除第1帧外的每帧的第2个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第2个通道中的对应像素点之间的对比度；然后计算SQdis,L中除第1帧外的每帧的第2个通道的质量分数，将SQdis,L中的第i帧的第2个通道的质量分数记为 的值等于SQdis,L中的第i帧的第2个通道中的失真关键区域中的所有像素点对应的对比度的平均值；同样，利用对比度计算SQdis,L中除第1帧外的每帧的第3个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第3个通道中的对应像素点之间的对比度；然后计算SQdis,L中除第1帧外的每帧的第3个通道的质量分数，将SQdis,L中的第i帧的第3个通道的质量分数记为 的值等于SQdis,L中的第i帧的第3个通道中的失真关键区域中的所有像素点对应的对比度的平均值；
按照计算SQdis,L中除第1帧外的每帧的第1个通道的质量分数、SQdis,L中除第1帧外的每帧的第2个通道的质量分数、SQdis,L中除第1帧外的每帧的第3个通道的质量分数的过程，以相同的操作方式计算SQdis,R中除第1帧外的每帧的第1个通道的质量分数、SQdis,R中除第1帧外的每帧的第2个通道的质量分数、SQdis,R中除第1帧外的每帧的第3个通道的质量分数，将SQdis,R中的第i帧的第1个通道的质量分数记为将SQdis,R中的第i帧的第2个通道的质量分数记为将SQdis,R中的第i帧的第3个通道的质量分数记为
步骤六：对SQdis,L中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQdis,L中除第1帧外的每帧的质量分数，将SQdis,L中的第i帧的质量分数记为同样，对SQdis,R中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQdis,R中除第1帧外的每帧的质量分数，将SQdis,R中的第i帧的质量分数记为然后计算SQdis,L中除第1帧外的每帧的质量分数与SQdis,R中的对应帧的质量分数的平均质量分数，将与的平均质量分数记为再将计算得到的Nframe-1个平均质量分数按从小到大的顺序排列，取前35～55％的平均质量分数；最后将所取的平均质量分数的平均值作为SQdis的质量分数，记为qdis；其中，β+γ+η＝1，β＞γ，γ＝η；
步骤七：构建一个自由视点视频库，自由视点视频库中包含有三种不同的自由视点视频，第一种自由视点视频的左视点视频由相机拍摄获得、右视点视频由虚拟视点绘制获得，第二种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由相机拍摄获得，第三种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由虚拟视点绘制获得，三种不同的自由视点视频均至少有2个自由视点视频；然后按照获取的过程，以相同的操作方式获取自由视点视频库中的每个自由视点视频的左视点视频中的第t帧的第1个通道与原始自由视点视频的左视点视频中的第t帧的第1个通道的绝对差值图、自由视点视频库中的每个自由视点视频的右视点视频中的第t帧的第1个通道与原始自由视点视频的右视点视频中的第t帧的第1个通道的绝对差值图；接着计算自由视点视频库中的每个自由视点视频对应的两幅绝对差值图中的所有像素点的像素值的和值；之后将计算得到的所有和值按从大到小的顺序排列，将前5％内的最大和值和最小和值对应记为Hmax和Hmin；再计算SQdis,L中的第t帧的第1个通道与SQorg,L中的第t帧的第1个通道的绝对差值图和SQdis,R中的第t帧的第1个通道与SQorg,R中的第t帧的第1个通道的绝对差值图中的所有像素点的像素值的和值，记为Ht,1；最后判断Ht,1∈[Hmin,Hmax]是否成立，如果成立，则将SQdis确定为第一种特殊自由视点视频；否则，执行步骤八；其中，第t帧为任意一帧，t∈[1,Nmin]，Nmin的值为Nframe、自由视点视频库中的每个自由视点视频中包含的帧的数目、原始自由视点视频中包含的帧的数目中的最小值，原始自由视点视频是在构建自由视点视频库时获得，原始自由视点视频的左视点视频由相机拍摄获得、右视点视频由相机拍摄获得；
步骤八：当SQdis,L中的任意一帧的第1个通道中存在空洞而SQdis,R中的对应帧的第1个通道中不存在空洞时，或当SQdis,L中的任意一帧的第1个通道中不存在空洞而SQdis,R中的对应帧的第1个通道中存在空洞时，将SQdis确定为第二种特殊自由视点视频；当SQdis,L中的任意一帧的第1个通道中存在空洞且SQdis,R中的对应帧的第1个通道中存在空洞时，或当SQdis,L中的任意一帧的第1个通道中不存在空洞而SQdis,R中的对应帧的第1个通道中不存在空洞时，将SQdis确定为非特殊自由视点视频；
步骤九：根据SQdis的类型计算SQdis的最终质量分数，记为若SQdis为非特殊自由视点视频，则令若SQdis为第一种特殊自由视点视频，则令若SQdis为第二种特殊自由视点视频，则令其中，Δb表示修正量，Δb∈(0,1]。
2.根据权利要求1所述的一种自由视点视频质量评估方法，其特征在于所述的步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为其中，1≤x≤W,1≤y≤H，W表示SQdis ,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，符号“| |”为取绝对值符号，表示SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点的像素值，表示SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点的像素值。
3.根据权利要求1或2所述的一种自由视点视频质量评估方法，其特征在于所述的步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示SQdis,L中的第i帧或SQorg,L中的第i帧的深度图中坐标位置为(x,y)的像素点的像素值。
4.根据权利要求3所述的一种自由视点视频质量评估方法，其特征在于所述的步骤三中，的获取过程为：
A1)将SQorg,L中的第i帧的第j个通道划分成Nblock个互不重叠的尺寸大小为Block×Block的图像块，将SQorg,L中的第i帧的第j个通道中的第k个图像块记为其中，Block＝4,8,16,32,64，符号为向下取整运算符号，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，k为正整数，1≤k≤Nblock；
A2)利用灰度共生矩阵计算SQorg,L中的第i帧的第j个通道中的每个图像块的纹理复杂度，将的纹理复杂度记为
A3)计算SQorg,L中的第i帧的第j个通道的纹理复杂图，记为将中坐标位置为(x,y)的像素点的像素值记为若中坐标位置为(x,y)的像素点所在的图像块为第k个图像块，则其中，1≤x≤W,1≤y≤H；
A4)计算将中坐标位置为(x,y)的像素点的像素值记为 其中，表示中坐标位置为(x,y)的像素点的像素值。
5.根据权利要求4所述的一种自由视点视频质量评估方法，其特征在于所述的步骤三中，的获取过程为：将中坐标位置为(x,y)的像素点的像素值记为其中，1≤x≤W,1≤y≤H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，符号“| |”为取绝对值符号，表示中坐标位置为(x,y)的像素点的像素值，表示SQdis,L中的第i-1帧的第j个通道与SQorg,L中的第i-1帧的第j个通道的绝对差值图中坐标位置为(x,y)的像素点的像素值，表示SQorg,L中的第i帧的第j个通道中的运动区域中的所有像素点的坐标位置的集合。
6.根据权利要求5所述的一种自由视点视频质量评估方法，其特征在于所述的SQorg,L中的第i帧的第j个通道中的运动区域的确定过程为：对于SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于运动区域；否则，确定SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于静止区域；其中，thL表示左运动区域判定阈值。
7.根据权利要求6所述的一种自由视点视频质量评估方法，其特征在于所述的左运动区域判定阈值thL的获取过程为：计算SQorg,L中的第i帧的第j个通道中的每个像素点的像素值与SQorg,L中的第i-1帧的第j个通道中的对应像素点的像素值的差值的绝对值；然后将W×H个绝对值按从大到小的顺序排列后取第个绝对值作为thL的值；其中，符号为向上取整运算符号。
8.根据权利要求5所述的一种自由视点视频质量评估方法，其特征在于所述的步骤四中，ThL的值等于中的所有像素点的像素值按从大到小的顺序排列后的前α个像素值的平均值，其中，符号为向上取整运算符号。
CN201811054805.9A 2018-09-11 2018-09-11 一种自由视点视频质量评估方法 Active CN109218710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811054805.9A CN109218710B (zh) 2018-09-11 2018-09-11 一种自由视点视频质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811054805.9A CN109218710B (zh) 2018-09-11 2018-09-11 一种自由视点视频质量评估方法

Publications (2)

Publication Number Publication Date
CN109218710A CN109218710A (zh) 2019-01-15
CN109218710B true CN109218710B (zh) 2019-10-08

Family

ID=64987453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811054805.9A Active CN109218710B (zh) 2018-09-11 2018-09-11 一种自由视点视频质量评估方法

Country Status (1)

Country Link
CN (1) CN109218710B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321793A (zh) * 2019-05-23 2019-10-11 平安科技（深圳）有限公司 支票取现方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024387A (zh) * 2012-12-17 2013-04-03 宁波大学 一种基于感知的多视点视频码率控制方法
EP3125550A1 (en) * 2009-08-21 2017-02-01 Huawei Technologies Co., Ltd. Method and apparatus for obtaining video quality parameter, and electronic device
CN106973281A (zh) * 2017-01-19 2017-07-21 宁波大学 一种虚拟视点视频质量预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9325985B2 (en) * 2013-05-28 2016-04-26 Apple Inc. Reference and non-reference video quality evaluation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3125550A1 (en) * 2009-08-21 2017-02-01 Huawei Technologies Co., Ltd. Method and apparatus for obtaining video quality parameter, and electronic device
CN103024387A (zh) * 2012-12-17 2013-04-03 宁波大学 一种基于感知的多视点视频码率控制方法
CN106973281A (zh) * 2017-01-19 2017-07-21 宁波大学 一种虚拟视点视频质量预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种自由视点视频系统中立体图像质量的评价方法;王士培;《电信科学》;20180331(第3期);全文 *
基于三维感知的立体虚拟视点图像质量评价方法;汤锐彬等;《光电子.激光》;20180830;第29卷(第8期);全文 *

Also Published As

Publication number Publication date
CN109218710A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
JP4886898B2 (ja) 深さ関連情報伝達のための方法及び装置
CN103763552B (zh) 基于视觉感知特性的立体图像无参考质量评价方法
CN102665086B (zh) 利用基于区域的局部立体匹配获取视差的方法
CN108898575B (zh) 一种新型自适应权重立体匹配方法
CN103780895B (zh) 一种立体视频质量评价方法
CN103136748B (zh) 一种基于特征图的立体图像质量客观评价方法
JP2015162718A (ja) 画像処理方法、画像処理装置及び電子機器
CN106651853A (zh) 基于先验知识和深度权重的3d显著性模型的建立方法
CN104394403A (zh) 一种面向压缩失真的立体视频质量客观评价方法
CN114648482A (zh) 立体全景图像的质量评价方法、系统
CN104469355B (zh) 基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法
US10122987B2 (en) 3D system including additional 2D to 3D conversion
CN108924434B (zh) 一种基于曝光变换的立体高动态范围图像合成方法
Northam et al. Stereoscopic 3D image stylization
CN109218710B (zh) 一种自由视点视频质量评估方法
CN108848365B (zh) 一种重定位立体图像质量评价方法
GB2585197A (en) Method and system for obtaining depth data
Guo et al. Adaptive estimation of depth map for two-dimensional to three-dimensional stereoscopic conversion
CN105120252A (zh) 一种面向虚拟多视点绘制的深度感知增强方法
CN104754320B (zh) 一种3d‑jnd阈值计算方法
CN107610070A (zh) 基于三摄像采集的自由立体匹配方法
Peng et al. Quality assessment of stereoscopic video in free viewpoint video system
Mao et al. Stereoscopic image quality assessment model with three-component weighted structure similarity
CN103824292B (zh) 一种基于三维梯度幅度的立体图像质量客观评价方法
Jung et al. Superpixel matching-based depth propagation for 2D-to-3D conversion with joint bilateral filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant