CN106973281A - 一种虚拟视点视频质量预测方法 - Google Patents

一种虚拟视点视频质量预测方法 Download PDF

Info

Publication number
CN106973281A
CN106973281A CN201710038624.6A CN201710038624A CN106973281A CN 106973281 A CN106973281 A CN 106973281A CN 201710038624 A CN201710038624 A CN 201710038624A CN 106973281 A CN106973281 A CN 106973281A
Authority
CN
China
Prior art keywords
image
frame
depth
distortion
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710038624.6A
Other languages
English (en)
Other versions
CN106973281B (zh
Inventor
陈芬
焦任直
彭宗举
蒋刚毅
郁梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201710038624.6A priority Critical patent/CN106973281B/zh
Publication of CN106973281A publication Critical patent/CN106973281A/zh
Application granted granted Critical
Publication of CN106973281B publication Critical patent/CN106973281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种虚拟视点视频质量预测方法，其将第1帧彩色图像和第1帧深度图像各自中的各个分割块的均值和方差、第1帧彩色图像和第1帧深度图像各自的梯度图像中的各个分割块的均值、第1帧深度图像与第1帧失真深度图像的深度差值图像中的各个分割块的均值作为训练特征，将第1帧失真深度图像对应的标签图像中的各个分割块的均值作为训练标签，使用SVM对训练特征和训练标签组成的训练样本进行训练，得到SVM回归模型；将其余任一帧相应的均值和方差作为测试特征，利用SVM回归模型进行测试；利用输出的测试值获得失真虚拟视点视频的质量值；优点是考虑了虚拟视点绘制质量的各影响因子，使得在深度视频压缩失真下能有效预测出虚拟视点视频质量。

Description

一种虚拟视点视频质量预测方法
技术领域
本发明涉及一种视频质量预测技术，尤其是涉及一种虚拟视点视频质量预测方法。
背景技术
自由视点视频(FVV，Free Viewpoint Video)系统是在3D视频系统基础上的进一步发展，其可以使用户获得更好的视觉体验效果，感受到真切的深度感和沉浸感，是新一代多媒体视频系统的发展方向。由于受到成本与传输带宽的限制，因此不可能在每一个视点上都放置一台相机。多视点视频加深度(MVD，Multi-view Video plus Depth)能够克服相机获取真实视点能力的限制，满足用户自由选择观看视角，其已成为自由视点视频系统中场景的主流表示格式。在自由视点视频系统中，使用基于深度的虚拟视点绘制(DIBR，DepthImage Based Rending)技术可以生成任意位置的虚拟视点视频，达到自由观看效果。
虚拟视点视频数据来源于解码端，因此，在解码端，深度视频和彩色视频的质量及虚拟视点绘制算法的性能会影响虚拟视点视频的质量，从而会影响人类视觉体验效果。若能提前预测所绘制的虚拟视点视频的质量，则可以根据虚拟视点视频的质量反馈指导深度视频编码、码率分配和虚拟视点绘制过程等，因此虚拟视点视频质量的预测具有重要意义。
在基于多视点视频加深度的自由视点视频系统中，虚拟视点视频由解码端的彩色视频和与之相对应的深度视频绘制产生。在深度视频压缩失真的条件下，虚拟视点视频质量影响的重要因素为：一个是深度视频的失真幅度；另一个就是虚拟视点绘制过程中的三维变换过程，两部分相互联系。对于第一个重要因素，深度值决定虚拟视点视频中的每帧图像中的像素位置的偏移量，深度失真的大小决定了像素偏移失真的程度。对于第二个重要因素，当相机水平平行放置时，三维变化过程其实为视差补偿的过程，通过公式可以将深度值转化为视差值，其中，dp表示视差值，b表示相机间的基线距离，f表示相机的焦距，Znear为最近实际景深，Zfar为最远实际景深，v表示深度值；通过上式变换得到的视差值一般为小数，这就表明经过投影后参考视点中的像素点被投影到半像素位置，因此需再经过像素插值，将半像素位置的像素点插值到整像素位置，如：假设通过三维变换以后，参考视点中坐标位置为xi处的像素点投影到虚拟视点图像空间中坐标位置为xi'处，它们之间的视差为dpi，则它们之间有如下等式关系：H(xi)＝xi'，xi'＝xi-dpi，其中，H()为三维变换函数。
深度视频失真会导致绘制的虚拟视点视频产生失真，若要计算由失真深度视频和原始彩色视频绘制的虚拟视点视频的质量，则需要通过下面步骤：首先，通过原始深度视频和原始彩色视频绘制虚拟视点视频；然后，通过失真深度视频和原始彩色视频绘制虚拟视点视频；最后，将原始深度视频和原始彩色视频绘制的虚拟视点视频作为参考虚拟视点视频，将失真深度视频和原始彩色视频绘制的虚拟视点视频作为失真虚拟视点视频，以参考虚拟视点视频为基准，求出失真虚拟视点视频的质量。
通过上述过程，可以准确地求出失真深度视频所绘制的虚拟视点视频的质量，但是上述过程较为繁复，且需要进行两次虚拟视点绘制，复杂度较高。为了有效地预测出虚拟视点视频的质量，分析虚拟视点质量影响机制，众多研究学者展开了研究。已有的虚拟视点视频质量预测算法通过建立自回归模型，预测失真虚拟视点视频的质量，具体过程如下：首先，将原始深度视频和失真深度视频作差，求出失真深度视频对应的视差偏移失真；然后，将原始彩色视频中的每帧彩色图像分为互不重叠的图像块，将每帧彩色图像中的任一个图像块记为X，X中包含有N个像素点，其中，64≤N≤1024，这里取N＝256；接着，根据像素点视差偏移求出X对应的偏移块，记为X'，将X'中的第n个像素点的像素值记为xn'，其中，1≤n≤N，xn表示X中的第n个像素点的像素值，Δpn表示X中的第n个像素点对应的像素位置偏移失真，表示X中的第n+Δpn个像素点的像素值，若偏移失真后像素位置超出边界，则用图像边界处像素代替；再计算X和X'的相关系数，记为ρ，其中，cov(X,X')表示计算X中的所有像素点的像素值与X'中的所有像素点的像素值之间的协方差，σX表示X中的所有像素点的像素值的方差，σX'表示X'中的所有像素点的像素值的方差；之后，计算X'的误差平方和，记为SSE，利用自回归模型可以将X和X'的相关系数ρ近似为ρn表示X中仅第n个像素点偏移时求得的X和X'的相关系数，符号“||”为取绝对值符号，因此SSE可近似写为最后，根据所有偏移块的误差平方和，预测出失真虚拟视点视频中的每帧虚拟视点图像的峰值信噪比(PSNR，Peak Signal to Noise Ratio)值。由于该方法没有考虑对象边界遮挡对虚拟视点视频质量的影响，因此，预测出的虚拟视点视频的PSNR值与原始PSNR值相关性较弱。
发明内容
本发明所要解决的技术问题是提供一种时间复杂度低的虚拟视点视频质量预测方法，其充分考虑了虚拟视点绘制质量的各影响因子，使得在深度视频存在压缩失真条件下，能够有效地预测出虚拟视点视频质量。
本发明解决上述技术问题所采用的技术方案为：一种虚拟视点视频质量预测方法，其特征在于包括以下步骤：
①将原始彩色视频记为ICo，将与ICo对应的原始深度视频记为IVo；使用HTM平台，并采用设定的编码量化参数对IVo进行压缩，得到设定的编码量化参数下的失真深度视频，记为IVd；将ICo中的第m帧彩色图像记为将IVo中的第m帧深度图像记为将IVd中的第m帧失真深度图像记为其中，设定的编码量化参数的取值范围为[0，51]，ICo中的每帧彩色图像的宽度、IVo中的每帧深度图像的宽度、IVd中的每帧失真深度图像的宽度均为W，ICo中的每帧彩色图像的高度、IVo中的每帧深度图像的高度、IVd中的每帧失真深度图像的高度均为H，1≤m≤M，M表示ICo中包含的彩色图像的总帧数，亦表示IVo中包含的深度图像的总帧数，亦表示IVd中包含的失真深度图像的总帧数；
②利用Sobel算子，获取ICo中的每帧彩色图像的梯度图像，将的梯度图像记为同样，利用Sobel算子，获取IVo中的每帧深度图像的梯度图像，将的梯度图像记为其中，和的宽度均为W，和的高度均为H；
③计算IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像，将与的深度差值图像记为将中坐标位置为(x,y)的像素点的像素值记为其中，的宽度为W，的高度为H，1≤x≤W,1≤y≤H；
④获取IVo中的每帧深度图像的视差图像，将的视差图像记为将中坐标位置为(x,y)的像素点的像素值记为然后对IVo中的每帧深度图像的视差图像中的所有像素点的像素值进行四舍五入运算，得到IVo中的每帧深度图像的整型视差图像，将的整型视差图像记为将中坐标位置为(x,y)的像素点的像素值记为其中，和的宽度均为W，和的高度均为H；
同样，获取IVd中的每帧失真深度图像的视差图像，将的视差图像记为将中坐标位置为(x,y)的像素点的像素值记为然后对IVd中的每帧失真深度图像的视差图像中的所有像素点的像素值进行四舍五入运算，得到IVd中的每帧失真深度图像的整型视差图像，将的整型视差图像记为将中坐标位置为(x,y)的像素点的像素值记为其中，和的宽度均为W，和的高度均为H；
⑤根据IVd中的每帧失真深度图像的整型视差图像，对ICo中的每帧彩色图像进行投影，获取IVd中的每帧失真深度图像对应的失真虚拟视点图像，令表示对应的失真虚拟视点图像，将中的每个像素点的像素值初始化为0，将中坐标位置为(x',y)的像素点的像素值记为 且满足1≤x'≤W时其中，的宽度为W，的高度为H，表示中坐标位置为(x,y)的像素点的像素值；
⑥获取IVd中的每帧失真深度图像对应的掩模图像，将对应的掩模图像记为将中坐标位置为(x,y)的像素点的像素值记为 其中，的宽度为W，的高度为H，符号为向下取整运算符号，符号为向上取整运算符号；
⑦根据IVd中的每帧失真深度图像对应的失真虚拟视点图像，及IVd中的每帧失真深度图像对应的掩模图像，获取IVd中的每帧失真深度图像对应的失真虚拟视点图像中的每个像素点的虚拟视点失真大小，将中坐标位置为(x,y)的像素点的虚拟视点失真大小记为 然后对IVd中的每帧失真深度图像对应的失真虚拟视点图像中的每个像素点的虚拟视点失真大小进行平方运算，得到IVd中的每帧失真深度图像对应的失真虚拟视点图像的标签图像，将的标签图像记为将中坐标位置为(x,y)的像素点的像素值记为 其中，的宽度为W，的高度为H，表示中坐标位置为(x”,y)的像素点的像素值，且满足1≤x"≤W，表示中坐标位置为(x,y)的像素点的像素值；
⑧将ICo中的每帧彩色图像、IVo中的每帧深度图像、ICo中的每帧彩色图像的梯度图像、IVo中的每帧深度图像的梯度图像、IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像、IVd中的每帧失真深度图像对应的失真虚拟视点图像的标签图像分别划分为U×V个互不重叠的分割块；然后计算ICo中的每帧彩色图像中的每个分割块中的所有像素点的像素值的均值和方差，计算IVo中的每帧深度图像中的每个分割块中的所有像素点的像素值的均值和方差，计算ICo中的每帧彩色图像的梯度图像中的每个分割块中的所有像素点的像素值的均值，计算IVo中的每帧深度图像的梯度图像中的每个分割块中的所有像素点的像素值的均值，计算IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像中的每个分割块中的所有像素点的像素值的均值，计算中的每个分割块中的所有像素点的像素值的均值；其中，如果W能被n整除，则如果W不能被n整除，则如果H能被n整除，则如果H不能被n整除，则n的取值为8或16或32或64；
⑨将ICo中的第1帧彩色图像中的各个分割块对应的均值和方差、IVo中的第1帧深度图像中的各个分割块对应的均值和方差、ICo中的第1帧彩色图像的梯度图像中的各个分割块对应的均值、IVo中的第1帧深度图像的梯度图像中的各个分割块对应的均值、IVo中的第1帧深度图像与IVd中对应的失真深度图像的深度差值图像中的各个分割块对应的均值作为训练特征，将中的各个分割块对应的均值作为训练标签，将训练特征和训练标签组合成训练样本；然后使用SVM对训练样本进行训练，得到SVM回归模型，描述为：其中，f()为函数表示形式，Ch为训练特征，f(Ch)为训练标签，W为f()的权重矢量，WT为W的转置，b为偏置项，为核函数；
⑩将ICo中的第m'帧彩色图像中的各个分割块对应的均值和方差、IVo中的第m'帧深度图像中的各个分割块对应的均值和方差、ICo中的第m'帧彩色图像的梯度图像中的各个分割块对应的均值、IVo中的第m'帧深度图像的梯度图像中的各个分割块对应的均值、IVo中的第m'帧深度图像与IVd中对应的失真深度图像的深度差值图像中的各个分割块对应的均值作为测试特征；然后利用SVM回归模型对测试特征进行测试，得到U×V个输出值，U×V个输出值一一对应为IVd中的第m'帧失真深度图像对应的失真虚拟视点图像的标签图像中的每个分割块对应的测试均值；接着计算IVd中的第m'帧失真深度图像对应的失真虚拟视点图像的PSNR值，记为 最后计算由所有失真虚拟视点图像构成的失真虚拟视点视频的质量值，记为Q，其中，2≤m'≤M，表示中坐标位置为(u,v)的分割块对应的测试均值。
所述的步骤③中其中，表示中坐标位置为(x,y)的像素点的像素值即深度值，表示中坐标位置为(x,y)的像素点的像素值即深度值，符号“||”为取绝对值符号。
所述的步骤④中 其中，b表示相机间的基线距离，f表示相机的焦距，Znear为最近实际景深，Zfar为最远实际景深，表示中坐标位置为(x,y)的像素点的像素值即深度值，表示中坐标位置为(x,y)的像素点的像素值即深度值。
与现有技术相比，本发明的优点在于：
1)本发明方法充分考虑了绘制过程中深度失真引入的绘制失真，失真深度视频中的每帧失真深度图像对应的掩膜图像表示出了不满足失真容限的区域，根据不满足失真容限区域可以获取此区域深度失真引入的虚拟视点失真的大小，从而可以得到准确的训练标签，同时避免了计算所有像素点，仅需计算少量的不满足失真容限区域的像素点即可，节省了时间。
2)本发明方法充分考虑了虚拟视点视频质量的各种影响因子，通过分析得到各种影响因子对虚拟视点视频质量影响，来建立合理有效的训练特征和测试特征，用于虚拟视点视频质量预测模型的训练和虚拟视点视频质量的预测，在训练和测试的过程中，选取的特征并非越多越好，而是与训练标签相关性越强越好，分析和测试结果表明，本发明方法选取的训练特征合理有效，与训练标签具有较强的相关性。
3)本发明方法利用支持向量机回归模型，可以有效的模拟虚拟视点失真和各影响因子之间的隐函数关系，可以避免主观设计函数和模型不准的影响，减小预测误差。
4)通过实验结果可以看出，本发明方法可以有效地预测虚拟视点视频的质量，而且每帧用的时间远远小于现有的算法，预测结果也更为精确，训练的函数关系方便移植，可以用于指导深度视频编码。
附图说明
图1为本发明方法的总体实现框图；
图2a为“balloons”彩色视频序列第3视点第1帧原始彩色图像；
图2b为“balloons”深度视频序列第3视点第1帧原始深度图像；
图2c为图2b所示的原始深度图经压缩后得到的失真深度图像(编码量化参数为40)；
图2d为图2b所示的原始深度图像与图2c所示的失真深度图像的深度差值图像；
图2e为图2c所示的失真深度图像对应的掩模图像；
图2f为图2c所示的失真深度图像对应的失真虚拟视点图像中的所有像素点的虚拟视点失真大小构成的图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种虚拟视点视频质量预测方法，其总体实现框图如图1所示，其包括以下步骤：
①将原始彩色视频记为ICo，将与ICo对应的原始深度视频记为IVo；使用HTM平台，并采用设定的编码量化参数对IVo进行压缩，得到设定的编码量化参数下的失真深度视频，记为IVd；将ICo中的第m帧彩色图像记为将IVo中的第m帧深度图像记为将IVd中的第m帧失真深度图像记为其中，设定的编码量化参数的取值范围为[0，51]，在本实施例中设定的编码量化参数如可取25、30、35或40，ICo中的每帧彩色图像的宽度、IVo中的每帧深度图像的宽度、IVd中的每帧失真深度图像的宽度均为W，ICo中的每帧彩色图像的高度、IVo中的每帧深度图像的高度、IVd中的每帧失真深度图像的高度均为H，在本实施例中取W＝1024且H＝768，1≤m≤M，M表示ICo中包含的彩色图像的总帧数，亦表示IVo中包含的深度图像的总帧数，亦表示IVd中包含的失真深度图像的总帧数。
图2a给出了“balloons”彩色视频序列第3视点第1帧原始彩色图像；图2b给出了“balloons”深度视频序列第3视点第1帧原始深度图像；图2c给出了图2b所示的原始深度图经压缩后得到的失真深度图像(编码量化参数为40)。
②利用Sobel算子，获取ICo中的每帧彩色图像的梯度图像，将的梯度图像记为同样，利用Sobel算子，获取IVo中的每帧深度图像的梯度图像，将的梯度图像记为其中，和的宽度均为W，和的高度均为H。
③计算IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像，将与的深度差值图像记为将中坐标位置为(x,y)的像素点的像素值记为其中，的宽度为W，的高度为H，1≤x≤W,1≤y≤H。
在此具体实施例中，步骤③中其中，表示中坐标位置为(x,y)的像素点的像素值即深度值，表示中坐标位置为(x,y)的像素点的像素值即深度值，符号“||”为取绝对值符号。
图2d给出了图2b所示的原始深度图像与图2c所示的失真深度图像的深度差值图像。
④获取IVo中的每帧深度图像的视差图像，将的视差图像记为将中坐标位置为(x,y)的像素点的像素值记为然后对IVo中的每帧深度图像的视差图像中的所有像素点的像素值进行四舍五入运算，得到IVo中的每帧深度图像的整型视差图像，将的整型视差图像记为将中坐标位置为(x,y)的像素点的像素值记为其中，和的宽度均为W，和的高度均为H。
同样，获取IVd中的每帧失真深度图像的视差图像，将的视差图像记为将中坐标位置为(x,y)的像素点的像素值记为然后对IVd中的每帧失真深度图像的视差图像中的所有像素点的像素值进行四舍五入运算，得到IVd中的每帧失真深度图像的整型视差图像，将的整型视差图像记为将中坐标位置为(x,y)的像素点的像素值记为其中，和的宽度均为W，和的高度均为H。
在此具体实施例中，步骤④中 其中，b表示相机间的基线距离，f表示相机的焦距，Znear为最近实际景深，Zfar为最远实际景深，表示中坐标位置为(x,y)的像素点的像素值即深度值，表示中坐标位置为(x,y)的像素点的像素值即深度值。
⑤根据IVd中的每帧失真深度图像的整型视差图像，对ICo中的每帧彩色图像进行投影，获取IVd中的每帧失真深度图像对应的失真虚拟视点图像，令表示对应的失真虚拟视点图像，将中的每个像素点的像素值初始化为0，将中坐标位置为(x',y)的像素点的像素值记为 且满足1≤x'≤W时其中，的宽度为W，的高度为H，表示中坐标位置为(x,y)的像素点的像素值；且x'<1或x'>W时则丢弃中坐标位置为(x,y)的像素点的像素值
⑥获取IVd中的每帧失真深度图像对应的掩模图像，将对应的掩模图像记为将中坐标位置为(x,y)的像素点的像素值记为 其中，的宽度为W，的高度为H，符号为向下取整运算符号，符号为向上取整运算符号。
图2e给出了图2c所示的失真深度图像对应的掩模图像。
⑦根据IVd中的每帧失真深度图像对应的失真虚拟视点图像，及IVd中的每帧失真深度图像对应的掩模图像，获取IVd中的每帧失真深度图像对应的失真虚拟视点图像中的每个像素点的虚拟视点失真大小，将中坐标位置为(x,y)的像素点的虚拟视点失真大小记为 然后对IVd中的每帧失真深度图像对应的失真虚拟视点图像中的每个像素点的虚拟视点失真大小进行平方运算，得到IVd中的每帧失真深度图像对应的失真虚拟视点图像的标签图像，将的标签图像记为将中坐标位置为(x,y)的像素点的像素值记为 其中，的宽度为W，的高度为H，表示中坐标位置为(x”,y)的像素点的像素值，且满足1≤x"≤W，表示中坐标位置为(x,y)的像素点的像素值。
图2f给出了图2c所示的失真深度图像对应的失真虚拟视点图像中的所有像素点的虚拟视点失真大小构成的图像。
⑧将ICo中的每帧彩色图像、IVo中的每帧深度图像、ICo中的每帧彩色图像的梯度图像、IVo中的每帧深度图像的梯度图像、IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像、IVd中的每帧失真深度图像对应的失真虚拟视点图像的标签图像分别划分为U×V个互不重叠的分割块；然后计算ICo中的每帧彩色图像中的每个分割块中的所有像素点的像素值的均值和方差，计算IVo中的每帧深度图像中的每个分割块中的所有像素点的像素值的均值和方差，计算ICo中的每帧彩色图像的梯度图像中的每个分割块中的所有像素点的像素值的均值，计算IVo中的每帧深度图像的梯度图像中的每个分割块中的所有像素点的像素值的均值，计算IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像中的每个分割块中的所有像素点的像素值的均值，计算中的每个分割块中的所有像素点的像素值的均值；其中，如果W能被n整除，则如果W不能被n整除，则如果H能被n整除，则如果H不能被n整除，则n的取值为8或16或32或64，在本实施例中取n＝64，当W能被n整除且H也能被n整除时，每个分割块的尺寸大小为n×n；当W能被n整除而H不能被n整除时，除最后一行分割块外的所有分割块的尺寸大小为n×n；当W不能被n整除而H能被n整除时，除最后一列分割块外的所有分割块的尺寸大小为n×n；当W不能被n整除且H也不能被n整除时，除最后一行和最后一列分割块外的所有分割块的尺寸大小为n×n，即当图像不能整数分割时将边界剩余部分也作为一个分割块。
⑨将ICo中的第1帧彩色图像中的各个分割块对应的均值和方差、IVo中的第1帧深度图像中的各个分割块对应的均值和方差、ICo中的第1帧彩色图像的梯度图像中的各个分割块对应的均值、IVo中的第1帧深度图像的梯度图像中的各个分割块对应的均值、IVo中的第1帧深度图像与IVd中对应的失真深度图像的深度差值图像中的各个分割块对应的均值作为训练特征，将中的各个分割块对应的均值作为训练标签，将训练特征和训练标签组合成训练样本；然后使用SVM对训练样本进行训练，得到SVM回归模型，描述为：其中，f()为函数表示形式，Ch为训练特征，f(Ch)为训练标签，W为f()的权重矢量，WT为W的转置，b为偏置项，为核函数，在本实施例中采用径向基核。
⑩将ICo中的第m'帧彩色图像中的各个分割块对应的均值和方差、IVo中的第m'帧深度图像中的各个分割块对应的均值和方差、ICo中的第m'帧彩色图像的梯度图像中的各个分割块对应的均值、IVo中的第m'帧深度图像的梯度图像中的各个分割块对应的均值、IVo中的第m'帧深度图像与IVd中对应的失真深度图像的深度差值图像中的各个分割块对应的均值作为测试特征；然后利用SVM回归模型对测试特征进行测试，得到U×V个输出值，U×V个输出值一一对应为IVd中的第m'帧失真深度图像对应的失真虚拟视点图像的标签图像中的每个分割块对应的测试均值；接着计算IVd中的第m'帧失真深度图像对应的失真虚拟视点图像的PSNR值，记为 最后计算由所有失真虚拟视点图像构成的失真虚拟视点视频的质量值，记为Q，其中，2≤m'≤M，表示中坐标位置为(u,v)的分割块对应的测试均值。
为了验证本发明方法的性能，本发明采用如下测试序列验证本发明方法的性能：Nagoya提供的Balloons序列、Kendo序列；ETRI/MPEG Korea Forum提供的Lovebird1序列；GIST提供的Newspaper序列；HHI提供的Alt Moabit序列、Book Arrival序列、Door Flowers序列和Leave Laptop序列。表1给出了上述测试序列的详细信息，表1中视点8,10→9表示第9视点是由第8视点和第10视点两视点绘制得到。为了模拟压缩失真，分别使用HTM平台对上述测试序列的深度视频进行压缩，深度编码单元的最大分割深度为0，编码量化参数(QP)分别选为25、30、35和40。
表1测试序列详细信息
为了验证本发明方法的性能，分别比较了预测结果一致性、准确性和预测速度。
表2给出了分别利用本发明方法和背景技术中的虚拟视点视频质量预测算法，对采用25、30、35和40四个不同编码量化参数压缩后的失真深度视频估计得到的失真虚拟视点视频的质量值(PSNR值)，原始未压缩的深度图绘制的虚拟视点图像作为参考图像。从表2中可以看出，利用本发明方法得到的失真虚拟视点视频的PSNR值与原始PSNR值较为接近，且增长幅度较为一致。
表2分别利用本发明方法和背景技术中的虚拟视点视频质量预测算法，对采用25、30、35和40四个不同编码量化参数压缩后的失真深度视频估计得到的失真虚拟视点视频的质量值(PSNR值)
表3给出了本发明方法和背景技术中的虚拟视点视频质量预测算法的均方根误差、斯皮尔曼相关系数和皮尔逊相关系数。从表3中可以看出，本发明方法的斯皮尔曼相关系数和皮尔逊相关系数分别为0.8865和0.8659，而背景技术中的虚拟视点视频质量预测算法的斯皮尔曼相关系数和皮尔逊相关系数为0.8032和0.8549，都低于本发明方法，说明本发明方法预测的PSNR和原始PSNR的相关性强。本发明方法的均方根误差为0.7097，而背景技术中的虚拟视点视频质量预测算法的均方根误差为0.7264，误差比本发明方法大，可以看出本发明方法预测的PSNR值和原始PSNR误差较小，更加准确。同时本发明方法预测PSNR时所用的时间远远小于背景技术中的虚拟视点视频质量预测算法，时间复杂度低。
表3本发明方法和背景技术中的虚拟视点视频质量预测算法的均方根误差、斯皮尔曼相关系数和皮尔逊相关系数

Claims (3)

1.一种虚拟视点视频质量预测方法，其特征在于包括以下步骤：
①将原始彩色视频记为ICo，将与ICo对应的原始深度视频记为IVo；使用HTM平台，并采用设定的编码量化参数对IVo进行压缩，得到设定的编码量化参数下的失真深度视频，记为IVd；将ICo中的第m帧彩色图像记为将IVo中的第m帧深度图像记为将IVd中的第m帧失真深度图像记为其中，设定的编码量化参数的取值范围为[0，51]，ICo中的每帧彩色图像的宽度、IVo中的每帧深度图像的宽度、IVd中的每帧失真深度图像的宽度均为W，ICo中的每帧彩色图像的高度、IVo中的每帧深度图像的高度、IVd中的每帧失真深度图像的高度均为H，1≤m≤M，M表示ICo中包含的彩色图像的总帧数，亦表示IVo中包含的深度图像的总帧数，亦表示IVd中包含的失真深度图像的总帧数；
②利用Sobel算子，获取ICo中的每帧彩色图像的梯度图像，将的梯度图像记为同样，利用Sobel算子，获取IVo中的每帧深度图像的梯度图像，将的梯度图像记为其中，和的宽度均为W，和的高度均为H；
③计算IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像，将与的深度差值图像记为将中坐标位置为(x,y)的像素点的像素值记为其中，的宽度为W，的高度为H，1≤x≤W,1≤y≤H；
④获取IVo中的每帧深度图像的视差图像，将的视差图像记为将中坐标位置为(x,y)的像素点的像素值记为然后对IVo中的每帧深度图像的视差图像中的所有像素点的像素值进行四舍五入运算，得到IVo中的每帧深度图像的整型视差图像，将的整型视差图像记为将中坐标位置为(x,y)的像素点的像素值记为其中，和的宽度均为W，和的高度均为H；
同样，获取IVd中的每帧失真深度图像的视差图像，将的视差图像记为将中坐标位置为(x,y)的像素点的像素值记为然后对IVd中的每帧失真深度图像的视差图像中的所有像素点的像素值进行四舍五入运算，得到IVd中的每帧失真深度图像的整型视差图像，将的整型视差图像记为将中坐标位置为(x,y)的像素点的像素值记为其中，和的宽度均为W，和的高度均为H；
⑤根据IVd中的每帧失真深度图像的整型视差图像，对ICo中的每帧彩色图像进行投影，获取IVd中的每帧失真深度图像对应的失真虚拟视点图像，令表示对应的失真虚拟视点图像，将中的每个像素点的像素值初始化为0，将中坐标位置为(x',y)的像素点的像素值记为 且满足1≤x'≤W时其中，的宽度为W，的高度为H，表示中坐标位置为(x,y)的像素点的像素值；
⑥获取IVd中的每帧失真深度图像对应的掩模图像，将对应的掩模图像记为将中坐标位置为(x,y)的像素点的像素值记为
其中，的宽度为W，的高度为H，符号为向下取整运算符号，符号为向上取整运算符号；
⑦根据IVd中的每帧失真深度图像对应的失真虚拟视点图像，及IVd中的每帧失真深度图像对应的掩模图像，获取IVd中的每帧失真深度图像对应的失真虚拟视点图像中的每个像素点的虚拟视点失真大小，将中坐标位置为(x,y)的像素点的虚拟视点失真大小记为 然后对IVd中的每帧失真深度图像对应的失真虚拟视点图像中的每个像素点的虚拟视点失真大小进行平方运算，得到IVd中的每帧失真深度图像对应的失真虚拟视点图像的标签图像，将的标签图像记为将中坐标位置为(x,y)的像素点的像素值记为 其中，的宽度为W，的高度为H，表示中坐标位置为(x”,y)的像素点的像素值，且满足1≤x"≤W，表示中坐标位置为(x,y)的像素点的像素值；
⑧将ICo中的每帧彩色图像、IVo中的每帧深度图像、ICo中的每帧彩色图像的梯度图像、IVo中的每帧深度图像的梯度图像、IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像、IVd中的每帧失真深度图像对应的失真虚拟视点图像的标签图像分别划分为U×V个互不重叠的分割块；然后计算ICo中的每帧彩色图像中的每个分割块中的所有像素点的像素值的均值和方差，计算IVo中的每帧深度图像中的每个分割块中的所有像素点的像素值的均值和方差，计算ICo中的每帧彩色图像的梯度图像中的每个分割块中的所有像素点的像素值的均值，计算IVo中的每帧深度图像的梯度图像中的每个分割块中的所有像素点的像素值的均值，计算IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像中的每个分割块中的所有像素点的像素值的均值，计算中的每个分割块中的所有像素点的像素值的均值；其中，如果W能被n整除，则如果W不能被n整除，则如果H能被n整除，则如果H不能被n整除，则n的取值为8或16或32或64；
⑨将ICo中的第1帧彩色图像中的各个分割块对应的均值和方差、IVo中的第1帧深度图像中的各个分割块对应的均值和方差、ICo中的第1帧彩色图像的梯度图像中的各个分割块对应的均值、IVo中的第1帧深度图像的梯度图像中的各个分割块对应的均值、IVo中的第1帧深度图像与IVd中对应的失真深度图像的深度差值图像中的各个分割块对应的均值作为训练特征，将中的各个分割块对应的均值作为训练标签，将训练特征和训练标签组合成训练样本；然后使用SVM对训练样本进行训练，得到SVM回归模型，描述为：其中，f( )为函数表示形式，Ch为训练特征，f(Ch)为训练标签，W为f()的权重矢量，WT为W的转置，b为偏置项，为核函数；
⑩将ICo中的第m'帧彩色图像中的各个分割块对应的均值和方差、IVo中的第m'帧深度图像中的各个分割块对应的均值和方差、ICo中的第m'帧彩色图像的梯度图像中的各个分割块对应的均值、IVo中的第m'帧深度图像的梯度图像中的各个分割块对应的均值、IVo中的第m'帧深度图像与IVd中对应的失真深度图像的深度差值图像中的各个分割块对应的均值作为测试特征；然后利用SVM回归模型对测试特征进行测试，得到U×V个输出值，U×V个输出值一一对应为IVd中的第m'帧失真深度图像对应的失真虚拟视点图像的标签图像中的每个分割块对应的测试均值；接着计算IVd中的第m'帧失真深度图像对应的失真虚拟视点图像的PSNR值，记为 最后计算由所有失真虚拟视点图像构成的失真虚拟视点视频的质量值，记为Q，其中，2≤m'≤M，表示中坐标位置为(u,v)的分割块对应的测试均值。
2.根据权利要求1所述的一种虚拟视点视频质量预测方法，其特征在于所述的步骤③中其中，表示中坐标位置为(x,y)的像素点的像素值即深度值，表示中坐标位置为(x,y)的像素点的像素值即深度值，符号“||”为取绝对值符号。
3.根据权利要求1或2所述的一种虚拟视点视频质量预测方法，其特征在于所述的步骤④中 其中，b表示相机间的基线距离，f表示相机的焦距，Znear为最近实际景深，Zfar为最远实际景深，表示中坐标位置为(x,y)的像素点的像素值即深度值，表示中坐标位置为(x,y)的像素点的像素值即深度值。
CN201710038624.6A 2017-01-19 2017-01-19 一种虚拟视点视频质量预测方法 Active CN106973281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710038624.6A CN106973281B (zh) 2017-01-19 2017-01-19 一种虚拟视点视频质量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710038624.6A CN106973281B (zh) 2017-01-19 2017-01-19 一种虚拟视点视频质量预测方法

Publications (2)

Publication Number Publication Date
CN106973281A true CN106973281A (zh) 2017-07-21
CN106973281B CN106973281B (zh) 2018-12-07

Family

ID=59334553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710038624.6A Active CN106973281B (zh) 2017-01-19 2017-01-19 一种虚拟视点视频质量预测方法

Country Status (1)

Country Link
CN (1) CN106973281B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600730A (zh) * 2018-03-26 2018-09-28 杭州同绘科技有限公司 一种基于合成图像质量度量的远程绘制方法
CN109218710A (zh) * 2018-09-11 2019-01-15 宁波大学 一种自由视点视频质量评估方法
CN110944200A (zh) * 2019-12-10 2020-03-31 南京大学 一种评估沉浸式视频转码方案的方法
ES2883750R1 (es) * 2019-03-19 2023-03-21 Koninklijke Philips Nv Senal de imagen que representa una escena

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281554A (zh) * 2013-04-23 2013-09-04 宁波大学 一种基于人眼视觉特性的视频客观质量评价方法
CN104394403A (zh) * 2014-11-04 2015-03-04 宁波大学 一种面向压缩失真的立体视频质量客观评价方法
CN106341677A (zh) * 2015-07-07 2017-01-18 中国科学院深圳先进技术研究院 虚拟视点视频质量评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281554A (zh) * 2013-04-23 2013-09-04 宁波大学 一种基于人眼视觉特性的视频客观质量评价方法
CN104394403A (zh) * 2014-11-04 2015-03-04 宁波大学 一种面向压缩失真的立体视频质量客观评价方法
CN106341677A (zh) * 2015-07-07 2017-01-18 中国科学院深圳先进技术研究院 虚拟视点视频质量评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FENG SHAO: "Perceptual Full-Reference Quality Assessment of Stereoscopic Images by Considering Binocular Visual Characteristics", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
YEMING HE: "Quaternion Assessment Model of Video Quality Based on Chrominance and Blocking", 《2012 9TH INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY (FSKD 2012)》 *
田维军: "基于深度学习的无参考立体图像质量评价", 《计算机辅助设计与图形学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600730A (zh) * 2018-03-26 2018-09-28 杭州同绘科技有限公司 一种基于合成图像质量度量的远程绘制方法
CN109218710A (zh) * 2018-09-11 2019-01-15 宁波大学 一种自由视点视频质量评估方法
CN109218710B (zh) * 2018-09-11 2019-10-08 宁波大学 一种自由视点视频质量评估方法
ES2883750R1 (es) * 2019-03-19 2023-03-21 Koninklijke Philips Nv Senal de imagen que representa una escena
CN110944200A (zh) * 2019-12-10 2020-03-31 南京大学 一种评估沉浸式视频转码方案的方法
CN110944200B (zh) * 2019-12-10 2022-03-15 南京大学 一种评估沉浸式视频转码方案的方法

Also Published As

Publication number Publication date
CN106973281B (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN106973281B (zh) 一种虚拟视点视频质量预测方法
Yuan et al. Model-based joint bit allocation between texture videos and depth maps for 3-D video coding
CN102027752B (zh) 用于测量立体运动画面的潜在眼睛疲劳的系统和方法
CN102209257B (zh) 一种立体图像质量客观评价方法
CN104219533B (zh) 一种双向运动估计方法和视频帧率上转换方法及系统
CN101243691B (zh) 用于基于块的运动估计的方法和设备
CN101263713B (zh) 采用不规则形状进行运动补偿的方法和装置
CN103248909A (zh) 平面视频转化为立体视频的方法及系统
CN103428499B (zh) 编码单元的划分方法及使用该方法的多视点视频编码方法
Stefanoski et al. Automatic view synthesis by image-domain-warping
CN102870412A (zh) 在网络环境中提供编码视频应用
CN101883286B (zh) 运动估计中的校准方法及装置、运动估计方法及装置
CN103081476A (zh) 利用深度图信息转换三维图像的方法和设备
CN102263957B (zh) 一种基于搜索窗口自适应的视差估计方法
KR20060133764A (ko) 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
CN109196866A (zh) 用于显示流压缩的子流多路复用
CN101005623A (zh) 确定视频块帧内或帧间编码的方法
JP2012015744A (ja) 奥行き信号生成装置及び方法
CN103716641A (zh) 预测图像生成方法和装置
CN104159095A (zh) 一种多视点纹理视频和深度图编码的码率控制方法
CN102186091A (zh) 一种基于光栅的多视点立体手机视频像素排布方法
CN104853175B (zh) 一种新的合成虚拟视点客观质量评价方法
CN108848365B (zh) 一种重定位立体图像质量评价方法
CN102761765A (zh) 一种用于三维立体视频的深度快速插帧方法
CN102026012A (zh) 平面视频立体化转换深度图生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant