CN110691236B - 一种全景视频质量评价方法 - Google Patents

一种全景视频质量评价方法 Download PDF

Info

Publication number
CN110691236B
CN110691236B CN201910881362.9A CN201910881362A CN110691236B CN 110691236 B CN110691236 B CN 110691236B CN 201910881362 A CN201910881362 A CN 201910881362A CN 110691236 B CN110691236 B CN 110691236B
Authority
CN
China
Prior art keywords
panoramic video
pixel point
coordinate position
recorded
represent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910881362.9A
Other languages
English (en)
Other versions
CN110691236A (zh
Inventor
邵枫
柴雄力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Instrumental Science And Technology Guangzhou Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201910881362.9A priority Critical patent/CN110691236B/zh
Publication of CN110691236A publication Critical patent/CN110691236A/zh
Application granted granted Critical
Publication of CN110691236B publication Critical patent/CN110691236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种全景视频质量评价方法，其将原始全景视频和待评价的全景视频分成若干个帧组，并采用立方体投影方法投影到立方体的六个平面上，然后计算在每个帧组和每个投影面的空域相似性和频域相似性，并根据所有帧组和所有投影面的空域相似性和频域相似性，融合得到待评价的全景视频的客观评价值，由于立方体投影避免了复杂的视口预测，且提取的空域和时域特征具有较强的稳定性且能够较好地反映全景视频的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。

Description

一种全景视频质量评价方法
技术领域
本发明涉及一种视频质量评价技术，尤其是涉及一种全景视频质量评价方法。
背景技术
全景视频是虚拟现实(VR)的一个重要发展方向，其可以为人们提供360°的感受野(FOV)。随着头戴式显示设备的发展，沉浸式甚至是交互式视觉经验可以通过全景视频实现。然而，全景视频的体验质量(QoE)会由于压缩失真及低分辨率而动态变化，因此，对失真全景视频进行质量评价十分必要。现有的全景视频质量评价方法主要基于传统的2D图像和视频质量评价方法，例如，基于球的峰值信噪比(S-PSNR)，根据在球体上的均匀采样点计算PSNR，而不是矩形映射像素。对于全景视频，如何避免在评价过程中对不同视口进行预测，即只对用户观看时的视口进行评价，如何更好地提取全景视频的空域和时域特征，使得客观评价结果更加感觉符合人类视觉系统，都是在对全景视频进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种全景视频质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种全景视频质量评价方法，其特征在于包括以下步骤：
步骤一：设定原始全景视频由若干个帧组的全景图像组成，并设定待评价的全景视频为原始全景视频对应的失真全景视频；将原始全景视频中的第u个帧组中的第t帧全景图像记为
Figure BDA0002205962440000011
将待评价的全景视频中的第u个帧组中的第t帧全景图像记为
Figure BDA0002205962440000012
其中，u和t均为正整数，u和t的初始值均为1，1≤u≤U，U为原始全景视频中包含的帧组的总个数，1≤t≤T，T为原始全景视频中的每个帧组中包含的全景图像的总帧数；
步骤二：采用立方体投影方法，将原始全景视频中的每个帧组中的每帧全景图像投影到立方体的六个作为投影面的平面上，得到原始全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像，将
Figure BDA0002205962440000021
在第v个投影面上的图像记为
Figure BDA0002205962440000022
将
Figure BDA0002205962440000023
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002205962440000024
同样，采用立方体投影方法，将待评价的全景视频中的每个帧组中的每帧全景图像投影到立方体的六个作为投影面的平面上，得到待评价的全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像，将
Figure BDA0002205962440000025
在第v个投影面上的图像记为
Figure BDA0002205962440000026
将
Figure BDA0002205962440000027
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002205962440000028
其中，v为正整数，v的初始值均为1，1≤v≤6，1≤x≤W，1≤y≤H，W表示
Figure BDA0002205962440000029
和
Figure BDA00022059624400000210
的宽度，H表示
Figure BDA00022059624400000211
和
Figure BDA00022059624400000212
的高度；
步骤三：计算原始全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像与待评价的全景视频中对应帧组中的对应全景图像在对应投影面上的图像的空域相似性，将
Figure BDA00022059624400000213
与
Figure BDA00022059624400000214
的空域相似性记为ηu,v,t；然后计算原始全景视频与待评价的全景视频在每个帧组和每个投影面的空域相似性，将原始全景视频与待评价的全景视频在第u个帧组和第v个投影面的空域相似性记为ηu,v，
Figure BDA00022059624400000215
步骤四：计算原始全景视频与待评价的全景视频在每个帧组和每个投影面的频域相似性，将原始全景视频与待评价的全景视频在第u个帧组和第v个投影面的频域相似性记为ρu,v；
步骤五：根据原始全景视频与待评价的全景视频在所有帧组和所有投影面的空域相似性和频域相似性，计算待评价的全景视频的客观评价值，记为q，
Figure BDA00022059624400000216
所述的步骤三中的ηu,v,t的获取过程为：
步骤A1、采用Log-Gabor滤波器对
Figure BDA00022059624400000217
中的每个像素点进行滤波处理，得到
Figure BDA00022059624400000218
中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应，将
Figure BDA0002205962440000031
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的偶对称频率响应记为
Figure BDA0002205962440000032
将
Figure BDA0002205962440000033
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的奇对称频率响应记为
Figure BDA0002205962440000034
同样，采用Log-Gabor滤波器对
Figure BDA0002205962440000035
中的每个像素点进行滤波处理，得到
Figure BDA0002205962440000036
中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应，将
Figure BDA0002205962440000037
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的偶对称频率响应记为
Figure BDA0002205962440000038
将
Figure BDA0002205962440000039
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的奇对称频率响应记为
Figure BDA00022059624400000310
其中，1≤x≤W，1≤y≤H，W表示
Figure BDA00022059624400000311
和
Figure BDA00022059624400000312
的宽度，H表示
Figure BDA00022059624400000313
和
Figure BDA00022059624400000314
的高度，α表示Log-Gabor滤波器的尺度因子，α∈Ωα，Ωα＝{1.74,2.47,3.49,4.93,6.98,9.87}，θ表示Log-Gabor滤波器的方向因子，θ∈Ωθ，Ωθ＝{0°,45°,90°,135°}；
步骤A2、计算
Figure BDA00022059624400000315
中的每个像素点在不同方向的相位一致性特征，将
Figure BDA00022059624400000316
中坐标位置为(x,y)的像素点在方向因子为θ的相位一致性特征记为
Figure BDA00022059624400000317
Figure BDA00022059624400000318
同样，计算
Figure BDA00022059624400000319
中的每个像素点在不同方向的相位一致性特征，将
Figure BDA00022059624400000320
中坐标位置为(x,y)的像素点在方向因子为θ的相位一致性特征记为
Figure BDA00022059624400000321
其中，
Figure BDA00022059624400000322
Figure BDA00022059624400000323
Figure BDA00022059624400000324
Figure BDA00022059624400000325
Figure BDA0002205962440000041
步骤A3、根据
Figure BDA0002205962440000042
中的所有像素点在不同方向的相位一致性特征，获取
Figure BDA0002205962440000043
的相位一致性图，记为
Figure BDA0002205962440000044
将
Figure BDA0002205962440000045
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002205962440000046
Figure BDA0002205962440000047
同样，根据
Figure BDA0002205962440000048
中的所有像素点在不同方向的相位一致性特征，获取
Figure BDA0002205962440000049
的相位一致性图，记为
Figure BDA00022059624400000410
将
Figure BDA00022059624400000411
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA00022059624400000412
步骤A4、采用Sobel算子对
Figure BDA00022059624400000413
进行水平方向和垂直方向的边缘检测，得到
Figure BDA00022059624400000414
的水平梯度图和垂直梯度图，对应记为
Figure BDA00022059624400000415
和
Figure BDA00022059624400000416
同样，采用Sobel算子对
Figure BDA00022059624400000417
进行水平方向和垂直方向的边缘检测，得到
Figure BDA00022059624400000418
的水平梯度图和垂直梯度图，对应记为
Figure BDA00022059624400000419
和
Figure BDA00022059624400000420
然后计算
Figure BDA00022059624400000421
的梯度幅值图，记为
Figure BDA00022059624400000422
将
Figure BDA00022059624400000423
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA00022059624400000424
同样，计算
Figure BDA00022059624400000425
的梯度幅值图，记为
Figure BDA00022059624400000426
将
Figure BDA00022059624400000427
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA00022059624400000428
Figure BDA00022059624400000429
其中，
Figure BDA00022059624400000430
表示
Figure BDA00022059624400000431
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022059624400000432
表示
Figure BDA00022059624400000433
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022059624400000434
表示
Figure BDA00022059624400000435
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022059624400000436
表示
Figure BDA00022059624400000437
中坐标位置为(x,y)的像素点的像素值；
步骤A5、将
Figure BDA00022059624400000438
从RGB颜色空间转化为YIQ颜色空间，得到
Figure BDA00022059624400000439
的亮度分量、第一色度分量和第二色度分量，对应记为
Figure BDA00022059624400000440
和
Figure BDA00022059624400000441
同样，将
Figure BDA00022059624400000442
从RGB颜色空间转化为YIQ颜色空间，得到
Figure BDA00022059624400000443
的亮度分量、第一色度分量和第二色度分量，对应记为
Figure BDA00022059624400000444
和
Figure BDA00022059624400000445
步骤A6、根据
Figure BDA00022059624400000446
和
Figure BDA00022059624400000447
和
Figure BDA00022059624400000448
和
Figure BDA00022059624400000449
和
Figure BDA00022059624400000450
计算
Figure BDA00022059624400000451
与
Figure BDA0002205962440000051
的空域相似性
Figure BDA0002205962440000052
其中，
Figure BDA0002205962440000053
Figure BDA0002205962440000054
Figure BDA0002205962440000055
其中，
Figure BDA0002205962440000056
表示
Figure BDA0002205962440000057
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002205962440000058
表示
Figure BDA0002205962440000059
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022059624400000510
表示
Figure BDA00022059624400000511
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022059624400000512
表示
Figure BDA00022059624400000513
中坐标位置为(x,y)的像素点的像素值，C1和C2为控制参数，λ为加权参数。
所述的步骤四中的ρu,v的获取过程为：
步骤B1、将原始全景视频中同一个帧组中投影到同一个投影面的所有全景图像中的像素点构成一个三维向量矩阵，将原始全景视频中的第u个帧组中投影到第v个投影面的所有全景图像中的像素点构成的三维向量矩阵记为
Figure BDA00022059624400000514
同样，将待评价的全景视频中同一个帧组中投影到同一个投影面的所有全景图像中的像素点构成一个三维向量矩阵，将待评价的全景视频中的第u个帧组中投影到第v个投影面的所有全景图像中的像素点构成的三维向量矩阵记为
Figure BDA00022059624400000515
其中，
Figure BDA00022059624400000516
表示
Figure BDA00022059624400000517
中下标位置为(x,y,t)的元素的值，
Figure BDA00022059624400000518
表示
Figure BDA00022059624400000519
中下标位置为(x,y,t)的元素的值，
Figure BDA00022059624400000520
Figure BDA00022059624400000521
和
Figure BDA00022059624400000522
中的“＝”为赋值操作符号；
步骤B2、对
Figure BDA00022059624400000523
进行三维离散傅立叶变换，得到
Figure BDA00022059624400000524
的频率系数矩阵，记为
Figure BDA00022059624400000525
同样，对
Figure BDA00022059624400000526
进行三维离散傅立叶变换，得到
Figure BDA00022059624400000527
的频率系数矩阵，记为
Figure BDA00022059624400000528
其中，1≤h≤W，1≤k≤H，1≤s≤T，
Figure BDA00022059624400000529
表示
Figure BDA0002205962440000061
中下标位置为(h,k,s)的频率系数值，
Figure BDA0002205962440000062
表示
Figure BDA0002205962440000063
中下标位置为(h,k,s)的频率系数值；
步骤B3、计算
Figure BDA0002205962440000064
的二维功率谱密度矩阵，记为
Figure BDA0002205962440000065
Figure BDA0002205962440000066
同样，计算
Figure BDA0002205962440000067
的二维功率谱密度矩阵，记为
Figure BDA0002205962440000068
其中，
Figure BDA0002205962440000069
表示
Figure BDA00022059624400000610
中下标位置为(h,k)的功率谱密度值，
Figure BDA00022059624400000611
表示
Figure BDA00022059624400000612
中下标位置为(h,k)的功率谱密度值，符号“| |”为取绝对值符号；
步骤B4、根据
Figure BDA00022059624400000613
和
Figure BDA00022059624400000614
计算ρu,v，
Figure BDA00022059624400000615
Figure BDA00022059624400000616
Figure BDA00022059624400000617
Figure BDA00022059624400000618
Figure BDA00022059624400000619
其中，C3为控制参数，exp()表示以自然基数为底的指数函数，
Figure BDA00022059624400000620
表示
Figure BDA00022059624400000621
中下标位置为(h+i,k+j)的功率谱密度值，
Figure BDA00022059624400000622
表示
Figure BDA00022059624400000623
中下标位置为(h+i,k+j)的功率谱密度值，
Figure BDA00022059624400000624
表示
Figure BDA00022059624400000625
中的所有功率谱密度的均值，
Figure BDA00022059624400000626
表示
Figure BDA00022059624400000627
中的所有功率谱密度的均值。
与现有技术相比，本发明的优点在于：
将原始全景视频和待评价的全景视频分成若干个帧组，并采用立方体投影方法投影到立方体的六个平面上，然后计算在每个帧组和每个投影面的空域相似性和频域相似性，并根据所有帧组和所有投影面的空域相似性和频域相似性，融合得到待评价的全景视频的客观评价值，由于立方体投影避免了复杂的视口预测，且提取的空域和时域特征具有较强的稳定性且能够较好地反映全景视频的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种全景视频质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
步骤一：设定原始全景视频由若干个帧组的全景图像组成，并设定待评价的全景视频为原始全景视频对应的失真全景视频；将原始全景视频中的第u个帧组中的第t帧全景图像记为
Figure BDA0002205962440000071
将待评价的全景视频中的第u个帧组中的第t帧全景图像记为
Figure BDA0002205962440000072
其中，u和t均为正整数，u和t的初始值均为1，1≤u≤U，U为原始全景视频中包含的帧组的总个数，U的值根据实际全景视频而定，1≤t≤T，T为原始全景视频中的每个帧组中包含的全景图像的总帧数，在本实施例中取T＝30。
步骤二：采用现有的立方体投影(Cubemap Projection)方法，将原始全景视频中的每个帧组中的每帧全景图像投影到立方体的六个作为投影面的平面上，得到原始全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像，将
Figure BDA0002205962440000073
在第v个投影面上的图像记为
Figure BDA0002205962440000074
将
Figure BDA0002205962440000075
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002205962440000076
同样，采用现有的立方体投影(Cubemap Projection)方法，将待评价的全景视频中的每个帧组中的每帧全景图像投影到立方体的六个作为投影面的平面上，得到待评价的全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像，将
Figure BDA0002205962440000077
在第v个投影面上的图像记为
Figure BDA0002205962440000081
将
Figure BDA0002205962440000082
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002205962440000083
其中，v为正整数，v的初始值均为1，1≤v≤6，1≤x≤W，1≤y≤H，W表示
Figure BDA0002205962440000084
和
Figure BDA0002205962440000085
的宽度，H表示
Figure BDA0002205962440000086
和
Figure BDA0002205962440000087
的高度。
步骤三：计算原始全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像与待评价的全景视频中对应帧组中的对应全景图像在对应投影面上的图像的空域相似性，将
Figure BDA0002205962440000088
与
Figure BDA0002205962440000089
的空域相似性记为ηu,v,t；然后计算原始全景视频与待评价的全景视频在每个帧组和每个投影面的空域相似性，将原始全景视频与待评价的全景视频在第u个帧组和第v个投影面的空域相似性记为ηu,v，
Figure BDA00022059624400000810
在此具体实施例中，步骤三中的ηu,v,t的获取过程为：
步骤A1、采用Log-Gabor滤波器对
Figure BDA00022059624400000811
中的每个像素点进行滤波处理，得到
Figure BDA00022059624400000812
中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应，将
Figure BDA00022059624400000813
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的偶对称频率响应记为
Figure BDA00022059624400000814
将
Figure BDA00022059624400000815
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的奇对称频率响应记为
Figure BDA00022059624400000816
同样，采用Log-Gabor滤波器对
Figure BDA00022059624400000817
中的每个像素点进行滤波处理，得到
Figure BDA00022059624400000818
中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应，将
Figure BDA00022059624400000819
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的偶对称频率响应记为
Figure BDA00022059624400000820
将
Figure BDA00022059624400000821
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的奇对称频率响应记为
Figure BDA00022059624400000822
其中，1≤x≤W，1≤y≤H，W表示
Figure BDA00022059624400000823
和
Figure BDA00022059624400000824
的宽度，H表示
Figure BDA00022059624400000825
和
Figure BDA00022059624400000826
的高度，α表示Log-Gabor滤波器的尺度因子，α∈Ωα，Ωα＝{1.74,2.47,3.49,4.93,6.98,9.87}，θ表示Log-Gabor滤波器的方向因子，θ∈Ωθ，Ωθ＝{0°,45°,90°,135°}。
步骤A2、计算
Figure BDA00022059624400000827
中的每个像素点在不同方向的相位一致性特征，将
Figure BDA00022059624400000828
中坐标位置为(x,y)的像素点在方向因子为θ的相位一致性特征记为
Figure BDA0002205962440000091
Figure BDA0002205962440000092
同样，计算
Figure BDA0002205962440000093
中的每个像素点在不同方向的相位一致性特征，将
Figure BDA0002205962440000094
中坐标位置为(x,y)的像素点在方向因子为θ的相位一致性特征记为
Figure BDA0002205962440000095
其中，
Figure BDA0002205962440000096
Figure BDA0002205962440000097
Figure BDA0002205962440000098
Figure BDA0002205962440000099
Figure BDA00022059624400000910
步骤A3、根据
Figure BDA00022059624400000911
中的所有像素点在不同方向的相位一致性特征，获取
Figure BDA00022059624400000912
的相位一致性图，记为
Figure BDA00022059624400000913
将
Figure BDA00022059624400000914
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA00022059624400000915
Figure BDA00022059624400000916
同样，根据
Figure BDA00022059624400000917
中的所有像素点在不同方向的相位一致性特征，获取
Figure BDA00022059624400000918
的相位一致性图，记为
Figure BDA00022059624400000919
将
Figure BDA00022059624400000920
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA00022059624400000921
步骤A4、采用Sobel算子对
Figure BDA00022059624400000922
进行水平方向和垂直方向的边缘检测，得到
Figure BDA00022059624400000923
的水平梯度图和垂直梯度图，对应记为
Figure BDA00022059624400000924
和
Figure BDA00022059624400000925
同样，采用Sobel算子对
Figure BDA00022059624400000926
进行水平方向和垂直方向的边缘检测，得到
Figure BDA00022059624400000927
的水平梯度图和垂直梯度图，对应记为
Figure BDA00022059624400000928
和
Figure BDA00022059624400000929
然后计算
Figure BDA00022059624400000930
的梯度幅值图，记为
Figure BDA00022059624400000931
将
Figure BDA00022059624400000932
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA00022059624400000933
同样，计算
Figure BDA00022059624400000934
的梯度幅值图，记为
Figure BDA00022059624400000935
将
Figure BDA00022059624400000936
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA00022059624400000937
Figure BDA0002205962440000101
其中，
Figure BDA0002205962440000102
表示
Figure BDA0002205962440000103
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002205962440000104
表示
Figure BDA0002205962440000105
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002205962440000106
表示
Figure BDA0002205962440000107
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002205962440000108
表示
Figure BDA0002205962440000109
中坐标位置为(x,y)的像素点的像素值。
步骤A5、将
Figure BDA00022059624400001010
从RGB颜色空间转化为YIQ颜色空间，得到
Figure BDA00022059624400001011
的亮度分量、第一色度分量(指分量I)和第二色度分量(指分量Q)，对应记为
Figure BDA00022059624400001012
和
Figure BDA00022059624400001013
同样，将
Figure BDA00022059624400001014
从RGB颜色空间转化为YIQ颜色空间，得到
Figure BDA00022059624400001015
的亮度分量、第一色度分量(指分量I)和第二色度分量(指分量Q)，对应记为
Figure BDA00022059624400001016
和
Figure BDA00022059624400001017
步骤A6、根据
Figure BDA00022059624400001018
和
Figure BDA00022059624400001019
和
Figure BDA00022059624400001020
和
Figure BDA00022059624400001021
和
Figure BDA00022059624400001022
计算
Figure BDA00022059624400001023
与
Figure BDA00022059624400001024
的空域相似性
Figure BDA00022059624400001025
其中，
Figure BDA00022059624400001026
Figure BDA00022059624400001027
Figure BDA00022059624400001028
其中，
Figure BDA00022059624400001029
表示
Figure BDA00022059624400001030
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022059624400001031
表示
Figure BDA00022059624400001032
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022059624400001033
表示
Figure BDA00022059624400001034
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022059624400001035
表示
Figure BDA00022059624400001036
中坐标位置为(x,y)的像素点的像素值，C1和C2为控制参数，在本实施例中取C1＝0.1、C2＝200，λ为加权参数，在本实施例中取λ＝0.03。
步骤四：计算原始全景视频与待评价的全景视频在每个帧组和每个投影面的频域相似性，将原始全景视频与待评价的全景视频在第u个帧组和第v个投影面的频域相似性记为ρu,v。
在此具体实施例中，步骤四中的ρu,v的获取过程为：
步骤B1、将原始全景视频中同一个帧组中投影到同一个投影面的所有全景图像中的像素点构成一个三维向量矩阵，将原始全景视频中的第u个帧组中投影到第v个投影面的所有全景图像中的像素点构成的三维向量矩阵记为
Figure BDA0002205962440000111
同样，将待评价的全景视频中同一个帧组中投影到同一个投影面的所有全景图像中的像素点构成一个三维向量矩阵，将待评价的全景视频中的第u个帧组中投影到第v个投影面的所有全景图像中的像素点构成的三维向量矩阵记为
Figure BDA0002205962440000112
其中，
Figure BDA0002205962440000113
表示
Figure BDA0002205962440000114
中下标位置为(x,y,t)的元素的值，
Figure BDA0002205962440000115
表示
Figure BDA0002205962440000116
中下标位置为(x,y,t)的元素的值，
Figure BDA0002205962440000117
Figure BDA0002205962440000118
和
Figure BDA0002205962440000119
中的“＝”为赋值操作符号。
步骤B2、对
Figure BDA00022059624400001110
进行三维离散傅立叶变换，得到
Figure BDA00022059624400001111
的频率系数矩阵，记为
Figure BDA00022059624400001112
同样，对
Figure BDA00022059624400001113
进行三维离散傅立叶变换，得到
Figure BDA00022059624400001114
的频率系数矩阵，记为
Figure BDA00022059624400001115
其中，1≤h≤W，1≤k≤H，1≤s≤T，
Figure BDA00022059624400001116
表示
Figure BDA00022059624400001117
中下标位置为(h,k,s)的频率系数值，
Figure BDA00022059624400001118
表示
Figure BDA00022059624400001119
中下标位置为(h,k,s)的频率系数值。
步骤B3、计算
Figure BDA00022059624400001120
的二维功率谱密度矩阵，记为
Figure BDA00022059624400001121
Figure BDA00022059624400001122
同样，计算
Figure BDA00022059624400001123
的二维功率谱密度矩阵，记为
Figure BDA00022059624400001124
其中，
Figure BDA00022059624400001125
表示
Figure BDA00022059624400001126
中下标位置为(h,k)的功率谱密度值，
Figure BDA00022059624400001127
表示
Figure BDA00022059624400001128
中下标位置为(h,k)的功率谱密度值，符号“| |”为取绝对值符号。
步骤B4、根据
Figure BDA0002205962440000121
和
Figure BDA0002205962440000122
计算
Figure BDA0002205962440000123
Figure BDA0002205962440000124
Figure BDA0002205962440000125
Figure BDA0002205962440000126
Figure BDA0002205962440000127
其中，C3为控制参数，在本实施例中取C3＝4.5×10-4，exp()表示以自然基数为底的指数函数，
Figure BDA0002205962440000128
表示
Figure BDA0002205962440000129
中下标位置为(h+i,k+j)的功率谱密度值，
Figure BDA00022059624400001210
表示
Figure BDA00022059624400001211
中下标位置为(h+i,k+j)的功率谱密度值，
Figure BDA00022059624400001212
表示
Figure BDA00022059624400001213
中的所有功率谱密度的均值，
Figure BDA00022059624400001214
表示
Figure BDA00022059624400001215
中的所有功率谱密度的均值。
步骤五：根据原始全景视频与待评价的全景视频在所有帧组和所有投影面的空域相似性和频域相似性，计算待评价的全景视频的客观评价值，记为q，
Figure BDA00022059624400001216
为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
在本实施例中，采用本发明方法对北京航天大学提供的VR-VQA48数据库和上海交通大学提供的IVQAD2017数据库进行测试，VR-VQA48数据库包含12组原始全景视频序列和36组失真全景视频序列，IVQAD2017包含10组原始全景视频序列和150组失真全景视频序列，并给出了每组失真全景视频序列的主观评分差值。这里，利用评估图像质量评价方法的4个常用客观参量作为深度感知评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rankorder correlation coefficient，SROCC)、均方误差(root mean squared error，RMSE)、平均绝对误差(mean absolute error，MAE)。
将采用本发明方法分别计算VR-VQA48数据库的36组失真全景视频序列、IVQAD2017数据库的150组失真全景视频序列各自的客观评价值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高、RMSE和MAE值越小说明客观评价方法与主观评分差值相关性越好。表1给出了采用本发明方法得到的客观评价值与主观评分差值之间的相关性。
表1采用本发明方法得到的客观评价值与主观评分差值之间的相关性
数据库 PLCC SROCC RMSE MAE
VR-VQA48 0.863 0.851 6.245 5.321
IVQAD2017 0.844 0.774 0.249 0.210
从表1中可以看出，采用本发明方法得到的客观评价值与主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

Claims (3)

1.一种全景视频质量评价方法，其特征在于包括以下步骤：
步骤一：设定原始全景视频由若干个帧组的全景图像组成，并设定待评价的全景视频为原始全景视频对应的失真全景视频；将原始全景视频中的第u个帧组中的第t帧全景图像记为
Figure FDA0002826765670000011
将待评价的全景视频中的第u个帧组中的第t帧全景图像记为
Figure FDA0002826765670000012
其中，u和t均为正整数，u和t的初始值均为1，1≤u≤U，U为原始全景视频中包含的帧组的总个数，1≤t≤T，T为原始全景视频中的每个帧组中包含的全景图像的总帧数；
步骤二：采用立方体投影方法，将原始全景视频中的每个帧组中的每帧全景图像投影到立方体的六个作为投影面的平面上，得到原始全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像，将
Figure FDA0002826765670000013
在第v个投影面上的图像记为
Figure FDA0002826765670000014
将
Figure FDA0002826765670000015
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA0002826765670000016
同样，采用立方体投影方法，将待评价的全景视频中的每个帧组中的每帧全景图像投影到立方体的六个作为投影面的平面上，得到待评价的全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像，将
Figure FDA0002826765670000017
在第v个投影面上的图像记为
Figure FDA0002826765670000018
将
Figure FDA0002826765670000019
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00028267656700000110
其中，v为正整数，v的初始值均为1，1≤v≤6，1≤x≤W，1≤y≤H，W表示
Figure FDA00028267656700000111
和
Figure FDA00028267656700000112
的宽度，H表示
Figure FDA00028267656700000113
和
Figure FDA00028267656700000114
的高度；
步骤三：计算原始全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像与待评价的全景视频中对应帧组中的对应全景图像在对应投影面上的图像的空域相似性，将
Figure FDA00028267656700000115
与
Figure FDA00028267656700000116
的空域相似性记为ηu,v,t；然后计算原始全景视频与待评价的全景视频在每个帧组和每个投影面的空域相似性，将原始全景视频与待评价的全景视频在第u个帧组和第v个投影面的空域相似性记为ηu,v，
Figure FDA00028267656700000117
步骤四：计算原始全景视频与待评价的全景视频在每个帧组和每个投影面的频域相似性，将原始全景视频与待评价的全景视频在第u个帧组和第v个投影面的频域相似性记为ρu,v；
步骤五：根据原始全景视频与待评价的全景视频在所有帧组和所有投影面的空域相似性和频域相似性，计算待评价的全景视频的客观评价值，记为q，
Figure FDA0002826765670000021
2.根据权利要求1所述的一种全景视频质量评价方法，其特征在于所述的步骤三中的ηu,v,t的获取过程为：
步骤A1、采用Log-Gabor滤波器对
Figure FDA0002826765670000022
中的每个像素点进行滤波处理，得到
Figure FDA0002826765670000023
中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应，将
Figure FDA0002826765670000024
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的偶对称频率响应记为
Figure FDA0002826765670000025
将
Figure FDA0002826765670000026
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的奇对称频率响应记为
Figure FDA0002826765670000027
同样，采用Log-Gabor滤波器对
Figure FDA0002826765670000028
中的每个像素点进行滤波处理，得到
Figure FDA0002826765670000029
中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应，将
Figure FDA00028267656700000210
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的偶对称频率响应记为
Figure FDA00028267656700000211
将
Figure FDA00028267656700000212
中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的奇对称频率响应记为
Figure FDA00028267656700000213
其中，1≤x≤W，1≤y≤H，W表示
Figure FDA00028267656700000214
和
Figure FDA00028267656700000215
的宽度，H表示
Figure FDA00028267656700000216
和
Figure FDA00028267656700000217
的高度，α表示Log-Gabor滤波器的尺度因子，α∈Ωα，Ωα＝{1.74,2.47,3.49,4.93,6.98,9.87}，θ表示Log-Gabor滤波器的方向因子，θ∈Ωθ，Ωθ＝{0°,45°,90°,135°}；
步骤A2、计算
Figure FDA00028267656700000218
中的每个像素点在不同方向的相位一致性特征，将
Figure FDA00028267656700000219
中坐标位置为(x,y)的像素点在方向因子为θ的相位一致性特征记为
Figure FDA00028267656700000220
Figure FDA00028267656700000221
同样，计算
Figure FDA00028267656700000222
中的每个像素点在不同方向的相位一致性特征，将
Figure FDA00028267656700000223
中坐标位置为(x,y)的像素点在方向因子为θ的相位一致性特征记为
Figure FDA0002826765670000031
Figure FDA0002826765670000032
其中，
Figure FDA0002826765670000033
Figure FDA0002826765670000034
Figure FDA0002826765670000035
Figure FDA00028267656700000345
Figure FDA0002826765670000036
步骤A3、根据
Figure FDA0002826765670000037
中的所有像素点在不同方向的相位一致性特征，获取
Figure FDA0002826765670000038
的相位一致性图，记为
Figure FDA0002826765670000039
将
Figure FDA00028267656700000310
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00028267656700000311
Figure FDA00028267656700000312
同样，根据
Figure FDA00028267656700000313
中的所有像素点在不同方向的相位一致性特征，获取
Figure FDA00028267656700000314
的相位一致性图，记为
Figure FDA00028267656700000315
将
Figure FDA00028267656700000316
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00028267656700000317
Figure FDA00028267656700000318
步骤A4、采用Sobel算子对
Figure FDA00028267656700000319
进行水平方向和垂直方向的边缘检测，得到
Figure FDA00028267656700000320
的水平梯度图和垂直梯度图，对应记为
Figure FDA00028267656700000321
和
Figure FDA00028267656700000322
同样，采用Sobel算子对
Figure FDA00028267656700000323
进行水平方向和垂直方向的边缘检测，得到
Figure FDA00028267656700000324
的水平梯度图和垂直梯度图，对应记为
Figure FDA00028267656700000325
和
Figure FDA00028267656700000326
然后计算
Figure FDA00028267656700000327
的梯度幅值图，记为
Figure FDA00028267656700000328
将
Figure FDA00028267656700000329
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00028267656700000330
Figure FDA00028267656700000331
同样，计算
Figure FDA00028267656700000332
的梯度幅值图，记为
Figure FDA00028267656700000333
将
Figure FDA00028267656700000334
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00028267656700000335
Figure FDA00028267656700000336
其中，
Figure FDA00028267656700000337
表示
Figure FDA00028267656700000338
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00028267656700000339
表示
Figure FDA00028267656700000340
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00028267656700000341
表示
Figure FDA00028267656700000342
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00028267656700000343
表示
Figure FDA00028267656700000344
中坐标位置为(x,y)的像素点的像素值；
步骤A5、将
Figure FDA0002826765670000041
从RGB颜色空间转化为YIQ颜色空间，得到
Figure FDA0002826765670000042
的亮度分量、第一色度分量和第二色度分量，对应记为
Figure FDA0002826765670000043
和
Figure FDA0002826765670000044
同样，将
Figure FDA0002826765670000045
从RGB颜色空间转化为YIQ颜色空间，得到
Figure FDA0002826765670000046
的亮度分量、第一色度分量和第二色度分量，对应记为
Figure FDA0002826765670000047
和
Figure FDA0002826765670000048
步骤A6、根据
Figure FDA0002826765670000049
和
Figure FDA00028267656700000410
和
Figure FDA00028267656700000411
和
Figure FDA00028267656700000412
和
Figure FDA00028267656700000413
计算
Figure FDA00028267656700000414
与
Figure FDA00028267656700000415
的空域相似性ηu,v,t，
Figure FDA00028267656700000416
其中，
Figure FDA00028267656700000417
Figure FDA00028267656700000418
Figure FDA00028267656700000419
其中，
Figure FDA00028267656700000420
表示
Figure FDA00028267656700000421
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00028267656700000422
表示
Figure FDA00028267656700000423
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00028267656700000424
表示
Figure FDA00028267656700000425
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00028267656700000426
表示
Figure FDA00028267656700000427
中坐标位置为(x,y)的像素点的像素值，C1和C2为控制参数，λ为加权参数。
3.根据权利要求1或2所述的一种全景视频质量评价方法，其特征在于所述的步骤四中的ρu,v的获取过程为：
步骤B1、将原始全景视频中同一个帧组中投影到同一个投影面的所有全景图像中的像素点构成一个三维向量矩阵，将原始全景视频中的第u个帧组中投影到第v个投影面的所有全景图像中的像素点构成的三维向量矩阵记为
Figure FDA00028267656700000428
同样，将待评价的全景视频中同一个帧组中投影到同一个投影面的所有全景图像中的像素点构成一个三维向量矩阵，将待评价的全景视频中的第u个帧组中投影到第v个投影面的所有全景图像中的像素点构成的三维向量矩阵记为
Figure FDA0002826765670000051
其中，
Figure FDA0002826765670000052
表示
Figure FDA0002826765670000053
中下标位置为(x,y,t)的元素的值，
Figure FDA0002826765670000054
Figure FDA0002826765670000055
表示
Figure FDA0002826765670000056
中下标位置为(x,y,t)的元素的值，
Figure FDA0002826765670000057
Figure FDA0002826765670000058
和
Figure FDA0002826765670000059
中的“＝”为赋值操作符号；
步骤B2、对
Figure FDA00028267656700000510
进行三维离散傅立叶变换，得到
Figure FDA00028267656700000511
的频率系数矩阵，记为
Figure FDA00028267656700000512
同样，对
Figure FDA00028267656700000513
进行三维离散傅立叶变换，得到
Figure FDA00028267656700000514
的频率系数矩阵，记为
Figure FDA00028267656700000515
其中，1≤h≤W，1≤k≤H，1≤s≤T，
Figure FDA00028267656700000516
表示
Figure FDA00028267656700000517
中下标位置为(h,k,s)的频率系数值，
Figure FDA00028267656700000518
表示
Figure FDA00028267656700000519
中下标位置为(h,k,s)的频率系数值；
步骤B3、计算
Figure FDA00028267656700000520
的二维功率谱密度矩阵，记为
Figure FDA00028267656700000521
Figure FDA00028267656700000522
同样，计算
Figure FDA00028267656700000523
的二维功率谱密度矩阵，记为
Figure FDA00028267656700000524
Figure FDA00028267656700000525
其中，
Figure FDA00028267656700000526
表示
Figure FDA00028267656700000527
中下标位置为(h,k)的功率谱密度值，
Figure FDA00028267656700000528
表示
Figure FDA00028267656700000529
中下标位置为(h,k)的功率谱密度值，符号“| |”为取绝对值符号；
步骤B4、根据
Figure FDA00028267656700000530
和
Figure FDA00028267656700000531
计算ρu,v，
Figure FDA00028267656700000532
Figure FDA00028267656700000533
Figure FDA00028267656700000534
Figure FDA00028267656700000535
Figure FDA0002826765670000061
其中，C3为控制参数，exp()表示以自然基数为底的指数函数，
Figure FDA0002826765670000062
表示
Figure FDA0002826765670000063
中下标位置为(h+i,k+j)的功率谱密度值，
Figure FDA0002826765670000064
表示
Figure FDA0002826765670000065
中下标位置为(h+i,k+j)的功率谱密度值，
Figure FDA0002826765670000066
表示
Figure FDA0002826765670000067
中的所有功率谱密度的均值，
Figure FDA0002826765670000068
表示
Figure FDA0002826765670000069
中的所有功率谱密度的均值。
CN201910881362.9A 2019-09-18 2019-09-18 一种全景视频质量评价方法 Active CN110691236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910881362.9A CN110691236B (zh) 2019-09-18 2019-09-18 一种全景视频质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910881362.9A CN110691236B (zh) 2019-09-18 2019-09-18 一种全景视频质量评价方法

Publications (2)

Publication Number Publication Date
CN110691236A CN110691236A (zh) 2020-01-14
CN110691236B true CN110691236B (zh) 2021-05-07

Family

ID=69109398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910881362.9A Active CN110691236B (zh) 2019-09-18 2019-09-18 一种全景视频质量评价方法

Country Status (1)

Country Link
CN (1) CN110691236B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954313A (zh) * 2021-02-09 2021-06-11 方玉明 一种对全景图像感知质量的计算方法
CN114900506B (zh) * 2022-07-12 2022-09-30 中国科学技术大学 面向用户体验质量的360度视频视口预测方法
CN117176983B (zh) * 2023-08-10 2024-01-26 苏州瀚易特信息技术股份有限公司 一种基于全景图像合成的视频生成评价系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100731358B1 (ko) * 2005-11-09 2007-06-21 삼성전자주식회사 화질 평가 방법 및 시스템
CN106973288B (zh) * 2013-12-27 2019-08-13 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN106341683A (zh) * 2016-08-24 2017-01-18 乐视控股（北京）有限公司 全景视频质量判断方法及系统

Also Published As

Publication number Publication date
CN110691236A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN110691236B (zh) 一种全景视频质量评价方法
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
WO2008102366A2 (en) A method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts
CN105247342A (zh) 用于确定颗粒尺寸的方法及设备
Su et al. Natural scene statistics of color and range
WO2022126674A1 (zh) 立体全景图像的质量评价方法、系统
CN111292336B (zh) 基于分段式球面投影格式的全向图像无参考质量评价方法
CN103780895B (zh) 一种立体视频质量评价方法
CN105046708A (zh) 一种与主观感知相一致的颜色校正客观评估方法
CN113192003B (zh) 一种拼接图像质量评价方法
CN108805825A (zh) 一种重定位图像质量评价方法
CN106023214B (zh) 基于中央凹视梯度结构相似性的图像质量评价方法及系统
CN112184672A (zh) 一种无参考图像质量评价方法及系统
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN111641822B (zh) 一种重定位立体图像质量评价方法
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN109345552A (zh) 基于区域权重的立体图像质量评价方法
CN107018410B (zh) 一种基于预注意机制和空间依赖性的无参考图像质量评价方法
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
CN103914835B (zh) 一种针对模糊失真立体图像的无参考质量评价方法
CN108848365B (zh) 一种重定位立体图像质量评价方法
CN110310269A (zh) 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法
CN110796635B (zh) 一种基于剪切波变换的光场图像质量评价方法
CN112508847A (zh) 一种基于深度特征与结构加权lbp特征的图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220929

Address after: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230104

Address after: No. 201, 202, 203, 204, 209, 210, 211, 212, Building A05, No. 78, Luntou Road, Haizhu District, Guangzhou, Guangdong, 510220

Patentee after: Instrumental Science and Technology (Guangzhou) Co.,Ltd.

Address before: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen dragon totem technology achievement transformation Co.,Ltd.