CN111696081B - 一种由视野视频质量推理全景视频质量的方法 - Google Patents
一种由视野视频质量推理全景视频质量的方法 Download PDFInfo
- Publication number
- CN111696081B CN111696081B CN202010419170.9A CN202010419170A CN111696081B CN 111696081 B CN111696081 B CN 111696081B CN 202010419170 A CN202010419170 A CN 202010419170A CN 111696081 B CN111696081 B CN 111696081B
- Authority
- CN
- China
- Prior art keywords
- quality
- field
- saliency
- view
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000000007 visual effect Effects 0.000 title abstract description 8
- 238000013441 quality evaluation Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000001303 quality assessment method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000006399 behavior Effects 0.000 abstract description 12
- 230000008447 perception Effects 0.000 abstract description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000275449 Diplectrum formosum Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种由视野视频质量推理全景视频质量的方法。具体步骤如下：(1)对完整的360°全景视频进行视觉显著度预测计算；(2)基于视觉显著度计算的结果进行视场坐标计算和对应的权重计算；(3)使用沉浸式的视场视频质量模型进行质量评价，并结合权重计算出被选择的高显著度区域的质量系数；(4)计算未被选中的低显著度区域的质量系数；(5)对高显著度视场区域的质量系数和低显著度区域质量系数进行线性加权求和，得出完整的全景视频质量评价结果。利用本方法能够结合主观用户行为将针对传统平面视频质量评价的方法扩展到360°全景沉浸式视频质量评价场景中，预测结果更加贴近真实用户主观的质量感知规律。
Description
技术领域
本发明涉及计算视觉领域，尤其涉及一种由视野视频质量推理全景视频质量的方法。
背景技术
视频质量评价技术的目的是评价经过包括压缩、重映射等有损处理后的视频质量，在图像压缩和视频编码等领域有着广泛的应用。而随着各个应用领域对高效、可靠的视频质量评估算法的需求日益增加，大量的新质量评价算法也在被不断提出并刷新性能上限，有一些是全新设计的新算法，有一些则是在旧有算法的基础上进行改进和应用场景的革新。但是随着媒体内容的形式越来越多样化，一些新的媒体形式如自由视点视频、3D立体视频和360°全景视频等内容也给视频质量评价的相关研究带来了挑战，相比于重新设计新的质量评价算法，如何将已有的算法进行扩展，以适应新的应用场景也是非常值得研究的一个课题。
随着相关的上下游产业链的完善和重点环节的软硬件技术发展，沉浸式虚拟现实技术正在被越来越多的人所熟知。而作为虚拟现实相关资源的主要承载形式和虚拟现实用户的主要消费内容，360°全景视频被越来越多的用户所接受和消费，并且在基础教育、心理干预和疏导、技术职业培训等领域发挥着越来越重要的作用。
360°全景视频作为一种新的媒体内容，在视频质量评价方面也带来了一些全新的挑战。在视频的采集端，传统平面视频通常只有一个镜头进行内容的拍摄。而360°全景视频在拍摄时通常由多个镜头同时拍摄，然后对内容进行畸变矫正和拼接后形成完整的360°全景内容。而在后续的传输和存储过程中，360°全景内容会被以非均匀的方式映射到平面上进行压缩编码和传输。相比于传统的平面视频，这些处理流程会给360°全景视频引入额外的质量损失。而当视频内容在客户端进行播放时，用户通常佩戴头戴式显示设备进行观看。和传统平面视频将完整的内容直接呈现于用户的视场中心不同，用户在观看360°全景视频时只能以视场为单位进行局部内容的观看，并且可以依靠转头等动作进行观看区域的自主选择。一方面沉浸式的观看方式隔绝了外界的视觉干扰，而自由度较高和局部可见的特点则决定了用户的质量感知结果更多的会受局部内容的影响。上述的这些区别必然导致针对原本在传统平面视频上有效的质量评价方法在针对360°全景视频时产生较大的误差。
目前将传统平面视频的质量评估推广到360°全景视频领域的改进主要围绕在从球面到平面分非均匀映射带来的影响。而根据沉浸式用户观看行为分析的结果显示，不同的用户在观看相同的360°全景视频内容时的头动数据呈现出了高度的一致性。即不同的用户倾向于观看的区域和停留的观看时长都是相似的。更进一步地，在沉浸式观看环境中，当用户经过对整个场景的快速观察后，就会倾向于固定观看某些区域。基于这样的一致性结合前述局部内容对质量感知结果的主要影响，在相关的算法中根据用户行为的特点对完整的360°全景视频进行分区域的质量评估来得出最终的结果是很有必要的。
目前存在的一些针对360°全景视频的质量评价方法很少考虑到用户行为对质量感知的影响，而相比于从拼接畸变和非均匀映射的角度对传统质量评价方法进行优化，从用户侧的变化出发去对一些视频质量评价方法进行优化以适应360°全景视频质量评价的需求是很有必要的。如何进行合理的设计来充分结合用户行为优化360°全景视频的质量评价方案，从而将现有的传统视频质量评价算法推广到360°全景视频并获取较好的性能表现，成为十分重要的课题。
发明内容
针对以上的现有技术分析和存在的问题，本发明的目的在于提出一种由视野视频质量推理全景视频质量的方法。
本发明采用的技术方案如下：
一种由视野视频质量推理全景视频质量的方法，其特征在于，包括如下步骤：
步骤1，利用显著度预测算法对完整的360°全景视频进行显著度计算，得到和全景视频长宽相同的二维显著度分布矩阵；
步骤2，找出对视频质量影响较大的视场位置及相应权重：在步骤1得到的二维显著度分布矩阵中寻找极大值点，极大值点的坐标即为视场的中心坐标；相应的权重则为以所述极大值点为中心点时视场覆盖范围内的显著度总和；
步骤3，基于步骤2计算得到的视场坐标和相应的权重信息，对以视场为单位的高显著度区域的质量系数进行计算，计算公式如下：
其中，i表示第i个需要计算质量的视场区域，wi为第i个视场区域的对应权重值；QVP(i)为被选中的第i个视场区域的质量评估结果；QHS为高显著视场区域的质量系数；
步骤4，计算未被选中的低显著度区域的质量系数QLS；
步骤5，对高显著度视场区域的质量系数QHS和低显著度区域的质量系数QLS进行线性加权求和，得出完整的全景视频质量评价，公式如下：
QODV＝dQHS+(1-d)QLS
其中，d为权重系数，QODV为最终的预测结果。
本发明利用沉浸式观看中的用户行为分析结果，将360°全景视频的质量评估分为高显著度区域质量系数和低显著度区域质量系数的权重求和，能够得出完整的全景视频质量评价结果。利用本方法能够结合主观用户行为将针对传统平面视频质量评价的方法，包括但不限于PSNR、SSIM、MS-SSIM等等扩展到360°全景沉浸式视频质量评价场景中，预测结果更加贴近真实用户主观的质量感知规律。
附图说明
图1为本发明方法的流程图；
图2为本发明实施例中步骤2的权重分布及极大值点选择示意图。
具体实施方式
参照图1，本发明一种由视野视频质量推理全景视频质量的方法，具体步骤如下：
步骤1，利用显著度预测算法对完整的360°全景视频进行显著度计算，得到和全景视频长宽相同的显著度分布二维矩阵，这里的显著度计算主要目的是获取对用户行为的预测结果，对具体的算法没有限制，比如文献Sitzmann,V.,Serrano,A.,Pavel,A.,Agrawala,M.,Gutierrez,D.,Masia,B.,&Wetzstein,G.(2018).Saliency in VR:How do peopleexplore virtual environments？.IEEE transactions on visualization and computergraphics,24(4),1633-1642.中提到的适用于全景视频的显著度检测方法但是不同的显著度检测算法给出预测的准确度不同可能会影响最终的优化结果。
步骤2，该步骤的目的是通过合理的方法找出对视频质量影响较大的视场位置及相应权重。举例来说，一个长宽为3840x1920的4K全景视频得到的显著度预测结果为同尺寸的二维矩阵。视场范围以HTCVive举例，该设备的视场宽度为110°，高度为90°，对应在4K分辨率下的视场宽度为1280，高度为960。如图2所示，图中白点为显著度极值点，白框为视场范围；此时的视场权重计算为以相应的显著度分布极值点为中心的1280x960大小的矩形框所覆盖的显著度值之和。这样的选择结果能够保证在一定范围内选中相对显著度较高的区域，而按照显著度计算的权重能够保证结果更加符合主观用户行为的规律。
步骤3，按照步骤2中得到的视场坐标和相应的权重信息，对以视场为单位的高显著度区域的质量系数进行计算。计算公式如下：
其中，i表示第i个需要进行质量计算的视场区域，wi为第i个视场区域的对应权重值。QVP(i)为被选中的第i个视场内容的质量评估结果。QHS为高显著的区域质量系数的计算结果，这里对QVP(i)的计算方法并不限制，任意一种现有的图像/视频质量评价方法都可以用来计算QVP(i)，对于全参考、半参考和无参考的方法也不需要具体区分。
步骤4，引入低显著度区域的质量因子QLS，类似QVP(i)的计算，这里QLS计算所采用的方法与计算QVP(i)的保持一致即可。例如，当使用经典的全参考质量评价方法PSNR时，可以将完整的360°全景图像内容计算出PSNR值作为QLS值；而当使用一些依赖于视频特征和压缩编码参数的半参考的视频质量评价方法，例如文献Ou,Y.F.,Xue,Y.,&Wang,Y.(2014).Q-STAR:A perceptual video quality model considering impact of spatial,temporal,and amplitude resolutions.IEEE Transactions on Image Processing,23(6),2473-2486.中提出的Q-STAR模型时，可以使用如下的形式：
QLS＝a1-sb1-qc1-t
其中s,q,t为归一化后的编码参数，分别代表分辨率、帧率、和量化步长，这三个参数统一也是Q-STAR模型的输入参数；a,b,c为固定常数，用于刻画编码参数对最终质量的影响。
步骤5，对高显著度视场区域的质量因子和低显著度区域质量因子进行线性加权求和，得出完整的全景视频质量评价。公式如下：
QODV＝dQHS+(1-d)QLS
其中d为权重因子，用来分配高显著区域和低显著度区域的权重，理论上d>0.5，即高显著度区域占有的比重理论上应该更大。实际验证中，根据在一些著名的开源数据集上的计算，d取0.6652时能够整体较好的性能表现。权重因子d的存在可以保证权重分配的合理性，使得最终的质量评价结果合理的包含了高显著度区域和低显著度区域的结果，更加符合沉浸式观看环境下用户主观行为的特点，具体取值可根据实际情况进行调整。
基于上述步骤，本发明可以将现有的大部分传统图像质量评价方法结合沉浸式观看中的用户行为特点进行应用场景的扩展而提升针对360°全景内容的评价性能，从将传统算法的应用场景进一步扩展，使其更加适应高自由度的沉浸式全景视频观看和高质量全景视频传输场景。
Claims (1)
1.一种由视野视频质量推理全景视频质量的方法，其特征在于，包括如下步骤：
步骤1，利用显著度预测算法对完整的360°全景视频进行显著度计算，得到和全景视频长宽相同的二维显著度分布矩阵；
步骤2，找出对视频质量影响较大的视场位置及相应权重：在步骤1得到的二维显著度分布矩阵中寻找极大值点，极大值点的坐标即为视场的中心坐标；相应的权重则为以所述极大值点为中心点时视场覆盖范围内的显著度总和；
步骤3，基于步骤2得到的视场坐标和相应的权重信息，对以视场为单位的高显著度区域的质量系数进行计算，计算公式如下：
其中，i表示第i个需要计算质量的视场区域，wi为第i个视场区域的对应权重值；QVP(i)为被选中的第i个视场区域的质量评估结果；QHS为高显著视场区域的质量系数；
步骤4，计算未被选中的低显著度区域的质量系数QLS；
步骤5，对高显著度视场区域的质量系数QHS和低显著度区域的质量系数QLS进行线性加权求和，得出完整的全景视频质量评价，公式如下：
QODV＝dQHS+(1-d)QLS
其中，d为权重系数，QODV为最终的预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010419170.9A CN111696081B (zh) | 2020-05-18 | 2020-05-18 | 一种由视野视频质量推理全景视频质量的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010419170.9A CN111696081B (zh) | 2020-05-18 | 2020-05-18 | 一种由视野视频质量推理全景视频质量的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111696081A CN111696081A (zh) | 2020-09-22 |
| CN111696081B true CN111696081B (zh) | 2024-04-09 |
Family
ID=72477832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010419170.9A Active CN111696081B (zh) | 2020-05-18 | 2020-05-18 | 一种由视野视频质量推理全景视频质量的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111696081B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105721863A (zh) * | 2016-02-02 | 2016-06-29 | 上海师范大学 | 视频质量评价方法 |
| CN107483920A (zh) * | 2017-08-11 | 2017-12-15 | 北京理工大学 | 一种基于多层级质量因子的全景视频评估方法及系统 |
| CN108063944A (zh) * | 2017-12-14 | 2018-05-22 | 西北工业大学 | 一种基于视觉显著性的感知码率控制方法 |
| CN108492322A (zh) * | 2018-04-04 | 2018-09-04 | 南京大学 | 一种基于深度学习预测用户视场的方法 |
| WO2019071976A1 (zh) * | 2017-10-12 | 2019-04-18 | 北京大学深圳研究生院 | 基于区域增长和眼动模型的全景图像显著性检测方法 |
| CN109905694A (zh) * | 2017-12-08 | 2019-06-18 | 中移（杭州）信息技术有限公司 | 一种立体视频的质量评价方法、装置和设备 |
| CN110944200A (zh) * | 2019-12-10 | 2020-03-31 | 南京大学 | 一种评估沉浸式视频转码方案的方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103945214B (zh) * | 2013-01-23 | 2016-03-30 | 中兴通讯股份有限公司 | 终端侧时间域视频质量评价方法及装置 |
| KR101716082B1 (ko) * | 2016-04-12 | 2017-03-14 | 연세대학교 산학협력단 | 영상의 화질을 평가하는 방법 및 장치 |
| US10277914B2 (en) * | 2016-06-23 | 2019-04-30 | Qualcomm Incorporated | Measuring spherical image quality metrics based on user field of view |
-
2020
- 2020-05-18 CN CN202010419170.9A patent/CN111696081B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105721863A (zh) * | 2016-02-02 | 2016-06-29 | 上海师范大学 | 视频质量评价方法 |
| CN107483920A (zh) * | 2017-08-11 | 2017-12-15 | 北京理工大学 | 一种基于多层级质量因子的全景视频评估方法及系统 |
| WO2019071976A1 (zh) * | 2017-10-12 | 2019-04-18 | 北京大学深圳研究生院 | 基于区域增长和眼动模型的全景图像显著性检测方法 |
| CN109905694A (zh) * | 2017-12-08 | 2019-06-18 | 中移（杭州）信息技术有限公司 | 一种立体视频的质量评价方法、装置和设备 |
| CN108063944A (zh) * | 2017-12-14 | 2018-05-22 | 西北工业大学 | 一种基于视觉显著性的感知码率控制方法 |
| CN108492322A (zh) * | 2018-04-04 | 2018-09-04 | 南京大学 | 一种基于深度学习预测用户视场的方法 |
| CN110944200A (zh) * | 2019-12-10 | 2020-03-31 | 南京大学 | 一种评估沉浸式视频转码方案的方法 |
Non-Patent Citations (4)
| Title |
|---|
| "A framework for quality control in cinematic VR based on Voronoi patches and saliency";Simone Croci等;《2017 International Conference on 3D Immersion (IC3D)》;全文 * |
| "Assessing Visual Quality of Omnidirectional Videos";Mai Xu等;《IEEE Transactions on Circuits and Systems for Video Technology》;第29卷(第12期);全文 * |
| "Modeling the impact of spatial resolutions on perceptual quality of immersive image/video";Rongbing Zhou等;《2016 International Conference on 3D Imaging (IC3D)》;全文 * |
| "全景视频的显著性检测及其在编码传输中的应用";苏群;《中国优秀硕士学位论文全文数据库 信息科技辑》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111696081A (zh) | 2020-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10540576B1 (en) | Panoramic camera systems | |
| Alexiou et al. | Towards a point cloud structural similarity metric | |
| US11470303B1 (en) | Two dimensional to three dimensional moving image converter | |
| Cao et al. | Visual quality of compressed mesh and point cloud sequences | |
| Lim et al. | VR IQA NET: Deep virtual reality image quality assessment using adversarial learning | |
| Wu et al. | Subjective quality database and objective study of compressed point clouds with 6DoF head-mounted display | |
| US20220358675A1 (en) | Method for training model, method for processing video, device and storage medium | |
| WO2024098685A1 (zh) | 虚拟人物面部驱动方法、装置、终端设备和可读存储介质 | |
| Zhou et al. | Blind Quality Assessment of Dense 3D Point Clouds with Structure Guided Resampling | |
| Xu et al. | EPES: Point cloud quality modeling using elastic potential energy similarity | |
| US11893705B2 (en) | Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method | |
| CN109523590B (zh) | 一种基于样例的3d图像深度信息视觉舒适度评估方法 | |
| Bourbia et al. | No-reference 3D point cloud quality assessment using multi-view projection and deep convolutional neural network | |
| Zhang et al. | A Reduced-Reference Quality Assessment Metric for Textured Mesh Digital Humans | |
| CN112954313A (zh) | 一种对全景图像感知质量的计算方法 | |
| CN117730530A (zh) | 图像处理方法及装置、设备、存储介质 | |
| CN111696081B (zh) | 一种由视野视频质量推理全景视频质量的方法 | |
| Marvie et al. | Crafting the MPEG metrics for objective and perceptual quality assessment of volumetric videos | |
| CN111080754B (zh) | 一种头部肢体特征点连线的人物动画制作方法及装置 | |
| Ullah et al. | Perceptual quality assessment of panoramic stitched contents for immersive applications: a prospective survey | |
| CN111178163B (zh) | 基于立方体投影格式的立体全景图像显著区域预测方法 | |
| Yang et al. | 360 video quality assessment based on saliency-guided viewport extraction | |
| An et al. | Panoramic Video Quality Assessment Based on Spatial-Temporal Convolutional Neural Networks | |
| Galea et al. | Gpu-based selective sparse sampling for interactive high-fidelity rendering | |
| Yu et al. | Image quality assessment for omnidirectional cross-reference stitching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |