CN113031756A - 一种评测vr体验临场感的方法、装置及系统 - Google Patents
一种评测vr体验临场感的方法、装置及系统 Download PDFInfo
- Publication number
- CN113031756A CN113031756A CN201911251339.8A CN201911251339A CN113031756A CN 113031756 A CN113031756 A CN 113031756A CN 201911251339 A CN201911251339 A CN 201911251339A CN 113031756 A CN113031756 A CN 113031756A
- Authority
- CN
- China
- Prior art keywords
- score
- audio
- acquiring
- obtaining
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002452 interceptive effect Effects 0.000 claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims description 36
- 238000011156 evaluation Methods 0.000 description 14
- 238000011160 research Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000013210 evaluation model Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007983 Tris buffer Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种评测VR体验临场感的方法、装置及系统，该方法包括：获取临场感参数，所述临场感参数包括视听逼真度、音视频连续性和完整性、交互真实感；根据所述临场感参数确定临场感得分。该方法可以先获取临场感参数，再根据该临场感参数确定临场感得分，从而可以对VR体验临场感进行评测。这样可以将临场感作为一个量化的指标，可以评测VR临场感的好坏。临场感得分越高，则代表VR体验临场感越好。该临场感得分是根据获取的临场感参数确定的，不局限于特定的应用场景，可以适用于不同的VR体验场景。
Description
技术领域
本发明涉及虚拟现实领域，具体涉及一种评测VR体验临场感的方法、装置及系统。
背景技术
虚拟现实(virtual reality，VR)技术已经逐步渗透到教育、娱乐、医疗、环保、交通运输、公共卫生等众多领域，具有极大的应用价值和商业潜力。相比于传统的视频业务，虚拟现实业务能够凭借360度的场景、广阔的视域、可自由切换的视角、可自由走动的操作和丰富的肢体交互等特征为用户提供全新的沉浸式体验。
当前对于VR体验临场感的研究主要关注于临场感产生机制和外界影响。研究人员通常使用调查问卷的方法从用户的专注程度、对预设任务的完成度等方面定性的分析和判断用户在特定应用场景中的临场感体验的质量，为优化应用的画面渲染、场景布置及任务设定提供参考依据。
对于用户临场感质量的评估是亟待解决的问题。现有的评估方法只能评测一个特定的应用场景下的VR体验临场感，而无法适应多元化的场景。随着技术水平的进步和应用场景的多元化，VR体验的场景越来越多，若针对一个特定场景开发一套评测方法，会浪费研发人员大量的时间和资源。
发明内容
本申请实施例提供了一种评测VR体验临场感的方法、装置及系统,该方法不局限于特定的应用场景，可以评测多元化的场景下的VR体验临场感。
有鉴于此，本申请第一方面提供了一种评测VR体验临场感的方法，该方法包括：获取临场感参数，所述临场感参数包括视听逼真度、音视频连续性和完整性、交互真实感；根据所述临场感参数确定临场感得分。该方法可以先获取临场感参数，再根据该临场感参数确定临场感得分，从而可以对VR体验临场感进行评测。这样可以将临场感作为一个量化的指标，可以评测VR临场感的好坏。临场感得分越高，则代表VR体验临场感越好。该临场感得分是根据获取的临场感参数确定的，不局限于特定的应用场景，可以适用于不同的VR体验场景。
可选的，所述获取虚拟现实VR临场感参数包括获取所述视听逼真度得分，所述获取所述视听逼真度得分包括：获取视觉逼真度得分、听觉逼真度得分以及声画同步时间；根据所述视觉逼真度得分、听觉逼真度得分以及声画同步时间获取所述视听逼真度得分。
可选的，所述获取所述视觉逼真度得分包括：获取视频源呈现质量得分、视频通道数以及单目视场角；根据所述视频源呈现质量得分、所述视频通道数以及所述单目视场角获取所述视觉逼真度得分。
可选的，所述获取视频源呈现质量得分包括：获取视频源质量得分和屏幕呈现质量得分；根据所述视频源质量得分和所述屏幕呈现质量得分获取所述视频源呈现质量得分。
可选的，所述获取所述听觉逼真度得分包括：获取音频源质量得分和音频声道；根据所述音频源质量得分和所述音频声道获取所述听觉逼真度得分。
可选的，所述获取临场感参数包括获取所述音视频连续性和完整性得分，所述获取所述音视频连续性和完整性得分包括：获取平均卡顿时长、卡顿频率和数据丢包率；根据所述平均卡顿时长、所述卡顿频率和所述数据丢包率获取所述音视频连续性和完整性得分。
可选的，所述获取临场感参数包括获取所述交互真实感得分，所述获取交互真实感得分包括：获取MTP时延和自由度；根据所述MTP时延和所述自由度获取交互真实感得分。
本申请第二方面提供了一种评测VR体验临场感的装置，其特征在于，所述装置包括：获取模块，用于获取虚拟现实VR临场感参数，所述VR临场感参数包括视听逼真度得分、音视频连续性和完整性得分、交互真实感得分；确定模块，用于根据所述VR临场感参数确定VR临场感指数。
可选的，所述获取模块，还用于获取视觉逼真度得分、听觉逼真度得分以及声画同步时间；所述获取模块，还用于根据所述视觉逼真度得分、听觉逼真度得分以及声画同步时间获取所述视听逼真度得分。
可选的，所述获取模块，还用于获取视频源呈现质量得分、视频通道数以及单目视场角；所述获取模块，还用于根据所述视频源呈现质量得分、所述视频通道数以及所述单目视场角获取所述视觉逼真度得分。
可选的，所述获取模块，还用于获取视频源质量得分和屏幕呈现质量得分；所述获取模块，还用于根据所述视频源质量得分和所述屏幕呈现质量得分获取所述视频源呈现质量得分。
可选的，所述获取模块，还用于获取音频源质量得分和音频声道；所述获取模块，还用于根据所述音频源质量得分和所述音频声道获取所述听觉逼真度得分。
可选的，所述获取模块，还用于获取平均卡顿时长、卡顿频率和数据丢包率；所述获取模块，还用于根据所述平均卡顿时长、所述卡顿频率和所述数据丢包率获取所述音视频连续性和完整性得分。
可选的，所述获取模块，还用于获取MTP时延和自由度；所述获取模块，还用于根据所述MTP时延和自由度获取交互真实感得分。
本申请第三方面提供了一种评测VR体验临场感的系统，其特征在于，所述系统包括终端、基站、核心网和云主机，所述终端，用于获取虚拟现实VR临场感参数并通过基站、核心网将所述VR临场感参数传输至云主机，所述VR临场感参数包括视听逼真度得分、音视频连续性和完整性得分、交互真实感得分；所述云主机根据所述VR临场感参数确定VR临场感指数。
本申请提供了一种评测VR体验临场感的方法、装置及系统，该方法包括：获取临场感参数，所述临场感参数包括视听逼真度、音视频连续性和完整性、交互真实感；根据所述临场感参数确定临场感得分。该方法可以先获取临场感参数，再根据该临场感参数确定临场感得分，从而可以对VR体验临场感进行评测。这样可以将临场感作为一个量化的指标，可以评测VR临场感的好坏。临场感得分越高，则代表VR体验临场感越好。该临场感得分是根据获取的临场感参数确定的，不局限于特定的应用场景，可以适用于不同的VR体验场景。
附图说明
图1为本申请实施例提供的一种评测VR体验临场感的方法的一个实施例示意图；
图2为本申请实施例提供的一种获取视听逼真度得分的方法的一个实施例示意图；
图3为本申请实施例提供的一种获取音视频连续性和完整性得分的一个实施例示意图；
图4为本申请实施例提供的一种获取交互真实感得分的一个实施例示意图；
图5为本申请实施例提供的一种获取视觉逼真度得分的一个实施例示意图；
图6为本申请实施例提供的一种获取听觉逼真度得分的一个实施例示意图；
图7为本申请实施例提供的一种评测VR体验临场感的装置的一个实施例示意图；
图8为本申请实施例提供的一种评测VR体验临场感的系统的一个实施例示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请中出现的术语“和/或”，可以是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中字符“/”，一般表示前后关联对象是一种“或”的关系。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
近年来，VR技术已经逐步进入到各个行业，具有极大的应用价值和商业潜力。相比于传统的视频业务，虚拟限制业务能够凭借其360度的场景、广阔的视域、可自由切换的视角、可自由走动的操作和丰富的肢体交互等特性为用户提供全新的沉浸式体验。当前算力、存储云化的产业发展步伐越来越快，VR可以借助云端算力进行实时画面渲染。进一步，5G网络的超大带宽和超低延时，保证了云端渲染画面的可获得性，并在随时随地接入、类本地操作方面，给用户体验带来极大提升。云VR业务是需求、技术、成本和体验等方面综合推动、演进的必然业务形态。
针对云VR业务，目前业界还没有明确的体验评估模型，无法从用户体验触发，有效牵引端到端(end to end，E2E)产业发展，并作为5G网络建设的参考依据。如何准确有效的评估和预测用户在应用云VR业务时的体验是亟待解决的问题。
对于用户沉浸感体验的研究主要关注探索沉浸感的产生机理和分析外界的部分影响因素。研究人员通常使用调查问卷的方法从用户的专注程度、对预设任务的完成度等方面定性地分析和判别用户在特定的应用场景中的沉浸感体验质量，为优化应用的画面渲染、场景布置及任务设定提供参考依据。
对于VR领域，目前国内外还没有提出相应的用户临场感体验质量评估模型，对用户临场感体验质量的评估及建模是亟待解决的问题。此外，现有对用户体验质量研究的方法只能针对当前技术水平下某一特定应用场景建立用户体验的评估模型。在新技术、新内容出现后或者应用场景变化后，则需要重新研究并建立对应的评估模型。随着技术水平的飞速发展和应用场景的多元化，按照现有用户体验评估的研究思路难以及时制定长期使用的评估模型，如果根据某一个固定场景研究一套评估模型，会造成大量研究时间和研究资源的浪费。
因此，本申请提供了一种评测VR体验临场感的方法，该方法可以应对VR设备制造商、VR内容提供商的不同需求，灵活的选取局部的评估模型来获得用户在具体应用场景中真实的临场感体验质量。本申请提供的评估方法涵盖了虚拟VR设备、内容的技术参数，能够适用于现在以及未来VR业务中临场感质量的评估。
本申请实施例一提供一种评测VR体验临场感的方法，请参见图1，该方法包括：
101.获取VR临场感参数。
获取临场感(presence)参数，该临场感参数为可量化的数值，后续用平均主观意见分(mean opinion score，MOS)表示。该临场感参数包括视听逼真度(acoustic-visualfidelity，AVF)得分、音视频连续性和完整性(re-buffering/packet loss，RP)得分、交互真实感(interaction realism，IR)得分，在后续还可以包括触觉体验以及嗅觉体验以及其他体验因素的得分，此处不做限定。该AVF得分可以表示为MOSAVF，RP得分可以表示为MOSRP，IR得分可以表示为MOSIR。
该视听逼真度得分(MOSAVF)是根据视觉逼真度(visual fidelity，VF)得分、听觉逼真度(acoustic fidelity，AF)得分以及声画同步时间获取的,该VF得分可以表示为MOSVF，该AF得分可以表示为MOSAF,该MOSAVF的获取具体可以参见图2，将在下文中详细说明。
该音视频连续性和完整性得分(MOSRP)是根据平均卡顿时长、卡顿频率和数据丢包率获取的，该MOSRP的获取具体可以请参见图3，将在下文中详细说明。
该交互真实感得分(MOSIR)是根据MTP时延和自由度得分确定的，该MOSIR的获取具体可以请参见图4，将在下文中详细说明。
102.根据VR临场感参数确定VR临场感指数。
根据VR临场感参数确定VR临场感指数(virtual reality presence index，VRPI)。
具体的可以根据如下VR临场感评估模型公式计算出VR临场感指数：VR PI＝min(max((MOSAVF-1)*(1-v1*(5-MOSIR)-v2*(5-MOSRP))+1，1)，5)
其中VR PI为VR临场感指数，MOSAVF为视听逼真度得分，MOSIR为交互真实感得分，MOSRP为音视频连续性和完整性得分。v1为交互真实感损伤因子，v2为音视频连续性和完整性损伤因子。v1和v2取值为固定值。示例性的，v1和v2分别可以取值0.25和0.25。
请参见图2，获取视听逼真度得分(MOSAVF)的步骤如下：
201.获取视觉逼真度得分、听觉逼真度得分以及声画同步时间。
获取视觉逼真度得分(MOSVF)、听觉逼真度得分(MOSAF)以及声画同步时间。
该视觉逼真度得分(MOSVF)可以根据视频源呈现质量得分、视频通道数和单目视场角获取。该视觉逼真度得分的获取可以具体参见图5，将在下文中详细说明。
该听觉逼真度得分(MOSAF)可以根据音频源质量得分和音频声道获取。该听觉逼真度得分的获取可以具体参见图6，将在下文中详细说明。
202.根据视觉逼真度得分、听觉逼真度得分以及声画同步时间获取视听逼真度得分。
根据视觉逼真度得分、听觉逼真度得分以及声画同步时间获取视听逼真度得分。
具体的，可以根据如下模型公式确定视听逼真度得分：
MOSAVF＝max(min(max(v3*MOSVF+v4*MOSAF+v5*MOSVF*MOSAF+v6，1)，5)*min(v7*exp(v8*tasyn)+v9，1)，1)
其中，MOSAVF为视听逼真度得分，MOSVF为视觉逼真度，MOSAF为听觉逼真度，tasvn为声画同步(audiovisual synchronization)时间。v3至v9为权重因子，示例性的，v3至v9的取值如下表：
表1
| v<sub>3</sub> | v<sub>4</sub> | v<sub>5</sub> | v<sub>6</sub> | v<sub>7</sub> | v<sub>8</sub> | v<sub>9</sub> |
| 0.9534 | 0.1954 | -0.01747 | -0.3466 | 1.156 | -3.72 | 0.141 |
请参见图3，获取音视频连续性和完整性得分(MOSRP)的步骤如下：
301.获取平均卡顿时长、卡顿频率和数据丢包率。
音视频连续性和完整性代表网络影响造成的体验。与初始加载时延，卡顿，丢包等因素有关。本申请经研究发现不同的传输类型会造成不同的体验。如在传输控制协议(transmission control protocol，TCP)传输场景下，容易引起卡顿；在用户数据报协议(user datagram protocol，UDP)传输场景下，容易引起花屏。本申请考虑了不同的传输方法带来的体验影响，能够覆盖不同的业务场景。
获取平均卡顿时长、卡顿频率以及数据丢包率。
1)在TCP业务场景下，网络的变化容易引起画面的卡顿现象。
在TCP业务场景下，可以通过终端设备获取平均卡顿时长和卡顿频率，然后根据平均卡顿时长和卡顿频率获取连续性得分。具体的，根据如下公式获取连续性得分：MOSR＝max((v43*ln(Tr+v44)+v45)*(v46*ln(RF+v47)+v48)，1)
其中MOSR为音视频连续性得分，Tr是平均卡顿时长(单位：秒)，RF(re-bufferingfrequency)为卡顿频率。该公式中的系数v43至v48可以根据实际业务场景进行调整。
2)在UDP业务场景下，网络的变化容易引起画面产生花屏现象。
本申请经研究发现数据丢包率越大，音视频完整性越低。但是随着丢包率越大，音视频完整性降低速度逐渐变缓。
若不使用向前纠错码(forward error correction，FEC)，该音视频完整性得分的公式表示如下：
其中MOSP是音视频完整性得分，ppl是数据丢包率(percentage of packetloss)。(如果丢包率为0.3％时，该ppl的值在公式中为0.3)。该公式中的系数v49至v50可以根据实际业务场景进行调整。
若使用FEC，该音视频完整性公式表示如下：
MOSP＝max(v52*exp(-v53*FLFEC)+v54，1)
其中FLFEC是FEC的纠正失败率。该公式中的系数v53至v54可以根据实际业务场景进行调整。
302.根据平均卡顿时长、卡顿频率和数据丢包率获取音视频连续性和完整性得分。
根据平均卡顿时长、卡顿频率和数据丢包率获取音视频连续性和完整性得分。
具体的，可以根据如下模型公式确定音视频连续性和完整性得分：
MOSRP＝(MOSR-1)*(1-v42*(5-MOSP))+1
其中，MOSRP为音视频连续性和完整性得分，MOSR为音视频连续性得分，MOSP为音视频完整性得分。该公式中的系数v42可以根据实际业务场景进行调整。
请参见图4，获取交互真实感得分(MOSIR)的步骤如下：
401.获取MTP时延和自由度。
获取运动到图像出现(motion to photon，MTP)时延和自由度。本申请研究的业务主要分为云VR视频和云VR游戏。
1)云VR视频。
云VR视频的交互真实感主要体现在不同自由度(degree of freedom，DOF)和头部MTP时延构成。交互一致性与MTP时延间存在指数关系。其中，交互一致性和可能与运动和音频方位变化之后时长(MTS)有关，此处不做限制。
本申请研究发现自由度的提升可以增加交互真实感，头部MTP时延会降低交互真实感。
2)云VR游戏。
云VR游戏由于参与的肢体较多，其交互真实感主要与自由度、头部MTP时延、肢体MTP时延和手部MTP时延有关。其中自由度主要包括1自由度、3自由度或者6自由度。未来有可能包括多种自由度以及头部、肢体和手部多种自由度的组合方式。例如，游戏中头3自由度、手6自由度、肢体1自由度；或者头6自由度，手6自由度，肢体1自由度等等。
本申请经研究发现，增加自由度能够明显的提高用户在VR游戏中的交互真实感，而各部分时延会造成交互真实感下降。交互一致性与操作响应时延肢体MTP时延间均存在指数关系。
402.根据MTP时延和自由度获取交互真实感得分。
若步骤401中，是研究的云VR视频，则根据MTP时延和自由度获取交互真实感得分具体可以根据以下公式：
MOSIR＝max(min(v27*DOF+v28-DMOShm，5)，1)
其中MOSIR为交互真实感得分，DOF为头部自由度，DMOShm为头部MTP时延产生的交互真实感下降量得分。v27与v28为模型参数，可以根据实际场景进行调整，若为云VR视频业务，v27与v28的取值分别可以为0.0667和4.3。
DMOShm可以表示为：
DMOShm＝max(min(v29*ln(v30*thd+v31)+v32，4)，0)
其中，thd为头部MTP时延(单位：毫秒)，v29至v32可以根据实际应用场景进行调整。示例性的，在云VR场景下，v29至v32的取值可以分别为：1.563，0.046，0.01，0.058。
若步骤401中，是研究的云VR游戏，则根据MTP时延和自由度获取交互真实感得分具体可以根据如下公式：
MOSIR＝max(min(min(v33*ln(DOF)+v34，5)-DMOSm，5)，1)
其中MOSIR为交互真实感得分，DOF为自由度，DMOSm为交互真实感下降量得分。v33与v34为模型参数，可以根据实际应用场景进行调整。若为云VR游戏场景可以取值为0.01和0.058。
其中DMOSm可以由头部MTP时延导致的交互真实感下降量得分DMOShm、肢体MTP时延导致的交互真实感下降量得分DMOSbm、手部操作MTP时延导致的交互真实感下降量得分DMOSom得到，具体的，获取该交互真实感下降量得分DMOSm具体可以根据如下公式：
其中，获取该头部MTP时延导致的交互真实感下降量得分DMOShm可以根据如下公式：
DMOShm＝max(min(v29*ln(v30*thd+v31)+v32，4)，0)
该thd为头部MTP延时(单位：毫秒)。v29至v32为模型参数，可以根据实际应用场景取值，若为云VR视频业务，取值分别可以为：1.563，0.046，0.01，0.058。
获取该肢体MTP时延导致的交互真实感下降量得分DMOSbm可以根据如下公式：
DMOSbm＝max(min(v35*ln(v36*tbd++v37)+v38，4)，0)
该tbd为肢体MTP延时(单位：毫秒)。v35至v38为模型参数，可以根据实际应用场景取值，若为云VR游戏业务，取值分别可以为：1.443，0.018，0.01，0.119。
获取该手部操作MTP时延导致的交互真实感下降量DMOSom可以根据如下公式：
DMOSom＝max(min(v39*In(tod+v40)+v41，4),0)
该tod为因操作响应时延(单位：毫秒)。v39至v41为模型参数，可以根据实际应用场景取值，若为云VR游戏业务，取值分别可以为：1.343，-7.905，-5.02。
请参见图5，获取视觉逼真度得分(MOSVF)的步骤如下：
501.获取视频源呈现质量得分、视频通道数和单目视场角。
获取视频源呈现质量得分(MOSv)，视频通道数(number of video channels，NVC)和单目视场角(FOV)。该视频源呈现质量得分(MOSV)与视频源质量(video quality，VQ)和屏幕呈现质量(screen quality，SQ)有关。该视频通道数可以代表2/3D视觉，即视频是单目视频或者立体视频。单目视场角即视域。
该MOSV是根据视频源质量得分(MOSVQ)和屏幕呈现质量得分(MOSSQ)得到的。该视频通道数可以为单目或双目。
502.根据视频源呈现质量得分、视频通道数和单目视场角获取视觉逼真度得分。
根据视频源呈现质量得分(MOSV)、视频通道数和平均单目视场角(FOV)获取视觉逼真度得分(MOSVF)。
具体的，可以根据如下模型公式确定视觉逼真度(MOSVF)得分：
MOSVF＝max(min(v10*MOSV+v11*FOV+v12,5),1)
其中，v10至v12为模型参数，在实际中需要根据视频通道数(NVC)来具体调整。示例性的，若为单目视频，则v10至v12的取值为0.595，0.020，-0.735。若为双目视频，则v10至v12的取值为0.655，0.016，-0.342。
请参见图6，获取听觉逼真度(MOSAF)的步骤如下：
601.获取音视频质量得分和音频声道。
获取音频质量得分和音频声道，该音频源质量得分可以根据音频码率、音频编码等一切构成音频质量的可量化因素获取。音频声道分为立体声效和VR的沉浸式空间化声效。
602.根据音频源质量得分和音频声道获取听觉逼真度得分。
根据音频源质量得分和音频声道获取听觉逼真度得分。
具体的，可以根据如下模型公式确定听觉逼真度得分：
其中，ABr为音频码率，v22至v26为模型参数，在实际应用场景中与音频声道有关。若音频声道为立体声效，模型参数v22至v26的取值为：4，47.100，2.134，0.81，0.3。
本申请实施例一提供了一种评测VR体验临场感的方法，该方法包括：获取临场感参数，所述临场感参数包括视听逼真度、音视频连续性和完整性、交互真实感；根据所述临场感参数确定临场感得分。该方法可以先获取临场感参数，再根据该临场感参数确定临场感得分，从而可以对VR体验临场感进行评测。这样可以将临场感作为一个量化的指标，可以评测VR临场感的好坏。临场感得分越高，则代表VR体验临场感越好。该临场感得分是根据获取的临场感参数确定的，不局限于特定的应用场景，可以适用于不同的VR体验场景。该方法可以从虚拟现实体验最相关的子体验项出发，分级评估。使用者可以根据自己的需求输出部分得分或者综合评分，可以使得VR业务的体验评估更加准确，方便可行。
需说明的是，在实施例一中，涉及到的得分都是在1至5分之间。
基于上述实施例一，本申请给出VR业务临场感体验计算VRPI软件开发工具包(software development kit，SDK)。该SDK用于计算VR业务临场感体验指数。该SDK由参数输入模块、计算模块和结果输出模块三个模块构成。该参数输入模块用于输入参数，该参数可以包括上述实施例中所有参数。该计算模块用于根据该参数以及上述实施例中的计算过程获取计算结果。示例性的，若输入MOSAVF，MOSRP，MOSIR可以根据上述步骤102中计算出VR临场感指数的公式计算出VR临场感指数。
本申请实施例二提供了一种装置，请参见图7，该装置70包括获取模块701和确定模块702，该装置用于执行实施例一所述的方法，
该获取模块701，用于获取虚拟现实VR临场感参数，所述VR临场感参数包括视听逼真度得分、音视频连续性和完整性得分、交互真实感得分；
该获取模块701，还用于获取视觉逼真度得分、听觉逼真度得分以及声画同步时间，并根据所述视觉逼真度得分、听觉逼真度得分以及声画同步时间获取所述视听逼真度得分。
该获取模块701，还用于获取视频源呈现质量得分、视频通道数以及单目视场角，并根据所述视频源呈现质量得分、所述视频通道数以及所述单目视场角获取所述视觉逼真度得分。
该获取模块701，还用于获取视频源质量得分和屏幕呈现质量得分，并根据所述视频源质量得分和所述屏幕呈现质量得分获取所述视频源呈现质量得分。
该获取模块701，还用于获取音频源质量得分和音频声道，并根据所述音频源质量得分和所述音频声道获取所述听觉逼真度得分。
该获取模块701，还用于获取平均卡顿时长、卡顿频率和数据丢包率，并根据所述平均卡顿时长、所述卡顿频率和所述数据丢包率获取所述音视频连续性和完整性得分。
该获取模块701，还用于获取MTP时延和自由度，并根据所述MTP时延和自由度获取交互真实感得分。
该确定模块702，用于根据所述VR临场感参数确定VR临场感指数。
请参见图8，本申请提供了一种评测VR体验临场感的系统，该系统包括终端、基站(eNB)、核心网和云主机。该终端可以包括VR播放器、VR头戴设备等。单用户在观看VR视频或者进行其他VR体验时，该终端对用户信息进行采集，采集的信息包括实施例一中所有可采集的参数，然后该终端通过基站、核心网将信息传递至云主机，该云主机通过实施例一种所述的计算公式对该信息进行处理，得到最终的VR临场感指数。
终端侧的VR临场感指数可以用于路测，也可以对商用客户端VR视频质量进行统计。本方案明确了VR各组件要求，可以推动产业标准化进程。VR业务的进一步发展和规模商用仍需要统一的产品与解决方案标准来进行保障；可以降低VR方案整合，集成的复杂度；解决在VR发展过程中，各个厂家产品规格和实现方式不一致，导致项目进度和用户体验受影响的情况，建立一套明确的产品准入门槛和业务验收标准。
该方案也可以适用于对VR游戏的体验评测。当用户在玩VR游戏过程中，终端采集用户动作信息以及游戏视频画面信息，获得实施例一中所有可以用于计算VR PI的参数。然后该终端通过基站、核心网将信息传递至云主机，该云主机通过实施例一种所述的计算公式对该信息进行处理，得到最终的VR临场感指数。
实现VR游戏的统一评测，保障用户质量体验。在业界对齐VR游戏体验的输入，评估，输出流程，拉通VR体验评估的定义。给出了一套VR综合体验评估标准，可以牵引网络建设和解决方案开发。
以上对本发明实施例所提供的一种评测VR体验临场感的方法、装置及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种评测VR体验临场感的方法，其特征在于，所述方法包括：
获取虚拟现实VR临场感参数，所述VR临场感参数包括视听逼真度得分、音视频连续性和完整性得分、交互真实感得分；
根据所述VR临场感参数确定VR临场感指数。
2.根据权利要求1所述的方法，其特性在于，所述获取虚拟现实VR临场感参数包括获取所述视听逼真度得分，所述获取所述视听逼真度得分包括：
获取视觉逼真度得分、听觉逼真度得分以及声画同步时间；
根据所述视觉逼真度得分、听觉逼真度得分以及声画同步时间获取所述视听逼真度得分。
3.根据权利要求2所述的方法，其特征在于，所述获取所述视觉逼真度得分包括：
获取视频源呈现质量得分、视频通道数以及单目视场角；
根据所述视频源呈现质量得分、所述视频通道数以及所述单目视场角获取所述视觉逼真度得分。
4.根据权利要求3所述的方法，其特征在于，所述获取视频源呈现质量得分包括：
获取视频源质量得分和屏幕呈现质量得分；
根据所述视频源质量得分和所述屏幕呈现质量得分获取所述视频源呈现质量得分。
5.根据权利要求2所述的方法，其特征在于，所述获取所述听觉逼真度得分包括：
获取音频源质量得分和音频声道；
根据所述音频源质量得分和所述音频声道获取所述听觉逼真度得分。
6.根据权利要求1所述的方法，其特征在于，所述获取临场感参数包括获取所述音视频连续性和完整性得分，所述获取所述音视频连续性和完整性得分包括：
获取平均卡顿时长、卡顿频率和数据丢包率；
根据所述平均卡顿时长、所述卡顿频率和所述数据丢包率获取所述音视频连续性和完整性得分。
7.根据权利要求1所述的方法，其特征在于，所述获取临场感参数包括获取所述交互真实感得分，所述获取交互真实感得分包括：
获取运动到图像出现MTP时延和自由度；
根据所述MTP时延和所述自由度获取交互真实感得分。
8.一种评测VR体验临场感的装置，其特征在于，所述装置包括：
获取模块，用于获取虚拟现实VR临场感参数，所述VR临场感参数包括视听逼真度得分、音视频连续性和完整性得分、交互真实感得分；
确定模块，用于根据所述VR临场感参数确定VR临场感指数。
9.根据权利要求8所述的装置，其特征在于，
所述获取模块，还用于获取视觉逼真度得分、听觉逼真度得分以及声画同步时间；
所述获取模块，还用于根据所述视觉逼真度得分、听觉逼真度得分以及声画同步时间获取所述视听逼真度得分。
10.根据权利要求9所述的装置，其特征在于，
所述获取模块，还用于获取视频源呈现质量得分、视频通道数以及单目视场角；
所述获取模块，还用于根据所述视频源呈现质量得分、所述视频通道数以及所述单目视场角获取所述视觉逼真度得分。
11.根据权利要求10所述的装置，其特征在于，
所述获取模块，还用于获取视频源质量得分和屏幕呈现质量得分；
所述获取模块，还用于根据所述视频源质量得分和所述屏幕呈现质量得分获取所述视频源呈现质量得分。
12.根据权利要求9所述的装置，其特征在于，
所述获取模块，还用于获取音频源质量得分和音频声道；
所述获取模块，还用于根据所述音频源质量得分和所述音频声道获取所述听觉逼真度得分。
13.根据权利要求8所述的装置，其特征在于，
所述获取模块，还用于获取平均卡顿时长、卡顿频率和数据丢包率；
所述获取模块，还用于根据所述平均卡顿时长、所述卡顿频率和所述数据丢包率获取所述音视频连续性和完整性得分。
14.根据权利要求8所述的装置，其特征在于，
所述获取模块，还用于获取运动到图像出现MTP时延和自由度；
所述获取模块，还用于根据所述MTP时延和自由度获取交互真实感得分。
15.一种评测VR体验临场感的系统，其特征在于，所述系统包括终端、基站、核心网和云主机，
所述终端，用于获取虚拟现实VR临场感参数并通过基站、核心网将所述VR临场感参数传输至云主机，所述VR临场感参数包括视听逼真度得分、音视频连续性和完整性得分、交互真实感得分；
所述云主机根据所述VR临场感参数确定VR临场感指数。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911251339.8A CN113031756A (zh) | 2019-12-09 | 2019-12-09 | 一种评测vr体验临场感的方法、装置及系统 |
| PCT/CN2020/134539 WO2021115255A1 (zh) | 2019-12-09 | 2020-12-08 | 一种评测vr体验临场感的方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911251339.8A CN113031756A (zh) | 2019-12-09 | 2019-12-09 | 一种评测vr体验临场感的方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113031756A true CN113031756A (zh) | 2021-06-25 |
Family
ID=76328839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911251339.8A Pending CN113031756A (zh) | 2019-12-09 | 2019-12-09 | 一种评测vr体验临场感的方法、装置及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113031756A (zh) |
| WO (1) | WO2021115255A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11895141B1 (en) * | 2022-12-01 | 2024-02-06 | Second Sight Data Discovery, Inc. | Apparatus and method for analyzing organization digital security |
| CN117252867B (zh) * | 2023-11-14 | 2024-02-27 | 广州市品众电子科技有限公司 | 一种基于图像识别的vr设备生产产品质量监测分析方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108683909A (zh) * | 2018-07-12 | 2018-10-19 | 北京理工大学 | Vr音视频整体用户体验质量评估方法 |
| CN108881894A (zh) * | 2017-05-08 | 2018-11-23 | 华为技术有限公司 | Vr多媒体的体验质量确定方法及装置 |
| CN110211661A (zh) * | 2019-06-05 | 2019-09-06 | 山东大学 | 基于混合现实的手功能训练系统及数据处理方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105991364B (zh) * | 2015-02-28 | 2020-07-17 | 中兴通讯股份有限公司 | 一种用户感知评估方法及装置 |
| CN109711693A (zh) * | 2018-12-18 | 2019-05-03 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 一种基于虚拟现实人机交互系统的评价方法 |
| CN109451303B (zh) * | 2018-12-24 | 2019-11-08 | 合肥工业大学 | 一种针对VR视频中用户体验质量QoE的建模方法 |
-
2019
- 2019-12-09 CN CN201911251339.8A patent/CN113031756A/zh active Pending
-
2020
- 2020-12-08 WO PCT/CN2020/134539 patent/WO2021115255A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108881894A (zh) * | 2017-05-08 | 2018-11-23 | 华为技术有限公司 | Vr多媒体的体验质量确定方法及装置 |
| US20200090324A1 (en) * | 2017-05-08 | 2020-03-19 | Huawei Technologies Co., Ltd. | Method and Apparatus for Determining Experience Quality of VR Multimedia |
| CN108683909A (zh) * | 2018-07-12 | 2018-10-19 | 北京理工大学 | Vr音视频整体用户体验质量评估方法 |
| CN110211661A (zh) * | 2019-06-05 | 2019-09-06 | 山东大学 | 基于混合现实的手功能训练系统及数据处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| XLABS: "云VR临场感指数", 《华为技术》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021115255A1 (zh) | 2021-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102362001B1 (ko) | 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품 | |
| CN103718166B (zh) | 信息处理设备、信息处理方法 | |
| Wu et al. | Quality of experience in distributed interactive multimedia environments: toward a theoretical framework | |
| CN106063255B (zh) | 显示视频会议期间的演讲者的方法和系统 | |
| CN106548517B (zh) | 基于增强现实技术进行视频会议的方法及装置 | |
| CN109714557A (zh) | 视频通话的质量评估方法、装置、电子设备和存储介质 | |
| CN107124664A (zh) | 应用于视频直播的交互方法和装置 | |
| Doumanoglou et al. | Quality of experience for 3-D immersive media streaming | |
| CN108322474B (zh) | 基于共享桌面的虚拟现实系统、相关装置及方法 | |
| WO2021115255A1 (zh) | 一种评测vr体验临场感的方法、装置及系统 | |
| WO2016134564A1 (zh) | 一种用户感知评估方法及装置 | |
| CN108881894A (zh) | Vr多媒体的体验质量确定方法及装置 | |
| Langa et al. | Multiparty holomeetings: Toward a new era of low-cost volumetric holographic meetings in virtual reality | |
| CN111107434A (zh) | 信息推荐方法及装置 | |
| CN112752037A (zh) | 混合音视频流的处理方法和装置 | |
| Viola et al. | VR2Gather: A collaborative, social virtual reality system for adaptive, multiparty real-time communication | |
| CN112653898A (zh) | 用户形象生成方法、相关装置及计算机程序产品 | |
| Subramanyam et al. | Evaluating the impact of tiled user-adaptive real-time point cloud streaming on VR remote communication | |
| Xie et al. | Modeling the perceptual impact of viewport adaptation for immersive video | |
| KR101939130B1 (ko) | 영상 중계 방법, 영상 제공 방법 및 이를 이용하는 장치 | |
| Choi et al. | Video QoE models for the compute continuum | |
| Arefin et al. | Classification and analysis of 3D tele-immersive activities | |
| Kalliris et al. | Investigating quality of experience and learning (QoE & QoL) of audiovisual content broadcasting to learners over IP networks | |
| KR102291542B1 (ko) | 콘텐트 스트리밍 서비스의 사용자의 피드백 정보 동기화 장치 및 방법 | |
| Vankeirsbilck et al. | Platform for real-time subjective assessment of interactive multimedia applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |