CN111526492B - 一种vr通话方法及系统 - Google Patents
一种vr通话方法及系统 Download PDFInfo
- Publication number
- CN111526492B CN111526492B CN202010301216.7A CN202010301216A CN111526492B CN 111526492 B CN111526492 B CN 111526492B CN 202010301216 A CN202010301216 A CN 202010301216A CN 111526492 B CN111526492 B CN 111526492B
- Authority
- CN
- China
- Prior art keywords
- network
- delay
- preset
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000005540 biological transmission Effects 0.000 claims abstract description 71
- 230000006854 communication Effects 0.000 claims abstract description 67
- 238000004891 communication Methods 0.000 claims abstract description 66
- 230000001413 cellular effect Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 19
- 230000002093 peripheral effect Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 238000007654 immersion Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W48/00—Access restriction; Network selection; Access point selection
- H04W48/16—Discovering, processing access restriction or access information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/24—Accounting or billing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W48/00—Access restriction; Network selection; Access point selection
- H04W48/18—Selecting a network or a communication service
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明实施例提供一种VR通话方法及系统。所述方法包括在VR通话开始时，通过检测网络时延数据来确定满足预设传输条件的网络环境；其中，所述网络环境包括：wifi网络和至少一种蜂窝网络；在满足预设传输条件的网络环境下进行VR通话，本发明实施例通过在VR系统中增加蜂窝模块，使VR系统能够连接蜂窝网络，并根据检测网络时延，确定满足预设的传输条件的网络环境来进行VR通话，从而使VR通话更加高效，顺畅，提升了用户的沉浸感。
Description
技术领域
本发明涉及虚拟通话技术领域，尤其涉及一种VR通话方法及系统。
背景技术
虚拟现实(Virtual Reality，VR)技术至2016年以来得到了快速发展。让使用者体验到深度的“沉浸式”场景是虚拟现实(VR)技术不断前行的方向。现有VR产品中，用户通话沉浸感低、因网络或其他原因造成的体验效果差等问题，使VR用户难以享受到优质的通话体验。
现有技术使用高精度的定位传感器与定位方法描绘使用者的身体姿态，再结合硬件或云端加速技术从网络层面增大带宽、缩短时延将解决用户通话沉浸感低、体验效果差等痛点问题。现有文献、报道及已有产品中，已发布的系统及方法大多仅在系统的一方面解决用户通话“沉浸感”低这一问题。为了提升用户在虚拟世界内的真实感，VR一体机使用精度高、效果好、数量超多的(6-8个)超声、姿态类定位传感器；其他VR用户或采用占地空间大、外部设置复杂的红外、激光、可见光等定位传感器。两种解决方式将提升较高的产品硬件成本及空间布置成本，同时，网络环境不变的情况下，提升多点的数据传输量将造成网络承载不足或数据同步差等问题。而硬件器件使用较少的情况下，为了提升用户的沉浸感，开发者将使用开发与设计难度较高的位置估算算法，通过较少的检测器件，计算出更为准确的身体姿态。另外，已有的VR产品均仅能运行在wifi环境下，现有wifi大多遵循802.11a/b/g/n协议，现有的协议难以满足VR端到端超高清高FOV传输需要的带宽(1Gbps-2Gbps)与时延(小于10毫秒)要求。
现有虚拟现实(VR)技术为用户提供的VR通话效果较差，无法提供高效顺畅的VR通话。
发明内容
由于现有方法存在上述问题，本发明实施例提供一种VR通话方法及系统。
第一方面，本发明实施例提供了一种VR通话方法，包括：
在VR通话开始时，通过检测网络时延数据来确定满足预设传输条件的网络环境；其中，所述网络环境包括：wifi网络和至少一种蜂窝网络；
在满足预设传输条件的网络环境下进行VR通话。
进一步地，所述通过检测网络时延数据来确定满足预设传输条件的网络环境，具体包括：
根据预设的选择顺序，从各网络环境中选择目标网络；
在所述目标网络下检测预设时间段内的时延数据，得到所述目标网络的第一网络时延；
若所述第一网络时延未超过预设时延阈值，则将所述目标网络确定为满足预设传输条件的网络环境；
而若所述第一网络时延超过预设时延阈值，则增加在所述目标网络下传输的数据吞吐量并检测所述预设时间段内的时延数据，得到所述目标网络的第二网络时延；
若所述第一网络时延和第二网络时延的差值超过预设差值阈值，或者所述第二网络时延未超过预设时延阈值，则继续使用所述目标网络；
而若所述第一网络时延和第二网络时延的差值未超过预设差值阈值，且所述第二网络时延超过预设时延阈值，则按所述选择顺序重新选择另一网络环境为目标网络。
进一步地，所述VR通话方法，还包括：
若不存在满足预设传输条件的网络环境，则通过云服务建立网络专线来进行VR通话。
进一步地，所述蜂窝网络包括：5G VoNR网络和4G VoLTE网络。
第二方面，本发明实施例提供了一种用于实现上述VR通话方法的VR系统，包括：VR头显，所述VR头显包括：处理芯片模块和射频模块，所述射频模块包括wifi网络模块和至少一种蜂窝模块，在VR通话开始时，所述处理芯片模块通过检测网络时延数据来确定满足预设传输条件的射频模块，并通过满足预设传输条件的射频模块进行VR通话。
进一步地，所述处理芯片模块通过检测网络时延数据来确定满足预设传输条件的射频模块，具体包括：
根据预设的选择顺序，从各射频模块对应的网络环境中选择目标网络；
在所述目标网络下检测预设时间段内的时延数据，得到所述目标网络的第一网络时延；
若所述第一网络时延未超过预设时延阈值，则将所述目标网络确定为满足预设传输条件的网络环境；
而若所述第一网络时延超过预设时延阈值，则增加在所述目标网络下传输的数据吞吐量并检测所述预设时间段内的时延数据，得到所述目标网络的第二网络时延；
若所述第一网络时延和第二网络时延的差值超过预设差值阈值，或者所述第二网络时延未超过预设时延阈值，则继续使用所述目标网络；
而若所述第一网络时延和第二网络时延的差值未超过预设差值阈值，且所述第二网络时延超过预设时延阈值，则按所述选择顺序重新选择另一网络环境为目标网络。
进一步地，所述VR系统还包括：云服务器，所述云服务器用于，若不存在满足预设传输条件的网络环境，则通过所述云服务器建立网络专线来进行VR通话。
进一步地，所述VR系统还包括外围配件，所述外围配件用于环境信息收集和用户交互信息。
第三方面，本发明实施例还提供了一种电子设备，包括：
处理器、存储器、通信接口和通信总线；其中，
所述处理器、存储器、通信接口通过所述通信总线完成相互间的通信；
所述通信接口用于该电子设备的通信设备之间的信息传输；
所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述程序指令能够执行如下方法：
在VR通话开始时，通过检测网络时延数据来确定满足预设传输条件的网络环境；其中，所述网络环境包括：wifi网络和至少一种蜂窝网络；
在满足预设传输条件的网络环境下进行VR通话。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如下方法：
在VR通话开始时，通过检测网络时延数据来确定满足预设传输条件的网络环境；其中，所述网络环境包括：wifi网络和至少一种蜂窝网络；
在满足预设传输条件的网络环境下进行VR通话。
本发明实施例提供的VR通话方法及系统，通过在VR系统中增加蜂窝模块，使VR系统能够连接蜂窝网络，并根据检测网络时延，确定满足预设的传输条件的网络环境来进行VR通话，从而使VR通话更加高效，顺畅，提升了用户的沉浸感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的VR通话方法流程图；
图2为本发明实施例的另一VR通话方法流程图；
图3为本发明实施例的又一VR通话方法流程图；
图4为本发明实施例的VR通话系统结构示意图；
图5为本发明实施例的VR通话系统的网络架构示意图；
图6为本发明实施例的再一VR通话方法流程图；
图7示例了一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例的VR通话方法流程图，如图1所示，所述方法包括：
S01、在VR通话开始时，通过检测网络时延数据来确定满足预设传输条件的网络环境；其中，所述网络环境包括：wifi网络和至少一种蜂窝网络。
本发明实施例的VR系统通过增加蜂窝模块，使所述VR系统不仅能够通过wifi模块具有wifi网络连接能力，还可以通过蜂窝模块具有与蜂窝网络连接的能力，改变传统VR语音的交互方式。
所述wifi网络包括2.4GHz/5GHz wifi。
进一步地，所述蜂窝网络包括：5G VoNR网络和4G VoLTE网络。
所述蜂窝网络包括但不限于：5G VoNR、4G FDD-LTE/4G TD-LTE、3GCDMA2000/3GWCDMA/3G TD-SCDMA、2G GSM/2G CDMA等。但为了简便起见，在后续的实施例中均以5G VoNR网络和4G VoLTE网络为例进行举例说明。
在用户通过VR系统准备开启VR通话时，在VR系统完成前期系统准备后，将从wifi网络和各蜂窝网络中选择其中一个网络环境进行VR通话。
所述前期系统准备根据实际VR系统的启动过程，具体可以包括：
启动VR系统，包括VR头显和外围配件，开启VR通话应用，并确保VR头显联网、所述VR头显与外围配件相互连接；
由用户选择主动呼叫或选择被动接收；
用户进入虚拟环境后，所述VR系统的各传感器开始工作，将各类物理信号转变为电信号上传所述VR头显，所述VR头显将所有数据信息进行对齐；
所述VR系统对接收到的数据进行滤波、处理等，使接收到的数据有效化。
而对网络环境的具体的选择方式为，按照预设的顺序依次检测各网络环境的网络时延数据，若任一网络环境的网络时延数据满足预设的传输条件，则将该网络环境确定为进行VR通话的网络环境。
S02、在满足预设传输条件的网络环境下进行VR通话。
用选定的满足预设传输条件的网络环境，进行VR通话，具体用于传输用户的语音信息、图像信息和环境信息等。
本发明实施例通过在VR系统中增加蜂窝模块，使VR系统能够连接蜂窝网络，并根据检测网络时延，确定满足预设的传输条件的网络环境来进行VR通话，从而使VR通话更加高效，顺畅，提升了用户的沉浸感。
图2为本发明实施例的另一VR通话方法流程图，如图2所示，所述步骤S01包括：
步骤S011、根据预设的选择顺序，从各网络环境中选择目标网络。
先将各网络环境进行排序，并依次选择一个网络环境为目标网络。例如，分别将wifi网络、5G VoNR网络、4G VoLTE网络作为第一网络环境、第二网络环境和第三网络环境。具体的排序可以根据实际的需要进行设定，可以将所述wifi网络设定为默认网络，也可以由用户根据自身的需要来进行设定。
步骤S012、在所述目标网络下检测预设时间段内的时延数据，得到所述目标网络的第一网络时延。
通过监测在目标网络下进行VR通话时，在预设时间段内通过与所述目标网络对应的射频模块收发的端到端数据的时延，计算所述目标网络的第一网络时延。用于计算所述第一网络时延的方法有很多，在此，仅给出了其中的一种举例说明：
计算连续三个时间段内接收到的3组端到端数据的时延，分别为：t1、t2、t3。VR系统比较三个端到端数据的时延，得到最大时延Tend-end：
Tend-end＝Max{t1,t2,t3}，
从而可将该最大时延Tend-end作为第一网络时延。
进一步地，出于计算严谨性，同时，还需要计算三组端到端数据的平均时延Tend-end_average：
Tend-end_average＝(t1+t2+t3)/3，
将平均时延与最大时延进行对比，以避免VR系统在VR通话过程中出现奇异点。若最大时延与平均时延相差未超过预设奇异点阈值，例如5ms，则依然将所述最大时延Tend-end作为第一网络时延；而若所述最大时延与平均时延相差超过预设奇异点阈值，则此时忽略最大时延，取剩余两个数值的平均时延Tend-end_1来作为第一网络时延，具体的计算公式如下：
Tend-end-Tend-end_average>5ms,
Tend-end_1＝,(t1+t2+t3)-Tend-end]/2。
步骤S013、若所述第一网络时延未超过预设时延阈值，则将所述目标网络确定为满足预设传输条件的网络环境。
将所述第一网络时延与预设的时延阈值，例如，30ms，进行比较，若所述第一网络时延未超过预设时延阈值，则判定所述目标网络满足预设传输条件。此时，所述VR系统将利用该目标网络进行VR通话。
步骤S014、而若所述第一网络时延超过预设时延阈值，则增加在所述目标网络下传输的数据吞吐量并检测所述预设时间段内的时延数据，得到所述目标网络的第二网络时延。
而若所述第一网络时延超过了预设时延阈值，则判定该目标网络不满足预设传输条件。此时，用户将难以忍受网络时延所带来的沉浸式体验不适，VR系统需要查找网络状况不佳的原因，更进一步地，再次通过与目标网络对应的射频模块增加在所述目标网络下传输的数据吞吐量，例如将数据吞吐量增加到原来的1.2倍。
所述数据吞吐量为单位时间内网络传输量，网络传输量函数为：
C(x)＝C1(x)+C2(x)+C3(x)+…+Cn(x)，
其中，C1(x)表示VR系统图像采集组件采集的用户图像信息的信息量函数，C2(x)表示VR系统音频组件采集的声音信息的信息量函数，C3(x)表示VR系统加速度传感器采集加速度信息的信息量函数，Ci(x)表示VR系统其他传感器采集的信息量函数。
VR系统计算在得到第一网络时延时预设时间段内的数据吞吐量，加大相同时间段内的数据吞吐量至1.2倍，并检测相同时间段内通过与所述目标网络对应的射频模块收发的端到端数据的时延，并计算得到第二网络时延。具体的计算方法与第一网络时延相同，在此不再赘述。
步骤S015、若所述第一网络时延和第二网络时延的差值超过预设差值阈值，或者所述第二网络时延未超过预设时延阈值，则继续使用所述目标网络。
将所述第一网络时延和第二网络时延的差值与预设的差值阈值进行比较，同时，将所述第二网络时延与预设的时延阈值进行比较。
若所述第一网络时延与第二网络时延的差值超过了预设差值阈值，则可知此时网络环境不佳的原因在于网络带宽不足，与网络环境无关。此时，所述VR系统可保持使用该目标网络来进行VR通话。
另外，若所述第二网络时延未超过预设时延阈值，则判定所述目标网络满足预设传输条件。此时，所述VR系统将利用该目标网络进行VR通话。
步骤S016、而若所述第一网络时延和第二网络时延的差值未超过预设差值阈值，且所述第二网络时延超过预设时延阈值，则按所述选择顺序重新选择另一网络环境为目标网络。
而若所述第一网络时延和第二网络时延的差值未超过预设差值阈值，且所述第二网络时延超过预设时延阈值，则可知此时网络环境不佳的原因在于网络时延较高，判定该目标网络不满足预设传输条件。
此时，需要按照预设的选择顺序，重新选择另一网络环境作为新的目标网络来检测网络时延数据，直到某一网络环境判定为满足预设传输条件为止。
以wifi网络、5G VoNR网络和4G VoLTE网络为第一网络环境、第二网络环境和第三网络环境为例，在用户开启VR系统开始进行VR通话时，默认选择wifi网络为目标网络进行VR通话。VR系统通过监测wifi网络下端到端数据时延，得到的第一网络时延和第二网络时延，判定wifi网络不满足预设的传输条件且原因在于wifi网络的网络时延较高而并非网络带宽不足，则将所述目标网络切换为5G VoNR网络。而若所述VR系统通过监测5GVoNR网络下端到端数据时延得到的第一网络时延和第二网络时延，判定5GVoNR网络不满足预设的传输条件且原因在于5G VoNR网络的网络时延较高而并非网络带宽不足，则将所述目标网络切换为4G VoLTE网络，在VR系统监测4G VoLTE网络下端到端数据时延得到的第一网络时延和第二网络时延，判定4G VoLTE网络满足预设传输条件时，则采用4G VoLTE网络进行VR通话。
本发明实施例通过对目标网络发送第一组测试数据包和第二组测试数据包得到第一网络时延和第二网络时延，从时延和带宽两个角度来确定所述目标网络是否满足预设的传输条件，从而能够更加合理得选择合适的网络环境用于VR通话。
图3为本发明实施例的又一VR通话方法流程图，如图3所示，在所述步骤S016后，所述方法还包括：
S03、若不存在满足预设传输条件的网络环境，则通过云服务建立网络专线来进行VR通话。
若通过对各网络环境的网络时延的检测，判定不存在满足预设传输条件的网络环境，则可以通过云服务建立一条网络专线，为用户提供沉浸感好的沉浸式通话服务。
具体的建立过程，可以通过提示的方式，向用户提供建立网络专线的选项，若接收到用户建立请求，则通过云服务建立网络专线。若未接收到用户的建立请求，则可从上述的网络环境中选择最优的网络环境来进行VR通话。
本发明实施例通过云服务为用户建立一条网络专线，从而为用户提供更加顺畅的VR通话，提高用户的沉浸感。
图4为本发明实施例的VR通话系统结构示意图，如图4所示，所述VR通话系统包括：VR头显100和外围配件230，其中，
所述VR头显100包括：处理芯片模块110和射频模块180，所述射频模块180包括wifi模块181和至少一种蜂窝模块182，在VR通话开始时，所述处理芯片模块110通过检测网络时延数据来确定满足预设传输条件的射频模块，并通过满足预设传输条件的射频模块进行VR通话；
所述外围配件230包括：双手柄配件240、双护膝配件250和其他配件260，所述双手柄配件240包括电池241、传感器242、射频模块243和处理器模块244，所述双护膝配件250包括电池251、传感器252、射频模块253和处理模块254。
本发明实施例的VR系统通过在所述VR头显的射频模块180中增加蜂窝模块182，使所述VR系统不仅能够通过wifi模块181具有与wifi网络连接能力，还可以通过蜂窝模块182具有与蜂窝网络连接的能力，改变传统VR语音的交互方式。
所述wifi网络包括2.4GHz/5GHz wifi。
进一步地，所述蜂窝网络包括：5G VoNR网络和4G VoLTE网络。
所述蜂窝模块对应的蜂窝网络包括但不限于：5G VoNR、4GFDD-LTE/4G TD-LTE、3GCDMA2000/3G WCDMA/3G TD-SCDMA、2GGSM/2G CDMA等。但为了简便起见，在后续的实施例中均以5G VoNR网络和4G VoLTE网络为例进行举例说明。
在用户通过VR系统准备开启VR通话时，在VR系统完成前期系统准备后，将从wifi网络和各蜂窝网络中选择其中一个网络环境进行VR通话。
所述前期系统准备根据实际VR系统的启动过程，具体可以包括：
启动VR系统，包括VR头显100和外围配件230，开启VR通话应用，并确保VR头显100联网、所述VR头显100与外围配件230相互连接；
由用户选择主动呼叫或选择被动接收；
用户进入虚拟环境后，所述VR系统的传感器组170和外围配件230开始工作，将各类物理信号转变为电信号上传所述VR头显100处理芯片模块110，所述处理芯片模块110将所有数据信息进行对齐。
所述处理芯片模块110对接收到的数据进行滤波、处理等，使接收到的数据有效化。
而对网络环境的具体的选择方式为，按照预设的顺序依次检测各射频模块180对应的网络环境的网络时延数据，若任一网络环境的网络时延数据满足预设的传输条件，则将该网络环境确定为进行VR通话的网络环境。
用选定的满足预设传输条件的网络环境所对应的射频模块180，进行VR通话，具体用于根据处理芯片模块110的指示传输用户的语音信息、图像信息和环境信息等。
如图4所示，所述VR头显100具体包括机械外壳210和连接配件220，所述机械外壳210具体包括：处理芯片模块110，储存模块120、电源管理模块130、显示模组140、外部接口150、音频组件160、传感器组170、射频模块180、图像采集组件190和散热模块200。
所述处理芯片模块110，包括CPU111和GPU112，可用于处理传感器采集的信息，简单渲染沉浸式通话回传的图像信息，所述处理芯片模块110也可不置于VR头显内。
所述储存模块120，根据实际存储的需求可以包括RAM121、ROM122和FLASH123，用户储存各传感器和外围配件230上传的数据信息，运行VR系统的内部软件系统。
所述VR电源管理模块130，包括升压模块131、降压模块132和电池133，用于为所述VR头显提供能源。
所述显示模组140，包括屏幕与光学透镜，用于显示用户VR通话过程中的虚拟环境，呈现深度沉浸感。
外部接口150，包括机械按钮151和接线插口152，用于连接其它外部设备。
所述音频组件160，包括听筒161和麦克162，用于使用户可通过音频组件160参与沉浸式通话、游戏、会议等。
所述传感器组170，根据实际的需要可以包括至少2种检测环境信息的传感设备，用于收集用户的环境信息，可以包括九轴加速度计171、温度传感器172、环境光传感器173等。通过九轴加速度计171，可以采集、计算人体头部位置信息。通过温度传感器172，用于辅助收集环境温度使VR系统能更直观的体现用户的周围环境。环境光传感器173，用于辅助收集用户的环境信息，同时，采集用户的环境光强信息，可提醒用户是否处于不利于设备使用的环境中。
图像采集组件190通过图像采集相机，使VR系统感知用户所处的身份环境。
所述散热模块200，用于消耗显示模组140、射频模块180、处理芯片模块110、电源管理模块130、以及其它电路元件等在工作过程中产生的热量。
所述VR连接配件220，便于用户佩戴终端设备，便于在移动场景中使用。
本发明实施例提供的系统用于执行上述方法，其功能具体参考上述方法实施例，其具体方法流程在此处不再赘述。
本发明实施例通过在VR系统中增加蜂窝模块，使VR系统能够连接蜂窝网络，并根据检测网络时延，确定满足预设的传输条件的网络环境来进行VR通话，从而使VR通话更加高效，顺畅，提升了用户的沉浸感。
基于上述实施例，进一步地，所述处理芯片模块通过检测网络时延数据来确定满足预设传输条件的射频模块，具体包括：
根据预设的选择顺序，从各射频模块对应的网络环境中选择目标网络；
在所述目标网络下检测预设时间段内的时延数据，得到所述目标网络的第一网络时延；
若所述第一网络时延未超过预设时延阈值，则将所述目标网络确定为满足预设传输条件的网络环境；
而若所述第一网络时延超过预设时延阈值，则增加在所述目标网络下传输的数据吞吐量并检测所述预设时间段内的时延数据，得到所述目标网络的第二网络时延；
若所述第一网络时延和第二网络时延的差值超过预设差值阈值，或者所述第二网络时延未超过预设时延阈值，则继续使用所述目标网络；
而若所述第一网络时延和第二网络时延的差值未超过预设差值阈值，且所述第二网络时延超过预设时延阈值，则按所述选择顺序重新选择另一网络环境为目标网络。
先将各射频模块对应的网络环境进行排序，并依次选择一个网络环境为目标网络。例如，分别将wifi网络、5G VoNR网络、4G VoLTE网络作为第一网络环境、第二网络环境和第三网络环境。具体的排序可以根据实际的需要进行设定，可以将所述wifi网络设定为默认网络，也可以由用户根据自身的需要来进行设定。
通过监测在目标网络下进行VR通话时，在预设时间段内通过与所述目标网络对应的射频模块收发的端到端数据的时延，计算所述目标网络的第一网络时延。
将所述第一网络时延与预设的时延阈值，例如，30ms，进行比较，若所述第一网络时延未超过预设时延阈值，则判定所述目标网络满足预设传输条件。此时，所述VR系统将利用该目标网络进行VR通话。
而若所述第一网络时延超过了预设时延阈值，则判定该目标网络不满足预设传输条件。此时，用户将难以忍受网络时延所带来的沉浸式体验不适，VR系统需要查找网络状况不佳的原因，更进一步地，再次通过与目标网络对应的射频模块增加在所述目标网络下传输的数据吞吐量，例如将数据吞吐量增加到原来的1.2倍。
VR系统计算在得到第一网络时延时预设时间段内的数据吞吐量，加大相同时间段内的数据吞吐量至1.2倍，并检测相同时间段内通过与所述目标网络对应的射频模块收发的端到端数据的时延，并计算得到第二网络时延。
将所述第一网络时延和第二网络时延的差值与预设的差值阈值进行比较，同时，将所述第二网络时延与预设的时延阈值进行比较。
若所述第一网络时延与第二网络时延的差值超过了预设差值阈值，则可知此时网络环境不佳的原因在于网络带宽不足，与网络环境无关。此时，所述VR系统可保持使用该目标网络来进行VR通话。
另外，若所述第二网络时延未超过预设时延阈值，则判定所述目标网络满足预设传输条件。此时，所述VR系统将利用该目标网络进行VR通话。
而若所述第一网络时延和第二网络时延的差值未超过预设差值阈值，且所述第二网络时延超过预设时延阈值，则可知此时网络环境不佳的原因在于网络时延较高，判定该目标网络不满足预设传输条件。
此时，需要按照预设的选择顺序，重新选择另一网络环境作为新的目标网络来检测网络时延数据，直到某一网络环境判定为满足预设传输条件为止。
本发明实施例提供的系统用于执行上述方法，其功能具体参考上述方法实施例，其具体方法流程在此处不再赘述。
本发明实施例通过对目标网络发送第一组测试数据包和第二组测试数据包得到第一网络时延和第二网络时延来确定所述目标网络是否满足预设的传输条件，从而能够更加合理得选择合适的网络环境用于VR通话。
图5为本发明实施例的VR通话系统的网络架构示意图，如图5所示，所述VR系统还包括：云服务器，所述云服务器用于，若不存在满足预设传输条件的网络环境，则通过所述云服务器建立网络专线来进行VR通话。
若通过对各网络环境的网络时延的检测，判定不存在满足预设传输条件的网络环境，则可以通过所述云服务器建立一条网络专线，为用户提供沉浸感好的沉浸式通话服务。
具体的建立过程，可以通过提示的方式，向用户提供建立网络专线的选项，若接收到用户建立请求，则通过云服务器建立网络专线。若未接收到用户的建立请求，则可从上述的网络环境中选择最优的网络环境来进行VR通话。
所述云服务器还可以用于接收VR头显上传的本次VR通话的信息数据，从而根据该信息数据选择最优传输路径，例如，可以选择最短的传输路径。
另外，所述云服务器还可以用于辅助所述VR头显的处理芯片模块处理数据、渲染图像或深度计算等。
本发明实施例提供的系统用于执行上述方法，其功能具体参考上述方法实施例，其具体方法流程在此处不再赘述。
本发明实施例通过云服务器为用户建立一条网络专线，从而为用户提供更加顺畅的VR通话，提高用户的沉浸感。
基于上述实施例，进一步地，所述VR系统还包括外围配件230，所述外围配件230用于环境信息收集和用户交互信息。
如图4所示，所述外围配件230，可以包括：手柄配件240和护膝配件250，以及其它配件260等，每个外围配件分别用于采集用户身份某一部分的人体动作、姿态信息，上传到VR头显100并同步至虚拟环境中的人物。
每个外围配件应包括：处理模块、射频模块、传感器、电池四部分。
本发明实施例提供的系统用于执行上述方法，其功能具体参考上述方法实施例，其具体方法流程在此处不再赘述。
本发明实施例通过为VR系统增加外围配件，以多传感器技术平衡产品价格与技术研究复杂性两因素，提升系统对于用户身体姿态的检测低成本、高精度检测可行性。
图6为本发明实施例的再一VR通话方法流程图，如图6所示，本发明实施例给出了基于上述VR系统执行的VR通话方法：
用户启动VR系统，包括VR头显和外围配件，开启VR通话应用；
确保VR头显联网、所述VR头显与外围配件相互连接；
进入VR通话的预连接状态，提示用户选择主动呼叫或选择被动接收；若选择被动接收，则还可以进一步选择是否进行VR通话或保持语音通话状态；
而若用户选择主动呼叫，则进入虚拟环境，开启VR系统的各传感器和外围配件，在储存模块设定储存区，进行数据处理与储存准备，各传感器和外围配件将各类物理信号转变为电信号上传所述VR头显，所述VR头显处理芯片模块将所有数据信息进行对齐，对接收到的数据进行滤波、处理等，使接收到的数据有效化，使显示模组中虚拟界面与用户动作同步；
解析通话对方的IP地址，并上传云服务器，由云服务器计算最优网络路径，并将路径信息回传VR头显；
VR头显的处理芯片模块根据路径信息，建立通话线路，采用默认的第一网络环境，wifi网络，发送用户通信数据信息，同时检测连续3组端到端数据的时延，计算wifi网络下的第一网络时延T_delay1；
若T_delay1>30ms，则VR系统增大数据吞吐量为原来的1.2倍，同时检测连接3组端到端数据的时延，计算wifi网络下的第二网络时延T_delay2；否则，保持wifi进行VR通话；
若T_delay2>30ms，且|T_delay2-T_delay1|＜5ms，则判定wifi网络由于网络时延过高不满足预设传输条件，将目标网络切换至5G VoNR网络；否则，保持wifi网络进行VR通话；
在切换到5G VoNR网络后，计算5G VoNR网络下的第一网络时延T_delay3；
若T_delay3>30ms，则计算5G VoNR网络下的第二网络时延T_delay4；否则，保持5GVoNR网络进行VR通话或选择进行语音通话；
若T_delay4>30ms，且|T_delay4-T_delay3|＜5ms，则判定5G VoNR网络由于网络时延过高不满足预设传输条件，将目标网络切换至4G VoLTE网络；否则，保持5G VoNR网络进行VR通话或选择进行语音通话；
在切换到4G VoLTE网络后，计算4G VoLTE网络下的第一网络时延T_delay5；
若T_delay5>30ms，则提示用户选择保持4G VoLTE进行VR通话、进行语音通话、或建立专线；否则保持4G VoLTE进行VR通话；
若用户选择建立专线，则将通话信息上传云服务器，云服务器使用前期最优的网络环境，建立用户VR通话专线；
用户在专线进行VR通话，VR系统开始计时计费；
在用户结束通话后，离开专线，切断连接，此时，云服务器将撤销专线。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行上述方法。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
进一步地，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。
本领域普通技术人员可以理解：此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种VR通话方法，其特征在于，包括：
在VR通话开始时，通过检测网络时延数据来确定满足预设传输条件的网络环境；其中，所述网络环境包括：wifi网络和至少一种蜂窝网络；
在满足预设传输条件的网络环境下进行VR通话；
所述通过检测网络时延数据来确定满足预设传输条件的网络环境，具体包括：
根据预设的选择顺序，从各网络环境中选择目标网络；
在所述目标网络下检测预设时间段内的时延数据，得到所述目标网络的第一网络时延；
若所述第一网络时延未超过预设时延阈值，则将所述目标网络确定为满足预设传输条件的网络环境；
而若所述第一网络时延超过预设时延阈值，则增加在所述目标网络下传输的数据吞吐量并检测所述预设时间段内的时延数据，得到所述目标网络的第二网络时延；
若所述第一网络时延和第二网络时延的差值超过预设差值阈值，或者所述第二网络时延未超过预设时延阈值，则继续使用所述目标网络；
而若所述第一网络时延和第二网络时延的差值未超过预设差值阈值，且所述第二网络时延超过预设时延阈值，则按所述选择顺序重新选择另一网络环境为目标网络；
所述数据吞吐量为单位时间内网络传输量，所述网络传输量函数根据公式(1)和(2)计算得到：
C(x)＝C1(x)+C2(x)+C3(x)+…+Cn(x) (2)
其中，C1(x)表示VR系统图像采集组件采集的用户图像信息的信息量函数，C2(x)表示VR系统音频组件采集的声音信息的信息量函数，C3(x)表示VR系统加速度传感器采集加速度信息的信息量函数，Cn(x)表示VR系统其它传感器采集的信息量函数。
2.根据权利要求1所述的VR通话方法，其特征在于，所述VR通话方法，还包括：
若不存在满足预设传输条件的网络环境，则通过云服务建立网络专线来进行VR通话。
3.根据权利要求1所述的VR通话方法，其特征在于，所述蜂窝网络包括：5G VoNR网络和4G VoLTE网络。
4.一种用于实现如权利要求1-3任一所述VR通话方法的VR系统，其特征在于，包括：VR头显，所述VR头显包括：处理芯片模块和射频模块，所述射频模块包括wifi网络模块和至少一种蜂窝模块，在VR通话开始时，所述处理芯片模块通过检测网络时延数据来确定满足预设传输条件的射频模块，并通过满足预设传输条件的射频模块进行VR通话；
所述射频模块，进一步用于：
根据预设的选择顺序，从各射频模块对应的网络环境中选择目标网络；
在所述目标网络下检测预设时间段内的时延数据，得到所述目标网络的第一网络时延；
若所述第一网络时延未超过预设时延阈值，则将所述目标网络确定为满足预设传输条件的网络环境；
而若所述第一网络时延超过预设时延阈值，则增加在所述目标网络下传输的数据吞吐量并检测所述预设时间段内的时延数据，得到所述目标网络的第二网络时延；
若所述第一网络时延和第二网络时延的差值超过预设差值阈值，或者所述第二网络时延未超过预设时延阈值，则继续使用所述目标网络；
而若所述第一网络时延和第二网络时延的差值未超过预设差值阈值，且所述第二网络时延超过预设时延阈值，则按所述选择顺序重新选择另一网络环境为目标网络；
所述数据吞吐量为单位时间内网络传输量，所述网络传输量函数根据公式(1)和(2)计算得到：
C(x)＝C1(x)+C2(x)+C3(x)+…+Cn(x) (2)
其中，C1(x)表示VR系统图像采集组件采集的用户图像信息的信息量函数，C2(x)表示VR系统音频组件采集的声音信息的信息量函数，C3(x)表示VR系统加速度传感器采集加速度信息的信息量函数，Cn(x)表示VR系统其它传感器采集的信息量函数。
5.根据权利要求4所述的VR系统，其特征在于，所述VR系统还包括：云服务器，所述云服务器用于，若不存在满足预设传输条件的网络环境，则通过所述云服务器建立网络专线来进行VR通话。
6.根据权利要求4所述的VR系统，其特征在于，所述VR系统还包括外围配件，所述外围配件用于环境信息收集和用户交互信息。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述VR通话方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述VR通话方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010301216.7A CN111526492B (zh) | 2020-04-16 | 2020-04-16 | 一种vr通话方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010301216.7A CN111526492B (zh) | 2020-04-16 | 2020-04-16 | 一种vr通话方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111526492A CN111526492A (zh) | 2020-08-11 |
| CN111526492B true CN111526492B (zh) | 2021-07-30 |
Family
ID=71904232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010301216.7A Active CN111526492B (zh) | 2020-04-16 | 2020-04-16 | 一种vr通话方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111526492B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113099497B (zh) * | 2021-03-30 | 2022-09-02 | 捷开通讯(深圳)有限公司 | 一种网络切换方法、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103428047A (zh) * | 2012-05-25 | 2013-12-04 | 腾讯科技（深圳）有限公司 | 业务传输时延的测试方法、设备及系统 |
| CN105491627A (zh) * | 2015-12-10 | 2016-04-13 | 南京理工大学 | 一种异构网络的网络选择优化方法 |
| CN106657060A (zh) * | 2016-12-21 | 2017-05-10 | 惠州Tcl移动通信有限公司 | 一种基于现实场景的vr通讯方法及系统 |
| CN108365997A (zh) * | 2017-01-26 | 2018-08-03 | 华为技术有限公司 | 一种信息传输方法和装置 |
-
2020
- 2020-04-16 CN CN202010301216.7A patent/CN111526492B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103428047A (zh) * | 2012-05-25 | 2013-12-04 | 腾讯科技（深圳）有限公司 | 业务传输时延的测试方法、设备及系统 |
| CN105491627A (zh) * | 2015-12-10 | 2016-04-13 | 南京理工大学 | 一种异构网络的网络选择优化方法 |
| CN106657060A (zh) * | 2016-12-21 | 2017-05-10 | 惠州Tcl移动通信有限公司 | 一种基于现实场景的vr通讯方法及系统 |
| CN108365997A (zh) * | 2017-01-26 | 2018-08-03 | 华为技术有限公司 | 一种信息传输方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111526492A (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108234276B (zh) | 一种虚拟形象之间互动的方法、终端及系统 | |
| CN113423106B (zh) | 移动网络热点的共享方法、装置和热点共享设备 | |
| CN107959795B (zh) | 一种信息采集方法、设备和计算机可读存储介质 | |
| CN111132234A (zh) | 一种数据传输方法及对应的终端 | |
| CN110456938A (zh) | 一种曲面屏的防误触方法及电子设备 | |
| CN110572508B (zh) | 通讯录同步方法、装置、存储介质及电子设备 | |
| CN108513088B (zh) | 群组视频会话的方法及装置 | |
| CN111526492B (zh) | 一种vr通话方法及系统 | |
| CN108966198A (zh) | 网络连接方法、装置、智能眼镜及存储介质 | |
| CN105100368B (zh) | 信息处理方法及装置 | |
| CN111491341A (zh) | 一种小区重选的方法及终端 | |
| WO2021027623A1 (zh) | 一种设备能力发现方法及p2p设备 | |
| CN103841352B (zh) | 一种信息处理方法以及一种移动终端 | |
| CN110912830B (zh) | 传输数据的方法和装置 | |
| CN105992192B (zh) | 通信装置及控制方法 | |
| CN111935705A (zh) | 数据业务管理方法及装置、计算机可读介质及终端设备 | |
| CN108076287B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| US20110010166A1 (en) | Mobile communication terminal connectable to network | |
| CN105162526A (zh) | 在移动终端中发送照片的方法和设备 | |
| CN111355892B (zh) | 图片拍摄方法、装置、存储介质及电子终端 | |
| CN113141637B (zh) | 一种多路径传输控制的方法及控制装置 | |
| CN109978757B (zh) | 一种图像处理方法及终端设备 | |
| CN111757005A (zh) | 拍摄控制方法及装置、计算机可读介质和电子设备 | |
| CN111064894A (zh) | 图像处理方法、终端设备及计算机可读存储介质 | |
| EP4357906A1 (en) | First electronic device, second electronic device, and method for screen-casting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |